目录
爬虫盗取电商数据的步骤
电商平台如何发现网络爬虫？
如何拦截违法网络爬虫
2023年，杭州中院审结了两起涉及“搬店软件”的不正当竞争案件。本案的原告是国内某大型知名电子商务平台的运营主体，而被告则是开发了一款名为“某搬家快速商品上货批量发布”的复制软件，被控非法获取平台商品信息并在其他服务市场销售。
根据原告的诉称，其平台及商家投入大量成本用于运营商品、交易和物流等数据信息，并采取了多种措施对这些数据资源进行保护，禁止未经授权的获取、复制、存储和使用。而被告的软件则长期向付费用户提供服务，非法抓取原告平台的商品链接、标题、图片、详情、参数、价格、库存等信息，并宣传可以一键复制、搬运至其他平台，销售量庞大。
法院审理后认定，被告未经原告授权，擅自获取并上传了平台内的商品信息至其他具有竞争关系的购物平台，违反了《中华人民共和国反不正当竞争法》相关规定，构成了网络不正当竞争。在法院了解到原告的调解意愿后，积极向被告释明法理和法律后果，使被告清楚认识到其侵权行为的严重性。
最终，双方自愿达成了调解协议。根据协议内容，被告承诺删除了相关数据及衍生数据信息，并保证软件中不再具备非法获取相关数据的功能。此外，被告还向原告支付了10万元的经济损失赔偿。
爬虫盗取电商数据的步骤
爬虫技术作为一种数据获取工具，正逐渐成为电商平台的一大隐患。网络爬虫不仅能够获取商家关键信息并滋生仿冒网站，还能收集用户敏感信息，对用户的财产安全和隐私造成严重威胁。同时，爬虫攻击还会扰乱正常促销活动，给商家信誉带来不可逆的损害。
不法分子利用网络爬虫盗取电商数据，主要是有以下几个步骤：
1、选择目标网站和平台：爬虫盗取电商数据的第一步是选择目标网站。研究人员会仔细分析目标网站的请求特征，包括请求头、Cookie、参数等，以便构造后续的爬虫请求。
2、构造请求并执行爬取：利用Python的requests库或Selenium库等工具，爬虫工程师们构造请求并对爬虫发出请求。这些请求被设计用于获取电商平台的商品数据，绕过传统的反爬虫技术，获取所需信息。
3、 数据获取与存储：一旦成功爬取商品数据，爬虫会将数据保存到本地文件或数据库中，以供后续分析和使用。常见的数据存储方式包括CSV文件、JSON文件以及MySQL数据库等。
4、数据清洗与处理：爬取的数据往往存在噪音和冗余，因此需要进行清洗和处理。价格、销量等数值型数据可以进行统计和可视化分析，以深入了解市场动态和消费者行为。
5、绕过反爬机制：在爬虫过程中，可能会遇到各种反爬机制，如IP封锁、验证码等。为了绕过这些挑战，爬虫工程师们采取了一系列措施，如使用代理服务器、调整请求频率、使用验证码识别技术等。此外，一些爬虫甚至采用了分布式IP代理池、模拟人类行为、设置随机时间间隔等策略。
电商平台如何发现网络爬虫？
现在的网络爬虫程序具有随机 IP 地址、匿名代理、身份修改、模仿人类操作行为等特征，非常难检测和阻止，需要在多个维度进行识别与分析。
一是访问目标。恶意的网络爬虫的目的是获取网站、App的核心信息，比如用户数据、商品价格、评论内容等，因此它们通常只会访问包含这些信息的页面，而忽略其他无关的页面。
二是访问行为。网络爬虫是由程序自动执行的，按照预设的流程和规则进行访问，因此它们的行为具有明显的规律性、节奏性和一致性，与正常用户的随机性、灵活性和多样性有很大差异。
三是访问账户的设备。恶意的网络爬虫的目标是在最短时间内抓取最多信息，因此它们会使用同一设备进行大量的访问操作，包括浏览、查询、下载等，这会导致该设备的访问频率、时长、深度等指标异常。
四是访问IP地址。恶意的网络爬虫为了避免被网站识别和封禁，会采用各种手段变换IP地址，比如使用云服务、路由器、代理服务器等。这会导致该IP地址的来源地域、运营商、网络类型等信息不一致，或者与正常用户的分布有明显偏差。
五是访问时间段。恶意的网络爬虫为了减少被发现的风险，通常会选择在网站流量较低、监控较弱的时间段进行批量爬取，比如深夜、凌晨等。这会导致该时间段内的访问量、带宽占用等指标异常。
六是分析挖掘。通过对网站正常用户和网络爬虫的访问数据进行收集、处理、挖掘和建模，可以构建出专属于网站自身的爬虫识别模型，从而提高识别准确率和效率。
如何拦截违法网络爬虫
网络爬虫的攻击手段也日益智能化和复杂化，仅仅依靠限制访问频率或者前端页面加密已经难以有效防御，需要提升人机识别技术，增加异常行为的识别和拦截能力，以限制网络爬虫的访问，提高恶意盗取的攻击成本。顶象为企业提供了全流程的立体防控方案，能够有效防范网络爬虫的恶意盗取行为。
顶象无感验证基于AIGC技术，能够防止AI的暴力破解、自动化攻击和钓鱼攻击等威胁，有效防止未经授权的访问、拦截网络爬虫盗取。它集成了13种验证方式和多种防控策略，支持安全用户无感通过，实时对抗处置能力也缩减至60s内，进一步提高登录服务体验的便捷性和效率。
顶象设备指纹通过将多端设备信息的内部打通，对每个设备生成统一且唯一设备指纹。基于设备、环境、行为的多维度识别策略模型，识别出虚拟机、代理服务器、模拟器等被恶意操控等风险设备，分析设备是否存在多账号登录、是否频繁更换IP地址、频是否繁更换设备属性等出现异常或不符合用户习惯的行为，快速识别访问页面爬虫是否来自恶意设备。
顶象Dinsight实时风控引擎帮助企业进行风险评估、反欺诈分析和实时监控，提高风控的效率和准确性。Dinsigh的日常风控策略的平均处理速度在100毫秒以内，支持多方数据的配置化接入与沉淀，能够基于成熟指标、策略、模型的经验储备，以及深度学习技术，实现风控自我性能监控与自迭代的机制。
与Dinsight搭配的Xintell智能模型平台，能够对已知风险进行安全策略自动优化，基于风控日志和数据挖掘潜在风险，一键配置不同场景支持风控策略。其基于关联网络和深度学习技术，将复杂的数据处理、挖掘、机器学习过程标准化，提供从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务。从而有效挖掘潜在恶意爬取威胁，进一步提升对恶意盗取行为的识别度和对恶意网络爬虫的拦截效果。
