目录
违法视频搬运软件是网络爬虫
如何发现偷盗视频的爬虫？
拦截违法网络爬虫
央视《今日说法》栏目近日报道了一名程序员开发非法视频搬运软件获利超700多万，最终获刑的案例。
国内某知名短视频平台报警称，有人在网络上售卖一款视频搬运软件，使用软件的人可以绕过平台的审核机制，一键“搬运”窃取他人作品非法转载投稿。警方调查发现，在这背后是一条违法犯罪的产业链条，犯罪团伙的上游开发制作非法软件，通过更改短视频平台的代码，逃避平台监管。
犯罪嫌疑人 90 后程序员周某交代，这款软件主要用于非法搬运视频，支持视频镜像，去水印，草稿替换，摄像头替换等功能，修改后的视频支持在快手、抖音、哔哩哔哩、小红书、西瓜视频等主流视频平台一键发布，从而协助他人实现账号“快速涨粉”目的。从 2022 年 5 月到20 23 年 3 月份，周某累计获利 700 多万元。目前周某已被判有期徒刑 3 年、缓刑 5 年；而负责软件销售的从犯陈某被判有期徒刑 3 年、缓刑 3 年 2 个月。
违法视频搬运软件是网络爬虫
该案件中，非法下载视频内容的软件是网络爬虫。网络爬虫，又被称为网页蜘蛛，网络机器人，是按照一定的规则，自动地抓取网络信息和数据的程序或者脚本。
2022年11月，顶象防御云业务安全情报披露，某社交媒体平台遭遇持续性的网络爬虫盗取。大量用户信息和原创内容被网络爬虫盗取，被黑灰产转售给竞争对手或直接用于恶意营销。
数据显示，2023年全球数据盗取量将达到1900亿条，其中超过80%的数据来自网络爬虫。网络爬虫通常会通过编程的方式自动访问网站，获取用户信息或数据。这类行为不仅侵犯了用户的隐私，也给企业造成了巨大的经济损失。
如何发现偷盗视频的爬虫？
现在的网络爬虫程序具有随机 IP 地址、匿名代理、身份修改、模仿人类操作行为等特征，非常难检测和阻止，需要在多个维度进行识别与分析。
一是访问目标。恶意的网络爬虫的目的是获取网站、App的核心信息，比如用户数据、商品价格、评论内容等，因此它们通常只会访问包含这些信息的页面，而忽略其他无关的页面。
二是访问行为。网络爬虫是由程序自动执行的，按照预设的流程和规则进行访问，因此它们的行为具有明显的规律性、节奏性和一致性，与正常用户的随机性、灵活性和多样性有很大差异。
三是访问设备。恶意的网络爬虫的目标是在最短时间内抓取最多信息，因此它们会使用同一设备进行大量的访问操作，包括浏览、查询、下载等，这会导致该设备的访问频率、时长、深度等指标异常。
四是访问IP地址。恶意的网络爬虫为了避免被网站识别和封禁，会采用各种手段变换IP地址，比如使用云服务、路由器、代理服务器等。这会导致该IP地址的来源地域、运营商、网络类型等信息不一致，或者与正常用户的分布有明显偏差。
五是访问时间段。恶意的网络爬虫为了减少被发现的风险，通常会选择在网站流量较低、监控较弱的时间段进行批量爬取，比如深夜、凌晨等。这会导致该时间段内的访问量、带宽占用等指标异常。
六是大数据建模挖掘。通过对网站正常用户和网络爬虫的访问数据进行收集、处理、挖掘和建模，可以构建出专属于网站自身的爬虫识别模型，从而提高识别准确率和效率。
拦截违法网络爬虫
网络爬虫的攻击手段也日益智能化和复杂化，仅仅依靠限制访问频率或者前端页面加密已经难以有效防御，需要提升人机识别技术，增加异常行为的识别和拦截能力，以限制网络爬虫的访问，提高恶意盗取的攻击成本。顶象为企业提供了全流程的立体防控方案，能够有效防范网络爬虫的恶意盗取行为。
顶象无感验证基于AIGC技术，能够防止AI的暴力破解、自动化攻击和钓鱼攻击等威胁，有效防止未经授权的访问、拦截网络爬虫盗取。它集成了13种验证方式和多种防控策略，支持安全用户无感通过，实时对抗处置能力也缩减至60s内，进一步提高了数字登录服务体验的便捷性和效率。
顶象设备指纹通过将多端设备信息的内部打通，对每个设备生成统一且唯一设备指纹。基于设备、环境、行为的多维度识别策略模型，识别出虚拟机、代理服务器、模拟器等被恶意操控等风险设备，分析设备是否存在多账号登录、是否频繁更换IP地址、频是否繁更换设备属性等出现异常或不符合用户习惯的行为，快速识别访问页面爬虫是否来自恶意设备。
顶象Dinsight实时风控引擎帮助企业进行风险评估、反欺诈分析和实时监控，提高风控的效率和准确性。Dinsigh的日常风控策略的平均处理速度在100毫秒以内，支持多方数据的配置化接入与沉淀，能够基于成熟指标、策略、模型的经验储备，以及深度学习技术，实现风控自我性能监控与自迭代的机制。
与Dinsight搭配的Xintell智能模型平台，能够对已知风险进行安全策略自动优化，基于风控日志和数据挖掘潜在风险，一键配置不同场景支持风控策略。其基于关联网络和深度学习技术，将复杂的数据处理、挖掘、机器学习过程标准化，提供从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务。从而有效挖掘潜在恶意爬取威胁，进一步提升对恶意盗取行为的识别度和对恶意网络爬虫的拦截效果。
