php配合fiddler批量下载淘宝天猫商品数据分享

有个做电商的朋友问我,每次上款,需要手动去某宝去搬运商品图片视频,问我能不能帮忙写个脚本,朋友开口了,那就尝试一下
首先打开某宝,访问一款商品,找出他的数据来源
通过观察我们发现主图数据来这个接口输出
h5api.m.taobao.com/h5/mtop.taobao.pcdetail.data.get/1.0
在这里插入图片描述
同理,我们在去找到详情图的输出接口地址是
h5api.m.taobao.com/h5/mtop.taobao.detail.getdesc/7.0
在这里插入图片描述
既然数据找到了,那我们怎么将这些数据存储下来呢,这里就用到了我们的另一个工具fiddler,这款工具是一个抓包神器,我们还可以通过它将我们访问到的数据进行一个存储到本地的txt文件里面来,流程就是
打开软件之后,点击上方的菜单栏Rules->Customize Rules,然后会打开一个编辑器,这个时候我们找到OnBeforeResponse方法,在这里添加两段代码
在这里插入图片描述

if (oSession.fullUrl.Contains("h5api.m.taobao.com/h5/mtop.taobao.pcdetail.data.get/1.0")) { 
            try{  
				var responseBytes = oSession.responseBodyBytes;
				var responseString = System.Text.Encoding.UTF8.GetString(responseBytes);
				var filePath = "G:/test/head.txt";
				System.IO.File.WriteAllText(filePath, responseString, System.Text.Encoding.UTF8); 
            }catch(err){
                var err;
            }
        }
		if (oSession.fullUrl.Contains("h5api.m.taobao.com/h5/mtop.taobao.detail.getdesc/7.0")) { 
			try{
				var responseBytes = oSession.responseBodyBytes;
				var responseString = System.Text.Encoding.UTF8.GetString(responseBytes);
				var filePath = "G:/test/desc.txt";
				System.IO.File.WriteAllText(filePath, responseString); 
			}catch(err){
				var err;
			}
		}

这样我们将抓包到的数据,写到了指定txt文件里面
在这里插入图片描述
数据都拿到了,将图片下载下来还不简单吗,这里我通过php,写个脚本,然后将数据解析出来,然后对需要的数据进行下载,这样所有功能就完成啦
PHP 脚本我放到资源下载里面感兴趣的去下载
地址:https://download.csdn.net/download/zhanglili1993/89447042
在这里插入图片描述
大致流程就是这样,先通过抓包,抓到数据,然后写到本地,最后在通过脚本批量下载,虽然不是很智能化,但是朋友对此效果满足了,同样的方法,某猫的数据也是这样操作,希望能对你有所帮助

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/719902.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

C# 与三菱PLC MC协议通讯

1. 引用HslCommunication Nuget包里边添加 HslCommunication包的引用 2.创建PLC连接对象,并通过 IP,端口进行连接 //PLC连接对象 var plc new MelsecMcNet(_ip, _port); plc.ConnectTimeOut 3000;var res plc.ConnectServer();//连接PLCisConnect …

苹果Mac电脑遭恶意软件攻击 Mac第三方恶意软件删除不了

苹果Mac电脑一直以来都以安全性和稳定性著称,许多用户认为Mac电脑不会受到恶意软件的侵害,但事实上,Mac电脑也不是绝对安全的,近年来,有越来越多的恶意软件针对Mac电脑进行攻击,甚至有些恶意软件可以绕过苹…

镭速是如何做到传输中快速校验大文件的

在信息泛滥的当下,文件传输系统的效率与安全性成为企业和个人用户高度关注的焦点。传统上,文件传输依赖于如MD5或XXHash等单一的完整性校验机制。 然而,在多变的工作环境中,这些传统方法显得不够灵活。镭速,作为大文件…

文库小程序搭建部署:实现资源共享正向反馈

文档库相信大家应该不陌生,日常我们的工作模板、会议模板、求职时的简历模板、教育界的教学模板等来源方式都出自于文档库,随着互联网的发展和工作需求,文档模板开启了新型的知识变现新途径,通过文库小程序,我们不仅能…

9.2.2 DeepLab系列模型中每一代的创新是什么?是为了解决什么问题?

9.2.2 DeepLab系列模型中每一代的创新是什么?是为了解决什么问题? 前情回顾:9.2.1 简述图像分割中经常用到的编码器-解码器网络结构的设计理念。 DeepLab是Google 团队提出的一系列图像分割算法。 DeepLab v1在2014年被提出,并在…

ROS std_msgs消息包

ROS std_msgs消息包 基本概述 std_msgs 是 ROS(Robot Operating System)的一个核心消息包,包含了一系列基本的消息类型,这些类型用于节点之间的标准通信。std_msgs 中的消息类型设计得非常简单,以便用作更复杂消息的…

升级你的App推广策略!Xinstall用户来源朔源功能引领行业新潮流

一、引言 在App推广和运营的道路上,你是否曾经遇到过这样的困境:投入了大量的资源,但用户增长却迟迟不见起色?或是用户增长迅速,但用户留存率却极低?这些问题,往往源于我们对用户来源的不了解。…

vue echarts画多柱状图+多折线图

<!--多柱状图折线图--> <div class"echarts-box" id"multiBarPlusLine"></div>import * as echarts from echarts;mounted() {this.getMultiBarPlusLine() },getMultiBarPlusLine() {const container document.getElementById(multiBar…

Windows11电脑在使用GPU的时候有时候会卡顿

原来我一直以为是电脑的某些组件可能坏掉了 但是后来发现通过更新gpu的驱动可以让它变好&#xff1a; NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA 下载好以后&#xff0c;然后安装最新的驱动就可以了&#xff0c;感觉可能是因为win11和某些需要显卡的驱动不支持的原因吧 …

分布式技术导论 — 探索分析从起源到现今的巅峰之旅(消息队列)

探索分析从起源到现今的巅峰之旅 分布式队列 - Kafka架构特性可扩展性磁盘优化与顺序访问大容量存储与历史数据利用高效数据封装与压缩智能内存管理与OS缓存利用 Kafka发布/订阅模型Kafka架构分析Producer和Consumer接口交互Producer通过Topic发送数据Consumer通过Topic消费数据…

Java 解析xml文件-工具类

Java 解析xml文件-工具类 简述 Java解析xml文件&#xff0c;对应的Javabean是根据xml中的节点来创建&#xff0c;如SeexmlZbomord、SeexmlIdoc等等 工具类代码 import cn.hutool.core.io.FileUtil; import com.alibaba.cloud.commons.io.IOUtils; import com.seexml.bom.Se…

充电宝什么牌子好?买多少毫安充电宝合适?这几个误区别踩!

在选择充电宝时&#xff0c;很多消费者常常被各种品牌和容量规格搞得眼花缭乱。不少人认为&#xff0c;容量越大越好&#xff0c;但事实并非如此。其实&#xff0c;根据日常使用需求&#xff0c;选择10000毫安的充电宝已经足够应对大多数情况。10000毫安的充电宝不仅能够满足手…

无线备网,保障连锁零售数字化运营

为了提升运营效率、改进客户体验&#xff0c;零售商们不断引入新的数字化工具和平台&#xff0c;包括数字化收银、客流统计、客户关系管理系统等。现代化智慧零售的运营更加依赖于稳定、高效的网络连接&#xff0c;数字化网络不仅是提升运营效率和客户体验的关键&#xff0c;还…

多项目如何管理?盘点十大主流项目管理软件,轻松管理多个项目

多项目同时进行已经成为很多企业的现状&#xff0c;项目经理手握几个项目成为常态。 多项目管理之所以难&#xff0c;不仅在于项目数量的增加&#xff0c;而且在于项目资源分配不均、多项目进度比较难监控、沟通协作纷繁复杂。 应该如何做好进度管理&#xff0c;力求每个项目…

MySQL中的客户端选项(三)

默认情况下&#xff0c;LOAD DATA的LOCAL功能是否可用取决于MySQL客户端库在编译时是否启用了该功能。 当只给出--local-infile&#xff08;不带值&#xff09;时&#xff0c;它启用LOCAL数据加载。当给出--local-infile0时&#xff0c;它禁用LOCAL数据加载。当给出--local-in…

2024年粤港澳青少年信息学创新大赛图形化编程小高组真题试卷

2024年粤港澳青少年信息学创新大赛图形化编程小高组真题试卷 题目总数&#xff1a;16 总分数&#xff1a;100 单选题 第 1 题 单选题 默认小猫角色&#xff0c;以下哪个Scratch程序可以让小猫一直在舞台上随机移动&#xff0c;且每次在移动过程中用时1秒 A. B. C. D…

LearnOpenGL 及 ShaderToy 的 CMake 构建框架

文章目录 构建目标具体框架根目录src 目录app 目录import.cmake其他 CMake 函数 使用框架实际效果摄像机坐标变换使用 assimp 库加载模型shadertoy 测试 framebuffer 离屏渲染 其他 为了复习 OpenGL&#xff08;主要是看到 shadertoy 上有好玩的着色器&#xff09;&#xff0c;…

Linux入门攻坚——26、Web Service基础知识与httpd配置-2

http协议 URL&#xff1a;Uniform Resource Locator&#xff0c;统一资源定位符 URL方案&#xff1a;scheme&#xff0c;如http://&#xff0c;https:// 服务器地址&#xff1a;IP&#xff1a;port 资源路径&#xff1a; 示例&#xff1a;http://www.test.com:80/bbs/…

rabbitMQ的简单使用

rabbitMQ的介绍 RabbitMQ是一个开源的消息代理和队列服务器&#xff0c;主要用于在不同的应用程序之间传递消息。它基于AMQP&#xff08;Advanced Message Queuing Protocol&#xff09;协议&#xff0c;提供了一种可靠的方式来处理异步通信。RabbitMQ使用Erlang语言编写&…

IT入门知识第三部分《软件开发》(3/10)

目录 IT入门知识大纲第三部分《软件开发》 1. 软件开发生命周期&#xff08;SDLC&#xff09; 1.1 需求分析 1.2 软件设计 1.3 程序编码 1.4 软件测试 1.5 项目部署 1.6 运行维护 2. 软件开发方法论 2.1 瀑布模型 2.2 敏捷开发 2.2.1 Scrum 2.2.2 Kanban 2.3 Dev…