用C语言采集亚马逊amazon产品数据

上一篇文章我是用C++写的一个爬取亚马逊的爬虫程序,相信大家已经看过了,这次呢,我依然使用C语言来写一个爬虫,大体上思路是和之前一样,只是支持的库以及语法有些区别,具体的呢我会一一解释出来,方便大家查阅。

在这里插入图片描述

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>

int main() {
    CURL *curl;
    CURLcode res;
    char *url = "https://www.amazon.com";
    // 提取爬虫ip jshk.com.cn/mb/reg.asp?kefu=xjy&csdn
    char *proxy_host = "duoip";
    int proxy_port = 8000;
    char *ch = NULL;
    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();
    if(curl) {
        curl_easy_setopt(curl, CURLOPT_URL, url);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);
        curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);
        curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);
        res = curl_easy_perform(curl);
        if(res != CURLE_OK)
            fprintf(stderr, "curl_easy_perform() failed: %s\n",
                    curl_easy_strerror(res));
        curl_easy_cleanup(curl);
    }
    curl_global_cleanup();
    if(ch) free(ch);
    return 0;
}

1、#include <stdio.h>:这个头文件包含了标准输入输出文件流的定义和函数声明。

2、#include <stdlib.h>:这个头文件包含了各种系统函数的定义和声明,如malloc、free等。

3、#include <string.h>:这个头文件包含了各种字符串函数的定义和声明,如strcpy、strlen等。

4、#include <curl/curl.h>:这个头文件包含了libcurl库函数的定义和声明。

5、int main() { ..、}:这是一个标准的C程序的主函数入口。

6、CURL *curl;:这是一个全局变量,用于存放libcurl库的句柄。

7、CURLcode res;:这是一个全局变量,用于存放libcurl库的错误代码。

8、char *url = "https://www.amazon.com";:这是一个字符串指针,用于存放要访问的URL。

9、char *proxy_host = "duoip";:这是一个字符串指针,用于存放代理服务器的主机名。

10、int proxy_port = 8000;:这是一个整数变量,用于存放代理服务器的端口号。

11、char *ch = NULL;:这是一个字符串指针,用于存放libcurl库的返回数据。

12、curl_global_init(CURL_GLOBAL_DEFAULT);:这是一个libcurl库的函数,用于初始化libcurl库。

13、curl = curl_easy_init();:这是一个libcurl库的函数,用于创建一个libcurl库的句柄。

14、if(curl) { ..、}:这是一个if语句,用于判断libcurl库的句柄是否成功创建。

15、curl_easy_setopt(curl, CURLOPT_URL, url);:这是一个libcurl库的函数,用于设置要访问的URL。

16、curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);:这是一个libcurl库的函数,用于设置数据写入函数。

17、curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);:这是一个libcurl库的函数,用于设置数据写入的数据指针。

18、curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);:这是一个libcurl库的函数,用于设置代理服务器的主机名。

19、curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);:这是一个libcurl库的函数,用于设置代理服务器的端口号。

20、res = curl_easy_perform(curl);:这是一个libcurl库的函数,用于发送请求并获取响应。

21、if(res != CURLE_OK) { ..、}:这是一个if语句,用于判断libcurl库的错误代码是否为CURLE_OK,即请求是否成功。

22、fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));:这是一个标准库函数,用于输出错误信息。

23、curl_easy_cleanup(curl);:这是一个libcurl库的函数,用于清除libcurl库的句柄。

24、curl_global_cleanup();:这是一个libcurl库的函数,用于清除libcurl库的全局数据。

25、if(ch) free(ch);:这是一个if语句,用于判断ch是否为空指针,如果是则调用free函数释放ch所指向的内存。

26、return 0;:这是一个标准的C程序的返回值,表示程序成功运行。

以上就是今天我编程的全部内容,其实总体思路还是和上一篇差不多。只是这次使用的库不同,但是都一样能达到自己想要的效果,两者选其一就行。如果有更多有趣好玩的爬虫代码,记得评论区留言给我。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/315201.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

利用Qt输出XML文件

使用Qt输出xml文件 void PixelConversionLibrary::generateXML() {QFile file("D:/TEST.xml");//创建xml文件if (!file.open(QIODevice::WriteOnly | QIODevice::Text))//以只写方式&#xff0c;文本模式打开文件{qDebug() << "generateXML:Failed to op…

stable diffusion使用相关

IP Adapter&#xff0c;我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器&#xff0c;它的作用是将你输入的图像作为图像提示词&#xff0c;本质上就像MJ的垫图。 IP Adapter比reference的效果要好&#xff0c;而且会快很多&#xff0c;适配于各种…

互联网加竞赛 基于大数据的股票量化分析与股价预测系统

文章目录 0 前言1 课题背景2 实现效果3 设计原理QTChartsarma模型预测K-means聚类算法算法实现关键问题说明 4 部分核心代码5 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 基于大数据的股票量化分析与股价预测系统 该项目较为新颖…

学习笔记-mysql基础(DDL,DML,DQL)

一.DDL DDL,Data Definition Language,数据库定义语言,该语言包括以下内容: 对数据库的常用操作对表结构的常用操作修改表结构 1.对数据库的常用操作 -- 查看所有的数据库 show databases -- 创建数据库 create database [if not exists] test [charsetutf8] -- 切换 选择 …

thinkphp学习08-数据库的链式查询

前面课程中我们通过指向符号“->”多次连续调用方法称为&#xff1a;链式查询&#xff0c;当 Db::name(‘user’)时&#xff0c;返回查询对象(Query)&#xff0c;即可连缀数据库对应的方法&#xff0c;而每次执行一个数据库查询方法时&#xff0c;比如 where()&#xff0c;还…

九、IndexedDB前端缓存

前言 在通才 3D 数字工厂项目中,由于场景文件(glb 资源文件)过大,并且每次加载页面时,glb 文件都会被重新加载,造成页面加载缓慢,最后通过保存生成 Blob 格式存储到 IndexedDB 中,增加文件缓存,减少资源重复加载。 为什么需要 IndexedDB 随着前端技术的发展和浏览器…

selenium不自动关闭chrome,selenium hello world

selenium不自动关闭chrome 用visual studio的话&#xff0c;右键&#xff0c;在终端运行。 from selenium import webdriveroptions webdriver.ChromeOptions() options.add_experimental_option("detach", True) driver webdriver.Chrome(optionsoptions) url …

分裂联邦学习论文-混合联邦分裂学习GAN驱动的预测性多目标优化

论文标题&#xff1a;《Predictive GAN-Powered Multi-Objective Optimization for Hybrid Federated Split Learning》 期刊&#xff1a;IEEE Transactions on Communications, 2023 一、论文介绍 背景&#xff1a;联邦学习作为一种多设备协同训练的边缘智能算法&#xff0…

扩散模型的机器学习应用

https://medium.com/jmkernes 来源&#xff1a;从 StableDiffusion 生成……。 一、说明 这篇文章旨在帮助您推导和理解扩散模型。如果您读完本文后的第一个想法是&#xff1a;“为什么我没有想到这个&#xff1f;&#xff01;&#xff1f;” 那么酷&#xff0c;我成功了。我们…

Google推出Telecom Jetpack库,让Android通话应用创建更简单

Google推出Telecom Jetpack库&#xff0c;让Android通话应用创建更简单 Telecom Jetpack库的最新Alpha版本已经推出。该库提供了多个API&#xff0c;以简化Android开发者创建语音和/或视频通话应用程序的过程&#xff0c;支持常见功能&#xff0c;例如接听/拒绝、音频路由等等…

Packet Tracer - Configuring Extended ACLs - Scenario 1

Packet Tracer - 配置扩展访问控制列表 - 场景1 地址表 目标 第一部分&#xff1a;配置、应用并验证一个编号扩展访问控制列表&#xff08;Extended ACL&#xff09; 第二部分&#xff1a;配置、应用并验证一个命名扩展访问控制列表&#xff08;Extended Named ACL&#xff…

Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型

目录 往期精彩内容&#xff1a; 引言 1 数据集制作与加载 1.1 导入数据 1.2 制作数据集 2 CNN-Transformer分类模型和超参数选取 2.1定义CNN-Transformer分类模型 2.2 设置参数&#xff0c;训练模型 3 模型评估 3.1 准确率、精确率、召回率、F1 Score 3.2 十分类混淆…

IDEA—初始化配置

注&#xff1a;以下红框圈的部分&#xff0c;均为已设置好的 外观与行为 编辑器 高级设置 按两次 shift 弹出提示问题解决

数据仓库 Apache Hive

一、数据分析 1、数据仓库 数据仓库&#xff08;英语&#xff1a;Data Warehouse&#xff0c;简称数仓、DW&#xff09;&#xff0c;是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境&#xff0c;分析结果为企业提供决策支持&#xff08…

如何在Spring Boot中使用EhCache缓存

1、EhCache介绍 在查询数据的时候&#xff0c;数据大多来自于数据库&#xff0c;我们会基于SQL语句与数据库交互&#xff0c;数据库一般会基于本地磁盘IO将数据读取到内存&#xff0c;返回给Java服务端&#xff0c;我们再将数据响应给前端&#xff0c;做数据展示。 但是MySQL…

重磅!OpenAI正式发布,自定义ChatGPT商店!

1月11日凌晨&#xff0c;OpenAI在官网正式发布了&#xff0c;自定义GPT商店&#xff0c;可以帮助用户找到目前最好用、流行的自定义ChatGPT助手。 在2024年第一季度&#xff0c;OpenAI将启动GPT 开发者收入计划。首先&#xff0c;美国地区的开发者将根据用户对其 GPT 的使用情…

Android音视频: 引入FFmpeg

本文你可以了解到 本文将介绍如何将上一篇文章编译出来的 FFmpeg so 库&#xff0c;引入到 Android 工程中&#xff0c;并验证 so 是否可以正常使用。 一、开启 Android 原生 C/C 支持 在过去&#xff0c;通常使用 makefile 的方式在项目中引入 C/C 代码支持&#xff0c;随…

HTML5+CSS3+JS小实例:音频可视化

实例:音频可视化 技术栈:HTML+CSS+JS 效果: 源码: 【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><m…

SQL语句详解二-DDL(数据定义语言)

文章目录 操作数据库创建&#xff1a;Create查询&#xff1a;Retrieve修改&#xff1a;Update删除&#xff1a;Delete使用数据库 操作表常见的几种数据类型创建&#xff1a;Create复制表 查询&#xff1a;Retrieve修改&#xff1a;Update删除&#xff1a;Delete 操作数据库 创…

【Linux】Linux系统编程——ls命令

【Linux】Linux 系统编程——ls 命令 1.命令概述 ls 命令是 Linux 和其他类 Unix 操作系统中最常用的命令之一。ls 命令是英文单词 list 的缩写&#xff0c;正如 list 的意思&#xff0c;ls 命令用于列出文件系统中的文件和目录。使用此命令&#xff0c;用户可以查看目录中的…