文章目录
- 1.最简单的Get方法实现
- 2.可自定义请求头、自定义Cookie的Get方法实现
- 3.提取响应协议头
- 4.实现Post请求完成单词翻译
爬虫的基本原理是根据需求获取信息并返回。就像当我们感到饥饿时,可以选择自己烹饪食物、外出就餐,或者订外卖一样。在编程中,使用 GET 和 POST 方法可以根据需求获取信息。
在 Delphi 中,有许多控件可以实现 GET 和 POST 方法,例如 Indy 组件等。然而,由于 Indy 组件庞大且使用起来不是很方便,在多线程环境下容易出现崩溃等问题。因此,我重新封装了 WinInet 单元,以更方便、快捷地实现 GET 和 POST 方法。
1.最简单的Get方法实现
下面的代码实现了返回百度的首页源代码:
// 返回百度首页源码
procedure TForm1.Button1Click(Sender: TObject);
var
strResponse: AnsiString;
begin
strResponse:= InetHttp(Edit1.Text);
Memo4.Text:= UTF8Decode(strResponse);
end;
这里InetHttp是重载函数,不但可以返回字符串,也可以返回流或者直接下载文件到本地,如果需要获取图片那么返回流会更方便。
function InetHttp(const AURL: string; Stream: TStream; APost: TStrings = nil): Boolean; overload;
function InetHttp(const AURL: string; APost: TStrings = nil): AnsiString; overload;
function InetHttp(const AURL: string; FileName: string; APost: TStrings = nil): Boolean; overload;
2.可自定义请求头、自定义Cookie的Get方法实现
在上面的示例中展示了最基本的 GET 请求,但在许多情况下,我们需要自定义请求头,因为有时对方服务器会对请求头进行检测。通常,我们会先进行抓包,然后将抓取到的请求头发送出去。
重新修改代码,让其支持自定义请求头
procedure TForm1.Button1Click(Sender: TObject);
var
strResponse: AnsiString;
http: THTTP;
Url: string;
Header: string;
begin
Url := Edit1.Text;
if not CheckBox1.Checked then
begin
strResponse := InetHttp(Url);
Memo4.Text := UTF8Decode(strResponse);
end
else
begin
http := THTTP.Create;
try
if CheckBox2.Checked then
http.NoCookie:= True;
http.HttpRequestHeaders.Text := Memo1.Text;
strResponse := http.GetString(Url);
Memo4.Text := UTF8Decode(strResponse);
finally
http.Free;
end;
end;
end;
还有一个注意的地方,我们有时候需要在自定义请求头中自定义Cookies,可以添加代码http.NoCookie:= True;
来设置,否则程序会自己维护Cookies
3.提取响应协议头
有时候一些重要的信息会在响应协议头,比如Cookies,我们需要提取出来。封装单元中已经做了提取处理,这里只需要一行代码即可。
Memo3.Text:= http.HttpResponseHeaders.Text;
4.实现Post请求完成单词翻译
下面实现了"apple"翻译成了"苹果"
procedure TForm1.Button3Click(Sender: TObject);
var
strResponse: AnsiString;
http: THTTP;
Url: string;
Header: string;
PostBody: TStrings;
begin
Url := 'https://fanyi.qq.com/api/translate';
Header :=
'Accept: application/json, text/javascript, */*; q=0.01' + #13#10 +
'Accept-Encoding: gzip, deflate' + #13#10 +
'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' + #13#10 +
'Connection: keep-alive' + #13#10 +
'Content-Type: application/x-www-form-urlencoded; charset=UTF-8' + #13#10 +
'Origin: https://fanyi.qq.com' + #13#10 +
'Referer: https://fanyi.qq.com/' + #13#10 +
'User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.100' + #13#10 +
'X-Requested-With: XMLHttpRequest' + #13#10;
http := THTTP.Create;
PostBody := TStringList.Create;
try
http.HttpRequestHeaders.Text := Header;
PostBody.Text :=
'source=en' + #13#10 +
'target=zh' + #13#10 +
'sourceText=apple' + #13#10 +
'sessionUuid=translate_uuid' + GenerateTimestamp(Now, True).ToString;
strResponse := http.GetString(Url, PostBody);
Memo4.Text := UTF8Decode(strResponse);
Memo3.Text := http.HttpResponseHeaders.Text;
finally
PostBody.Free;
http.Free;
end;
end;
这里Header的数据与PostBody的数据都是通过抓包所得。
成功返回了我们需要的数据:
{“sessionUuid”:“translate_uuid1713009200766”,“translate”:{“errCode”:0,“errMsg”:“”,“sessionUuid”:“translate_uuid1713009200766”,“source”:“en”,“target”:“zh”,“records”:[{“sourceText”:“apple”,“targetText”:“苹果”,“traceId”:“ca242e6218b845a8b1abf10b0610328f”}],“full”:true,“options”:{}},“dict”:null,“suggest”:null,“errCode”:0,“errMsg”:“ok”}
上面是一段json数据,下一篇文章将讲解如何在json数据中提取我们所需要的数据。