AI大模型探索之路-实战篇：智能化IT领域搜索引擎之知乎网站数据获取（初步实践）

系列篇章💥

No.文章
1AI大模型探索之路-实战篇：智能化IT领域搜索引擎的构建与初步实践
2AI大模型探索之路-实战篇：智能化IT领域搜索引擎之GLM-4大模型技术的实践探索
3AI大模型探索之路-实战篇：智能化IT领域搜索引擎之知乎网站数据获取（初步实践）
4AI大模型探索之路-实战篇：智能化IT领域搜索引擎之知乎网站数据获取（函数封装）
5AI大模型探索之路-实战篇：智能化IT领域搜索引擎之知乎网站数据获取（流程优化）
6AI大模型探索之路-实战篇：智能化IT领域搜索引擎之github网站在线搜索
7AI大模型探索之路-实战篇：智能化IT领域搜索引擎之HuggingFace网站在线搜索

目录

  • 系列篇章💥
  • 一、前言
  • 二、总体概览
  • 三、搜索API封装测试
    • 1、导入依赖并初始化客户端
    • 2、大模型回答问题策略测试
    • 3、function calling函数测试
    • 4、谷歌搜索API开发
  • 四、知乎网站数据爬取
    • 1、数据格式定义
    • 2、设置知乎排除的网站
    • 3、Google api调用测试
    • 4、爬虫之Cookie获取
    • 5、爬虫之user-agent
    • 6、爬虫之获取PATH
    • 7、网络爬虫代码编写
    • 8、question类型的网站爬虫测试
    • 9、网页数据保存
    • 10、question/answer网站爬虫测试
    • 11、专栏类网站爬虫测试
  • 结语

一、前言

在先前的文章中，我们完成了智能化IT领域搜索引擎的基础架构设计以及Google Search API的申请等前期准备工作。同时，我们还实践测试了GLM4的Function Calling能力，为后续的开发奠定了坚实的基础。本文将正式进入代码开发阶段，首先从知乎网站的数据搜索开始。

二、总体概览

本文将详细阐述如何逐步实现知乎网站数据获取的整个流程。我们将从知乎网站的结构分析入手，通过编写高效的网络爬虫程序，实现对知乎问题的智能检索，并利用先进的数据分析技术，对获取的数据进行深度挖掘和整合，最终将这些有价值的信息融入我们的智能化IT领域搜索引擎中，为用户提供更全面、准确的搜索结果。这一过程中，我们将不断优化算法，提升数据获取的效率和准确性，确保搜索引擎的智能化水平得到持续提升。

三、搜索API封装测试

1、导入依赖并初始化客户端

导入依赖

! pip install --upgrade zhipuai
! pip install --upgrade google-auth google-auth-httplib2 google-auth-oauthlib google-api-python-client requests

创建客户端

import os
import openai
from openai import OpenAI
import glob
import shutil

import numpy as np
import pandas as pd

import json
import io
import inspect
import requests
import re
import random
import string

from googleapiclient.discovery import build
from google.oauth2.credentials import Credentials
from google_auth_oauthlib.flow import InstalledAppFlow
import base64


from bs4 import BeautifulSoup
import dateutil.parser as parser
import tiktoken
from lxml import etree

## 初始化客户端
api_key = os.getenv("ZHIPU_API_KEY")


from zhipuai import ZhipuAI
client = ZhipuAI(api_key=api_key)

2、大模型回答问题策略测试

测试一

response = client.chat.completions.create(
  model="glm-4",
  messages=[
    {"role": "system", "content": "根据用户输入的问题进行回答，如果知道问题的答案，请回答问题答案，如果不知道问题答案，请回复‘抱歉，这个问题我并不知道’"},
    {"role": "user", "content": "请问，什么是机器学习？"}
  ]
)
response.choices[0].message.content

输出：

'机器学习是人工智能的一个核心领域，它让计算机能够模拟人类的学习和思考方式。通过使用大量数据和算法，机器学习可以使计算机学会分类、回归和聚类等任务，从而让计算机能够从数据中提取知识，进行决策和预测。在机器学习的流程中，包括数据获取、特征工程、建立模型、模型评估以及调参等步骤。深度学习和强化学习是机器学习的两个重要分支。深度学习主要用于处理复杂结构数据的建模问题，而强化学习则让机器在探索环境中通过试错进行学习。'

测试二

response = client.chat.completions.create(
  model="glm-4",
  messages=[
    {"role": "system", "content": "根据用户输入的问题进行回答，如果知道问题的答案，请回答问题答案，如果不知道问题答案，请回复‘抱歉，这个问题我并不知道’"},
    {"role": "user", "content": "介绍一下关于GPT-6的猜想"}
  ]
)
response.choices[0].message.content

输出

'抱歉，这个问题我并不知道。\n\n到2023为止，GPT-6尚未被公开提及或发布。GPT（Generative Pre-trained Transformer）系列模型由OpenAI开发，至今已发布了多个版本，如GPT-2和GPT-3。关于未来版本的GPT，如GPT-6，可能会有很多猜想和预期，但具体的内容和功能我无法提供，因为那将基于未来尚未公开的技术和信息。如果GPT-6在您提问之后有了新的消息，我可能无法获取那些最新的信息。'

3、function calling函数测试

增加外部函数测试一下，看大模型回答问题的时候是先去调用外部函数，还是先尝试自己回答。
1）定义函数信息生成器

def auto_functions(functions_list):
    """
    Chat模型的functions参数编写函数
    :param functions_list: 包含一个或者多个函数对象的列表；
    :return：满足Chat模型functions参数要求的functions对象
    """
    def functions_generate(functions_list):
        # 创建空列表，用于保存每个函数的描述字典
        functions = []
        # 对每个外部函数进行循环
        for function in functions_list:
            # 读取函数对象的函数说明
            function_description = inspect.getdoc(function)
            # 读取函数的函数名字符串
            function_name = function.__name__

            system_prompt = '以下是某的函数说明：%s,输出结果必须是一个JSON格式的字典，只输出这个字典即可，前后不需要任何前后修饰或说明的语句' % function_description
            user_prompt = '根据这个函数的函数说明，请帮我创建一个JSON格式的字典，这个字典有如下5点要求：\
                           1.字典总共有三个键值对；\
                           2.第一个键值对的Key是字符串name，value是该函数的名字：%s，也是字符串；\
                           3.第二个键值对的Key是字符串description，value是该函数的函数的功能说明，也是字符串；\
                           4.第三个键值对的Key是字符串parameters，value是一个JSON Schema对象，用于说明该函数的参数输入规范。\
                           5.输出结果必须是一个JSON格式的字典，只输出这个字典即可，前后不需要任何前后修饰或说明的语句' % function_name

            response = client.chat.completions.create(
                              model="glm-4",
                              messages=[
                                {"role": "system", "content": system_prompt},
                                {"role": "user", "content": user_prompt}
                              ]
                            )
            json_str=response.choices[0].message.content.replace("```json","").replace("```","")
            json_function_description=json.loads(json_str)
            json_str={"type": "function","function":json_function_description}
            functions.append(json_str)
        return functions
    ## 最大可以尝试4次
    max_attempts = 4
    attempts = 0

    while attempts < max_attempts:
        try:
            functions = functions_generate(functions_list)
            break  # 如果代码成功执行，跳出循环
        except Exception as e:
            attempts += 1  # 增加尝试次数
            print("发生错误：", e)
            if attempts == max_attempts:
                print("已达到最大尝试次数，程序终止。")
                raise  # 重新引发最后一个异常
            else:
                print("正在重新运行...")
    return functions

2）大模型API调用封装

def run_conversation(messages, functions_list=None, model="glm-4"):
    """
    能够自动执行外部函数调用的对话模型
    :param messages: 必要参数，字典类型，输入到Chat模型的messages参数对象
    :param functions_list: 可选参数，默认为None，可以设置为包含全部外部函数的列表对象
    :param model: Chat模型，可选参数，默认模型为glm-4
    :return：Chat模型输出结果
    """
    # 如果没有外部函数库，则执行普通的对话任务
    if functions_list == None:
        response = client.chat.completions.create(
                        model=model,
                        messages=messages,
                        )
        response_message = response.choices[0].message
        final_response = response_message.content
        
    # 若存在外部函数库，则需要灵活选取外部函数并进行回答
    else:
        # 创建functions对象
        tools = auto_functions(functions_list)

        # 创建外部函数库字典
        available_functions = {func.__name__: func for func in functions_list}

        # 第一次调用大模型
        response = client.chat.completions.create(
                        model=model,
                        messages=messages,
                        tools=tools,
                        tool_choice="auto", )
        response_message = response.choices[0].message


        tool_calls = response_message.tool_calls

        if tool_calls:

            #messages.append(response_message)
            messages.append(response.choices[0].message.model_dump())
            for tool_call in tool_calls:
                function_name = tool_call.function.name
                function_to_call = available_functions[function_name]
                function_args = json.loads(tool_call.function.arguments)
                ## 真正执行外部函数的就是这儿的代码
                function_response = function_to_call(**function_args)
                messages.append(
                    {
                        "role": "tool",
                        "content": function_response,
                        "tool_call_id": tool_call.id,
                    }
                ) 
            ## 第二次调用模型
            second_response = client.chat.completions.create(
                model=model,
                messages=messages,
                tools=tools
            ) 
            # 获取最终结果
            print(second_response.choices[0].message)
            final_response = second_response.choices[0].message.content
        else:
            final_response = response_message.content
                
    return final_response

3）定义工具函数

def ml_answer(q='什么是机器学习'):
    """
    解释什么是机器学习，返回机器学习的定义和解释
    :param q: 询问的问题，非必要参数，字符串类型对象
    :return：返回机器学习的定义和解释
    """
    return("机器学习是一种人工智能（AI）的分支领域，旨在使计算机系统通过学习和经验改进性能。")

4）工具函数调用测试

ml_answer()

'机器学习是一种人工智能（AI）的分支领域，旨在使计算机系统通过学习和经验改进性能。'

functions_list = [ml_answer]
tools = auto_functions(functions_list)
tools

查看输出结果可以看到，大模型已经找到了工具函数
在这里插入图片描述

5）大模型调用测试1

response = client.chat.completions.create(
        model="glm-4",
        messages=[
            {"role": "user", "content": "解释什么是机器学习？"}
        ],
        tools=tools,
        tool_choice="auto"
    )
response.choices[0].message

在这里插入图片描述

注意：我们发现，加入了外部函数以后，大模型回答同一个问题，有时候去调外部函数，有时候是自己去回答的。
但是我们想要的效果是，问任何问题的时候，大模型先自己判断一下自己知不知道，如果知道，那就基于自己的知识进行回答
如果自己不知道的时候采取调用外部函数回答问题。
6）大模型调用测试2

response = client.chat.completions.create(
        model="glm-4",
        messages=[
            {"role":"system","content": "对于用户提的问题，如果知道就直接回答，不知道才通过调用外部函数回答"},
            {"role": "user", "content": "什么是机器学习?"}
        ],
        tools=tools,
        tool_choice="auto"
    )
response.choices[0].message

在这里插入图片描述

7）大模型调用测试3

response = client.chat.completions.create(
        model="glm-4",
        messages=[
            {"role":"system","content": "对于用户提的问题，如果知道就直接回答，不知道才通过调用外部函数回答"},
            {"role": "user", "content": "什么是大模型?"}
        ],
        tools=tools,
        tool_choice="auto"
    )
response.choices[0].message

在这里插入图片描述

4、谷歌搜索API开发

1）API调用测试

google_search_key = os.getenv("GOOGLE_SEARCH_API_KEY")
cse_id = os.getenv("CSE_ID")
search_term = "OpenAI"

import requests

# Step 1.构建请求
url = "https://www.googleapis.com/customsearch/v1"

# Step 2.设置查询参数（还有很多参数）
params = {
    'q': search_term,           # 搜索关键词
    'key': google_search_key,   # 谷歌搜索API Key
    'cx': cse_id                # CSE ID
}

# Step 3.发送GET请求
response = requests.get(url, params=params)

# Step 4.解析响应
data = response.json()
data

在这里插入图片描述

data['items'][0]

在这里插入图片描述

2）Google API封装

def google_search(query, num_results=10, site_url=None):
    
    api_key = os.getenv("GOOGLE_SEARCH_API_KEY")
    cse_id = os.getenv("CSE_ID")
    
    url = "https://www.googleapis.com/customsearch/v1"

    # API 请求参数
    if site_url == None:
        params = {
        'q': query,          
        'key': api_key,      
        'cx': cse_id,        
        'num': num_results   
        }
    else:
        params = {
        'q': query,         
        'key': api_key,      
        'cx': cse_id,        
        'num': num_results,  
        'siteSearch': site_url
        }

    # 发送请求
    response = requests.get(url, params=params)
    response.raise_for_status()

    # 解析响应
    search_results = response.json().get('items', [])

    # 提取所需信息
    results = [{
        'title': item['title'],
        'link': item['link'],
        'snippet': item['snippet']
    } for item in search_results]

    return results

3）API调用测试

search_term = "OpenAI"
results = google_search(query=search_term, num_results=5)
results

输出：
在这里插入图片描述

results = google_search(query='GLM4大模型有什么新特性？', num_results=10, site_url='https://www.zhihu.com/')
results

输出：

[{'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - 知乎',
  'link': 'https://www.zhihu.com/question/639753877?write',
  'snippet': 'Jan 16, 2024 ... ... 大小时，路坚终于出现了。「我这边终于有新进展了，你在学校吗？我要当面告诉你！」室友激动坏了，突然高喊了一声「我赢了」，把我吓一跳。这个小镇\xa0...'},
 {'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - 新智元的回答- 知乎',
  'link': 'https://www.zhihu.com/question/639753877/answer/3364585933',
  'snippet': 'Jan 15, 2024 ... 它能够支持更长的上下文，具备更强的多模态 功能，支持更快的推理，更多并发，推理成本大大降低。 同时，GLM-4也增强了智能体能力。 基础能力. 从众多评测\xa0...'},
 {'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - 杨夕的回答- 知乎',
  'link': 'https://www.zhihu.com/question/639753877/answer/3364710951',
  'snippet': 'Jan 15, 2024 ... 众所周知，在我国众多大型模型企业中，我一直对智谱AI抱有极高的好感。 这不仅是因为他们浓厚的学术氛围…'},
 {'title': '智谱AI 宣布基座大模型GLM-4 发布，该大模型有何功能？ - 知乎',
  'link': 'https://www.zhihu.com/question/640050703',
  'snippet': 'Jan 17, 2024 ... 1月16日下午消息，智谱AI首届技术开放日上，智谱AI宣布发布新一代基座大模型GLM-4。据介绍，GLM-4的整体…'},
 {'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - 大林的回答- 知乎',
  'link': 'https://www.zhihu.com/question/639753877/answer/3364780672',
  'snippet': 'Jan 16, 2024 ... 智谱发布GLM-4 基座大模型，性能效果如何？ 量子位 ... 大模型的微调都是有益处的。 2、更长的上下文 ... 特性的基础之上，ChatGLM2-6B 引入了如下新特性：.'},
 {'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - 数字生命卡兹克的 ...',
  'link': 'https://www.zhihu.com/question/639753877/answer/3364475601',
  'snippet': 'Jan 15, 2024 ... 再将它们全部打包在了一起。 比如我说一句：“搜索一下过去7天北京的天气，然后给我处理成一张表格让我可以下载”.'},
 {'title': '如何看待智谱AI发布GLM4？国产大模型与GPT-4更加接近了吗？ - 一 ...',
  'link': 'https://www.zhihu.com/question/639787253/answer/3365580226',
  'snippet': 'Jan 16, 2024 ... ... 新一代基座大模型GLM-4。 ➤GLM-4模型：性能逼近GPT-4. 先看总体的评测数据：. 在大规模多任务语言理解评测中，GLM-4得分远超GPT-3.5，平均达到GPT-4的\xa0...'},
 {'title': 'chatGLM和chatGPT的技术区别在哪里？ - 李孟聊AI 的回答- 知乎',
  'link': 'https://www.zhihu.com/question/604393963/answer/3367583114',
  'snippet': 'Jun 1, 2023 ... \ufeff本文以GLM-4 发布功能作为基准对比ChatGPT4，Claude-2测试。 ... 新一代基座大模型GLM-4。 多模态理解. GLM-4 ... 目前ChatGLM是基于Base 模型进行有监督微调\xa0...'},
 {'title': '如何看待智谱AI发布GLM4？国产大模型与GPT-4更加接近了吗？ - 知乎',
  'link': 'https://www.zhihu.com/question/639787253',
  'snippet': 'Jan 16, 2024 ... 他立刻下载安装，试用后发现ChatGLM4 All Tools功能强大，使用方便，心中无比高兴。'},
 {'title': '智谱发布GLM-4 基座大模型，性能效果如何？ - GLM大模型的回答- 知乎',
  'link': 'https://www.zhihu.com/question/639753877/answer/3365018019',
  'snippet': 'Jan 16, 2024 ... GLMs & MaaS API. GLM-4的全线能力提升使得我们有机会探索真正意义上的GLMs。用户可以下载（更新）智谱清\xa0...'}]

四、知乎网站数据爬取

1、数据格式定义

import json

file_path = 'result.json'

# 创建包含JSON对象的列表
json_data = [
    {
        "link": "https://example.com/article/1",
        "title": "Sample Article 1",
        "content": "This is the content of the first article...",
        "tokens": "Number of tokens..."
    }
]

# 指定保存文件的路径
file_path = "result.json"

# 将JSON数据写入本地文件
with open(file_path, "w", encoding="utf-8") as json_file:
    json.dump(json_data, json_file, ensure_ascii=False, indent=4)

print(f"JSON数据已保存到文件：{file_path}")

2、设置知乎排除的网站

对搜索引擎设置：https://programmablesearchengine.google.com/ ，设置排除的网址；以下几类是不需要的网页数据：
www.zhihu.com/collection 类网站（收藏列表），
www.zhihu.com/people 类网站（个人主页），
www.zhihu.com/column 类网站（个人文章主页），
www.zhihu.com/topic 类网站(主题)
在这里插入图片描述

3、Google api调用测试

results = google_search(query='GLM4大模型有什么新特性？', num_results=5, site_url='https://www.zhihu.com/')
results

输出：

在这里插入图片描述

4、爬虫之Cookie获取

  1. 手动登录：首先，你需要在浏览器中手动访问目标网站并登录知乎。
  2. 开发者工具：登录后，打开浏览器的开发者工具。在 Chrome 和 Firefox 中，你可以右键点击
    页面，然后选择“检查”或“检查元素”。
  3. 网络标签：在开发者工具中，转到“网络”或“Network”标签。
  4. 刷新页面：在开发者工具打开的情况下，刷新页面。这会捕获所有页面加载过程中的网络请求。
  5. 查找请求：在捕获的请求列表中，找到主要的请求（通常是顶部的第一个，或者是与你的目标
    URL匹配的请求）。
  6. 查看请求头：点击这个请求，然后查找“请求头”或“Request Headers”部分。
  7. 复制Cookie：在“请求头”部分，你应该能看到一个名为 Cookie 的字段。你可以直接复制这个
    字段的值。
  8. 使用在爬虫中：将复制的 Cookie 值用于你的爬虫代码中的请求头。
    需要注意的是Cookie 通常有有效期，过了有效期它可能会过期。如果你的爬虫在某个时间点突
    然无法工作，你可能需要重新获取新的 Cookie。

5、爬虫之user-agent

  1. Chrome (Windows 10):
    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36
  2. Firefox (Windows 10):
    Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0
  3. Safari (macOS):
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Safari/605.1.15
  4. Edge (Windows 10):
    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36
    Edg/91.0.864.59
  5. Chrome (Android):
    Mozilla/5.0 (Linux; Android 10; SM-A205U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile
    Safari/537.36
  6. Safari (iPhone):
    Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1 Mobile/15E148
    Safari/604.1

6、爬虫之获取PATH

以下是使用Google Chrome浏览器查看和获取XPath的步骤，但其他现代浏览器（如Firefox、Edge等）的操作方式也类似：

  1. 打开网页: - 在Chrome中打开你想要查看的网页。
  2. 打开开发者工具: - 右键点击页面上的任意位置，然后选择“检查”（或“Inspect Element”）。
  • 或者，你可以使用快捷键 Ctrl + Shift + I（Windows/Linux）或 Cmd + Option + I（Mac）。
  1. 使用元素选择器: - 在开发者工具的左上角，你会看到一个鼠标指针图标，这是“选择元素”工具。点击它。
  • 然后，将鼠标悬停在页面上的元素上。你会看到元素被高亮显示，并在开发者工具的“Elements”面板中显示其HTML结构。
  1. 获取XPath: - 当你找到想要的元素后，在“Elements”面板中右键点击它。
  • 在弹出的菜单中，选择“Copy” > “Copy XPath”。这将元素的XPath复制到剪贴板。
  1. 粘贴XPath: - 接下来即可将复制的XPath粘贴到你的代码或其他地方。

7、网络爬虫代码编写

1）请求头样例

## 请求头
headers = {
    'authority': 'www.zhihu.com',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'cache-control': 'max-age=0',
    'cookie': "Your cookie",                # 需要手动获取cookie
    'upgrade-insecure-requests': '1',
    'user-agent': 'Your user-agent',        # 手动编写或者选择之后给出的user-agent选项选择其一填写
}
  1. authority: 通常表示请求的目标主机名。在当前项目中需要视情况填写www.zhihu.com或者zhuanlan.zhihu.com；
  2. accept: 告诉服务器客户端能够处理的内容类型。这里列出了多种内容类型，包括HTML、XML和各种图片格式，该参数按照给定内容填写即可；
  3. accept-language: 告诉服务器客户端的首选语言。这里，首选语言被设置为简体中文（zh-CN），其次是其他中文版本（zh），然后是英文（en）。同样该参数的内容按照给定内容填写即可；
  4. cache-control: 控制缓存的行为。max-age=0通常表示客户端不希望得到缓存的响应，而希望从原始服务器获取一个新的响应。该参数的内容按照给定内容填写即可；
  5. cookie: 包含服务器之前发送给客户端的cookie。这些cookie可能用于身份验证、会话跟踪或其他目的。这里需要重点注意，建议大家自行获取对应个人浏览器产生的cookie，以避免cookie滥用导致被识别为机器人从而导致封IP；
  6. upgrade-insecure-requests: 这个头部告诉服务器，如果可能的话，客户端希望使用更安全的协议（如HTTPS）进行通信。建议取值为1即可；
  7. user-agent: 描述发出请求的客户端的类型。这里，它模拟了一个Chrome浏览器的用户代理字符串。网站有时会根据这个头部提供不同的内容或布局，或者检测是否是爬虫。该参数也需要根据自己实际情况进行编写。

2）设置cookie和user-agent

cookie = "q_c1=3c10baf5bd084b3cbfe7eece648ba243|1704976541000|1704976541000; _zap=086350b3-1588-49c4-9d6d-de88f3faae03; d_c0=AGCYfYvO_RePTvjfB1kZwPLeke_N5AM6nwo=|1704949678; _xsrf=qR1FJHlZ9dvYhhoj4SUj43SAIBUwPOqm; __snaker__id=wNWnamiJKBI0kzkI; q_c1=d44e397edb6740859a7d2a0d4155bfab|1706509753000|1706509753000; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1706509695,1706589529,1706765465,1708650963; z_c0=2|1:0|10:1713167971|4:z_c0|80:MS4xOGRHQVNnQUFBQUFtQUFBQVlBSlZUYjZqOTJaLXVDSjdRSmJKMHgyVEhxTE13UGN1TUJBdHZnPT0=|15b2c2ece393ac4ea374d9b36cde5af7304f8ee7632e060fe6835bfadb5e4132; KLBRSID=9d75f80756f65c61b0a50d80b4ca9b13|1713170212|1713167958"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"

3）设置请求头信息

## 请求头
headers = {
    'authority': 'www.zhihu.com',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'cache-control': 'max-age=0',
    'cookie': cookie,                # 需要手动获取cookie
    'upgrade-insecure-requests': '1',
    'user-agent': user_agent,        # 手动编写或者选择之后给出的user-agent选项选择其一填写
}

8、question类型的网站爬虫测试

## question类型的网站
url = 'https://www.zhihu.com/question/639753877'
res = requests.get(url, headers=headers).text
res

输出：
在这里插入图片描述

1）网页标题解析

res_xpath = etree.HTML(res)
res_xpath

在这里插入图片描述

title = res_xpath.xpath('//div/div[1]/div/h1/text()')[0]
#%%
title

在这里插入图片描述

2）网页内容解析

## 获取回答的正文
#//*[@id="root"]/div/main/div/div/div[1]/div[2]/div/div[1]/div[1]/div[6]/div/div/div/div/span/p[1]/text()
text = ''
text_d = res_xpath.xpath('//div/div/div/div[2]/div/div[2]/div/div/div[2]/span[1]/div/div/span/p/text()')
for t in text_d:
    txt = str(t).replace('\n', ' ')
    text +=txt

print(text)

在这里插入图片描述

9、网页数据保存

encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
len(encoding.encode(text))

json_data = [
    {
        "link": url,
        "title": title,
        "content": text,
        "tokens": len(encoding.encode(text))
    }
]

title="智谱发布GLM-4基座大模型，性能效果如何"
#%%
with open('./auto_search/介绍一下GLM4大模型的特性/%s.json' % title, 'w') as f:
    json.dump(json_data, f)
#%%
with open('./auto_search/介绍一下GLM4大模型的特性/%s.json' % title, 'r') as f:
    jd = json.load(f)
#%%
jd

在这里插入图片描述

10、question/answer网站爬虫测试

## question/answer网站
url = 'https://www.zhihu.com/question/639787253/answer/3365580226'
res = requests.get(url, headers=headers).text
res_xpath = etree.HTML(res)
#%%
# question/answer网站标题
res_xpath.xpath('//div/div[1]/div/h1/text()')[0]

在这里插入图片描述

回答内容爬取解析

# question/answer网站置顶回答内容
dic = []
text_d = res_xpath.xpath('//*[@id="root"]/div/main/div/div/div[3]/div[1]/div/div[2]/div/div/div/div[2]/span[1]/div/div/span/p/text()')
for t in text_d:
    txt = str(t).replace('\n', ' ')
    dic.append(txt)
    print(txt)

在这里插入图片描述

11、专栏类网站爬虫测试

# 专栏类网站
url = 'https://zhuanlan.zhihu.com/p/469793124'
res = requests.get(url, headers=headers).text
res_xpath = etree.HTML(res)
#%%
# 专栏类网站标题
res_xpath.xpath('//div[1]/div/main/div/article/header/h1/text()')[0]

在这里插入图片描述

网页内容解析读取

# 专栏类网站标题内容
dic = []
text_d = res_xpath.xpath('//div/main/div/article/div[1]/div/div/div/p/text()')
for t in text_d:
    txt = str(t).replace('\n', ' ')
    dic.append(txt)
    print(txt)

在这里插入图片描述

结语

随着本章的结束，我们已经完成了知乎网站数据的智能搜索的基本链路拉通，下一篇章我们将对想要的函数进行封装改造，提高整各项目模块的扩展和复用性。

在这里插入图片描述

🎯🔖更多专栏系列文章：AIGC-AI大模型探索之路

😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索。
📖 技术交流：建立有技术交流群，可以扫码👇 加入社群，500本各类编程书籍、AI教程、AI工具等你领取！
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/708714.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Spring Boot：Java 应用开发高效之道

Spring Boot：Java 应用开发高效之道

Spring Boot 是一种革命性的框架&#xff0c;旨在简化 Java 应用的创建和部署过程。通过自动化配置和简化项目搭建流程&#xff0c;Spring Boot 大大加速了开发周期&#xff0c;让 Java 应用开发变得更加高效和便捷。 核心优势&#xff1a; 快速启动和简化配置&#xff1a;Spr…
阅读更多...
wordpress轻量免费主题

wordpress轻量免费主题

WordPress建站公司 适合提供WordPress建站服务的公司或个体(个人)工作室使用的WordPress建站公司主题模板。 https://www.jianzhanpress.com/?p545 首屏大图红色简洁wordpress主题 首屏大图红色简洁wordpress主题&#xff0c;非常地高端大气上档次&#xff0c;可用于多个行…
阅读更多...
感受光子芯片中试线，如何点亮未来计算与通信的革命之路（2024青岛智能装备与通信技术展）

感受光子芯片中试线，如何点亮未来计算与通信的革命之路（2024青岛智能装备与通信技术展）

光子芯片中试线&#xff1a;点亮未来计算与通信的革命之路 在新一代信息技术的浪潮中&#xff0c;光子芯片以其低能耗、高速度的特点备受瞩目。首条光子芯片中试线的建立&#xff0c;标志着我国在光电子领域的重大突破&#xff0c;同时也为即将到来的量子计算时代奠定了坚实基…
阅读更多...
机器学习python实践——数据“相关性“的一些补充性个人思考

机器学习python实践——数据“相关性“的一些补充性个人思考

在上一篇“数据白化”的文章中&#xff0c;说到了数据“相关性”的概念&#xff0c;但是在统计学中&#xff0c;不仅存在“相关性”还存在“独立性”等等&#xff0c;所以&#xff0c;本文主要对数据“相关性”进行一些补充。当然&#xff0c;如果这篇文章还能入得了各位“看官…
阅读更多...
（Javascript）AI数字人mp4转canvas播放并去除背景绿幕

（Javascript）AI数字人mp4转canvas播放并去除背景绿幕

1、需求介绍 H5页面嵌入AI数字人播报&#xff0c;但生成的数字人是mp4格式且有绿幕背景&#xff0c;需要转成canvas并去除背景&#xff1b; 2、效果&#xff1a; 去除前&#xff1a; 去除后&#xff1a; 3、代码 <!DOCTYPE html> <html lang"en"><…
阅读更多...
泉州职业技术大学2024Java期末题库【基础题】

泉州职业技术大学2024Java期末题库【基础题】

1.根据输入的表示星期几的数字&#xff0c;对应输出它的英文名称。 考察内容:Switch语句的掌握 public class test1 {public static void main(String[] args) {//switch语句复习//创建对象java.util.Scanner input new java.util.Scanner(System.in);//提示输入语句System.ou…
阅读更多...
本地Zabbix开源监控系统安装内网穿透实现远程访问详细教程

本地Zabbix开源监控系统安装内网穿透实现远程访问详细教程

文章目录 前言1. Linux 局域网访问Zabbix2. Linux 安装cpolar3. 配置Zabbix公网访问地址4. 公网远程访问Zabbix5. 固定Zabbix公网地址 &#x1f4a1;推荐 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【…
阅读更多...
树莓派4B学习笔记7：(Python)_TTL串口收发数据_

树莓派4B学习笔记7：(Python)_TTL串口收发数据_

今日继续学习树莓派4B 4G&#xff1a;&#xff08;Raspberry Pi&#xff0c;简称RPi或RasPi&#xff09; 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令 (lsb_release -a) 查询: Opencv 版本是4.5.1&#xff1a; 今日尝试使用树莓派的TTL串口进行收发数据&#xff1a; …
阅读更多...
能耗监控与管理平台

能耗监控与管理平台

在当今社会&#xff0c;随着工业化、城市化的快速发展&#xff0c;能源消耗问题日益凸显&#xff0c;节能减排已成为全社会共同关注的焦点。在这个背景下&#xff0c;一款高效、智能的能耗监控与管理平台显得尤为重要。 一、HiWoo Cloud平台的概念 HiWoo Cloud是一款集数据采…
阅读更多...
【数据结构（邓俊辉）学习笔记】图04——双连通域分解

【数据结构（邓俊辉）学习笔记】图04——双连通域分解

文章目录 0. 概述1 关节点与双连通域2 蛮力算法3 可行算法4 实现5 示例6 复杂度 0. 概述 学习下双连通域分解&#xff0c;这里略微有一点点难&#xff0c;这个算是DFS算法的非常非常经典的应用&#xff0c;解决的问题也非常非常有用。 1 关节点与双连通域 连通性很好理解&am…
阅读更多...
springboot与flowable（5）：任务分配（表达式）

springboot与flowable（5）：任务分配（表达式）

在做流程定义时我们需要给相关的用户节点指派对应的处理人。在flowable中提供了三种分配的方式。 一、固定分配 在分配用户时选择固定值选项确认即可。 二、表达式 1、值表达式 2、方法表达式 三、表达式流程图测试 1、导出并部署 导出流程图&#xff0c;复制到项目中 部署流…
阅读更多...
海南聚广众达电子商务咨询有限公司可靠吗？

海南聚广众达电子商务咨询有限公司可靠吗？

在数字经济的浪潮中&#xff0c;抖音电商以其独特的魅力迅速崛起&#xff0c;成为众多企业竞相追逐的新高地。海南聚广众达电子商务咨询有限公司&#xff0c;作为抖音电商服务的佼佼者&#xff0c;凭借专业的团队和创新的思维&#xff0c;在抖音电商领域取得了骄人的成绩&#…
阅读更多...
BT音频方案

BT音频方案

一、缩写 缩写 全程 释义 I2S I2S 音频传输接口总线 PCM Pulse-Code Modulation 基础音频数据或翻译为音频接口总线 HFP Handsfree 蓝牙通话协议 A2DP Advanced Audio Distribution Profile 蓝牙媒体音频协议 二、音频流转策略 蓝牙音频功能分为通话声音和媒体…
阅读更多...
高通Android 12 右边导航栏改成底部显示

高通Android 12 右边导航栏改成底部显示

最近同事说需要修改右边导航栏到底部&#xff0c;问怎么搞&#xff1f;然后看下源码尝试下。 1、Android 12修改代码路径 frameworks/base/services/core/java/com/android/server/wm/DisplayPolicy.java a/frameworks/base/services/core/java/com/android/server/wm/Display…
阅读更多...
【HarmonyOS】遇见的问题汇总

【HarmonyOS】遇见的问题汇总

一、当前编辑的页面&#xff0c;预览打不开 1、问题说明 当前编辑的页面&#xff0c;预览打不开&#xff0c;日志提示如下&#xff1a; Route information is not configured for the current page. To avoid possible redirection issues, configure route information for…
阅读更多...
【leetcode--单词规律】

【leetcode--单词规律】

题目要求&#xff1a; 跟上一个字符串的思路一致&#xff0c;只是要进行单词的拆分&#xff0c;用.split()函数即可。 class Solution:def wordPattern(self, pattern: str, s: str) -> bool:word s.split()if(len(pattern) ! len(word)):return Falsereturn len(set(patt…
阅读更多...
python爬虫爬电影数据

python爬虫爬电影数据

使用python 爬了下豆瓣电影&#xff0c;仅供学习。 目标链接主页 获取div内容 保存爬出来的数据
阅读更多...
并发、多线程、HTTP连接数有何关系？

并发、多线程、HTTP连接数有何关系？

在计算机领域&#xff0c;"并发"、"多线程"和"HTTP连接数"是三个重要的概念&#xff0c;它们之间存在着密切的关系。本文将探讨这三者之间的联系以及它们在现代计算机系统中的作用。 一、并发的概念 并发是指系统能够同时处理多个任务或事件的能…
阅读更多...
3. ceph-mimic版本部署

3. ceph-mimic版本部署

ceph-mimic版本部署 一、ceph-mimic版本部署1、环境规划2、系统基础环境准备2.1 关闭防火墙、SELinux2.2 确保所有主机时间同步2.3 所有主机ssh免密2.4 添加所有主机解析 3、配置ceph软件仓库4、安装ceph-deploy工具5、ceph集群初始化6、所有ceph集群节点安装相关软件7、客户端…
阅读更多...
问题：设开环系统的频率特性为则其相频特性穿越-180°线时对应的频率为（）。 #学习方法#微信

问题：设开环系统的频率特性为则其相频特性穿越-180°线时对应的频率为（）。 #学习方法#微信

问题&#xff1a;设开环系统的频率特性为则其相频特性穿越-180线时对应的频率为&#xff08;&#xff09;。 ? A、10rad1s B、3rad/s C、lradIs D、√3rad/s 参考答案如图所示
阅读更多...
最新文章

Copyright @ 2022~2023