Unity C# 之 Http 获取网页的 html 数据，并去掉 html 格式等相关信息
目录
Unity C# 之 Http 获取网页的 html 数据，并去掉 html 格式等相关信息
一、简单介绍
二、实现原理
三、注意事项
四、效果预览
五、关键代码
一、简单介绍
Unity中的一些知识点整理。
本节简单介绍在Unity开发中的，使用 HttpClient，获取指定网页的相关信息，然后进行数据清洗，去掉html 格式，以及标签，函数，多余的空格等信息，仅留下和网页显示差不多的文字信息，为什么这么做呢，其实这里一个使用场景是把网页数据喂给GPT，然后让 GPT 进行处理总结，如果你有新的方式也可以留言，多谢。
二、实现原理
1、HttpClient 获取指定网页的 html 数据
2、使用 HtmlAgilityPack 进行 html 的数据进行 去除所有的<script>标签及其内容，获取纯文本内容，最后再去除多余的空格和空行
三、注意事项
1、直接代码访问网页，最好添加上 User-Agent，不然，可能不能正常访问
2、注意 NuGet 安装 HtmlAgilityPack 包
四、效果预览
五、关键代码
using HtmlAgilityPack;
using System;
using System.Linq;
using System.Net.Http;
using System.Text.RegularExpressions;
namespace TestHtml
{
class Program
{
static async System.Threading.Tasks.Task Main(string[] args)
{
//string url = "https://movie.douban.com/chart";
//string url = "http://www.weather.com.cn/";
//string url = "https://movie.douban.com/";
//string url = "http://time.tianqi.com/";
string url = "http://time.tianqi.com/shenzhen/";
string htmlContent = @"
<html>
<head>
<title>Sample Page</title>
<script>
function myFunction() {
alert(""Hello!"");
}
</script>
</head>
<body>
<h1>Welcome to My Page</h1>
<p>This is a sample page with some content.</p>
</body>
</html>";
using (HttpClient client = new HttpClient())
{
// 设置请求头以模拟浏览器访问
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");
// 访问网页并获取HTML内容
htmlContent = await client.GetStringAsync(url);
// 输出获取的HTML内容
//Console.WriteLine(htmlContent);
}
// 创建HtmlDocument对象并加载HTML内容
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(htmlContent);
// 去除所有的<script>标签及其内容
foreach (var script in doc.DocumentNode.DescendantsAndSelf("script").ToArray())
{
script.Remove();
}
// 获取纯文本内容
string text = doc.DocumentNode.InnerText;
// 去除多余的空格和空行
text = Regex.Replace(text, @"\s+", " ").Trim();
// 输出展示内容
Console.WriteLine(text);
}
}
}
