第N3周：Pytorch文本分类入门

  •   🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊 | 接辅导、项目定制

目录

本周任务:

 文本分类流程图：

 需要的环境：

 数据集：

TextClassificationModel模型介绍：

模型结构

模型结构图：

实现代码：

报错：

结果： 

本周任务:

  1. 了解文本分类的基本流程
  2. 学习常用数据清洗方法
  3. 学习如何使用jieba实现英文分词
  4. 学习如何构建文本向量

 文本分类流程图：

 需要的环境：

  • pytorch
  • torchtext库
  • portalocker库
  • torchdata

 数据集：

AG News数据集是一个用于文本分类任务的广泛使用的数据集，特别是在新闻文章分类领域。该数据集由4类新闻文章组成，每类包含不同主题的新闻，具体类别如下：

  1. World（世界新闻）
  2. Sports（体育新闻）
  3. Business（商业新闻）
  4. Sci/Tech（科学和技术新闻）

torchtext.datasets.AG_NEWS()类加载的数据集是一个列表，其中每个条目都是一个元组(label, text) ，包含以下两个元素:

  • text：一条新闻文章的文本内容。
  • label：新闻文章所属的类别(一个整数，从1到4，分别对应世界、科技、体育和商业)

TextClassificationModel模型介绍：

TextClassificationModel 是一个用于文本分类任务的简单神经网络模型，通常包括一个嵌入层和一个线性层。

首先对文本进行嵌入，然后对句子嵌入之后的结果进行均值聚合。

模型结构

  1. 嵌入层 (EmbeddingBag)：

    • 该层用于将输入的文本数据转化为稠密的向量表示。EmbeddingBag 比 Embedding 更高效，因为它在计算时结合了嵌入和平均/加权操作，这对于处理变长的输入特别有用。

  2. 线性层 (Linear)：

    • 该层接收来自嵌入层的输出，并将其映射到输出类别。输出类别的数量与分类任务中的类别数量一致。

模型结构图：

实现代码：

import  torch
import torch.nn as nn
import torchvision
from torchvision import transforms, datasets
import os,PIL,pathlib,warnings

import torch
torch.utils.data.datapipes.utils.common.DILL_AVAILABLE = torch.utils._import_utils.dill_available()
 
warnings.filterwarnings("ignore")
#win10
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
from torchtext.datasets import AG_NEWS
train_iter = AG_NEWS(split='train')#加载 AG News 数据集
 
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator
 
#返回分词器
tokenizer = get_tokenizer('basic_english')
 
def yield_tokens(data_iter):
    for _, text in data_iter:
        yield tokenizer(text)
 
vocab = build_vocab_from_iterator(yield_tokens(train_iter), specials=["<unk>"])
vocab.set_default_index(vocab["<unk>"])#设置默认索引
print(vocab(['here', 'is', 'an', 'example']))
 
text_pipeline = lambda x: vocab(tokenizer(x))
label_pipeline = lambda x: int(x) - 1
print(text_pipeline('here is an example '))
print(label_pipeline('10'))
 
 
from torch.utils.data import DataLoader
 
def collate_batch(batch):
    label_list,text_list,offsets =[],[],[0]
    for(_label,_text)in batch:
        #标签列表
        label_list.append(label_pipeline(_label))
        #文本列表
        processed_text =torch.tensor(text_pipeline(_text),dtype=torch.int64)
        text_list.append(processed_text)
         #偏移量，即语句的总词汇量
        offsets.append(processed_text.size(0))
    label_list =torch.tensor(label_list,dtype=torch.int64)
    text_list=torch.cat(text_list)
    offsets=torch.tensor(offsets[:-1]).cumsum(dim=0)
    #返回维度dim中输入元素的累计和
    return label_list.to(device),text_list.to(device),offsets.to(device)
#数据加载器
dataloader =DataLoader(train_iter,batch_size=8,shuffle   =False,collate_fn=collate_batch)
 
 
 
from torch import nn
class TextClassificationModel(nn.Module):
 
    def __init__(self,vocab_size,embed_dim,num_class):
        super(TextClassificationModel,self).__init__()
        self.embedding =nn.EmbeddingBag(vocab_size,#词典大小
 
                                        embed_dim,#嵌入的维度
 
                                        sparse=False)#
        self.fc =nn.Linear(embed_dim,num_class)
        self.init_weights()
    def init_weights(self):
        initrange =0.5
        self.embedding.weight.data.uniform_(-initrange,initrange)
        self.fc.weight.data.uniform_(-initrange,initrange)
        self.fc.bias.data.zero_()
 
    def forward(self,text,offsets):
        embedded =self.embedding(text,offsets)
        return self.fc(embedded)
 
num_class = len(set([label for(label,text)in train_iter]))
vocab_size = len(vocab)
em_size = 64
model = TextClassificationModel(vocab_size,em_size,num_class).to(device)
 
import time
def train(dataloader):
    model.train()  #切换为训练模式
    total_acc,train_loss,total_count =0,0,0
    log_interval =500
    start_time   =time.time()
 
    for idx,(label,text,offsets) in enumerate(dataloader):
        predicted_label =model(text,offsets)
        optimizer.zero_grad()#grad属性归零
        loss =criterion(predicted_label,label)#计算网络输出和真实值之间的差距，labe1为真实值
        loss.backward()#反向传播
        optimizer.step()  #每一步自动更新
        #记录acc与loss
        total_acc   +=(predicted_label.argmax(1)==label).sum().item()
        train_loss  +=loss.item()
        total_count +=label.size(0)
        if idx %log_interval ==0 and idx >0:
            elapsed =time.time()-start_time
            print('|epoch {:1d}|{:4d}/{:4d}batches'
                  '|train_acc {:4.3f}train_loss {:4.5f}'.format(epoch,idx,len(dataloader),total_acc/total_count,train_loss/total_count))
            total_acc,train_loss,total_count =0,0,0
            start_time =time.time()
 
def evaluate(dataloader):
    model.eval()  #切换为测试模式
    total_acc,train_loss,total_count =0,0,0
 
    with torch.no_grad():
        for idx,(label,text,offsets)in enumerate(dataloader):
            predicted_label =model(text,offsets)
 
            loss = criterion(predicted_label,label)  #计算loss值#记录测试数据
            total_acc   +=(predicted_label.argmax(1)==label).sum().item()
            train_loss  +=loss.item()
            total_count +=label.size(0)
 
    return total_acc/total_count,train_loss/total_count
 
 
 
from torch.utils.data.dataset import random_split
from torchtext.data.functional import to_map_style_dataset
#超参数
EPOCHS=10 #epoch
LR=5  #学习率
BATCH_SIZE=64 #batch size for training
criterion =torch.nn.CrossEntropyLoss()
optimizer =torch.optim.SGD(model.parameters(),lr=LR)
scheduler =torch.optim.lr_scheduler.StepLR(optimizer,1.0,gamma=0.1)
total_accu =None
 
train_iter,test_iter =AG_NEWS()#加载数据
train_dataset =to_map_style_dataset(train_iter)
test_dataset =to_map_style_dataset(test_iter)
num_train=int(len(train_dataset)*0.95)
 
split_train_,split_valid_=random_split(train_dataset,
                                       [num_train,len(train_dataset)-num_train])
train_dataloader =DataLoader(split_train_,batch_size=BATCH_SIZE,
                             shuffle=True,collate_fn=collate_batch)
valid_dataloader =DataLoader(split_valid_,batch_size=BATCH_SIZE,
                             shuffle=True,collate_fn=collate_batch)
test_dataloader=DataLoader(test_dataset,batch_size=BATCH_SIZE,
                           shuffle=True,collate_fn=collate_batch)
 
for epoch in range(1,EPOCHS +1):
    epoch_start_time =time.time()
    train(train_dataloader)
    val_acc,val_loss =evaluate(valid_dataloader)
 
    if total_accu is not None and total_accu >val_acc:
        scheduler.step()
    else:
        total_accu =val_acc
    print('-'*69)
    print('|epoch {:1d}|time:{:4.2f}s|'
            'valid_acc {:4.3f}valid_loss {:4.3f}'.format(epoch,
            time.time()-epoch_start_time,val_acc,val_loss))
    print('-'*69)
 
 
print('Checking the results of test dataset.')
test_acc,test_loss =evaluate(test_dataloader)
print('test accuracy {:8.3f}'.format(test_acc))

报错：

ImportError: cannot import name 'DILL_AVAILABLE' from 'torch.utils.data.datapipes.utils.common' (D:\miniconda\envs\nlp_pytorch\lib\site-packages\torch\utils\data\datapipes\utils\common.py)

解决：torchdata pytorch2.3 报错-CSDN博客

import torch
torch.utils.data.datapipes.utils.common.DILL_AVAILABLE = torch.utils._import_utils.dill_available()


tps://github.com/pytorch/pytorch/pull/122616

结果： 

[475, 21, 30, 5297]
[475, 21, 30, 5297]
9
|epoch 1| 500/1782batches|train_acc 0.719train_loss 0.01115
|epoch 1|1000/1782batches|train_acc 0.867train_loss 0.00620
|epoch 1|1500/1782batches|train_acc 0.882train_loss 0.00550
---------------------------------------------------------------------
|epoch 1|time:8.96s|valid_acc 0.898valid_loss 0.005
---------------------------------------------------------------------
|epoch 2| 500/1782batches|train_acc 0.903train_loss 0.00459
|epoch 2|1000/1782batches|train_acc 0.905train_loss 0.00440
|epoch 2|1500/1782batches|train_acc 0.907train_loss 0.00436
---------------------------------------------------------------------
|epoch 2|time:8.14s|valid_acc 0.884valid_loss 0.005
---------------------------------------------------------------------
|epoch 3| 500/1782batches|train_acc 0.925train_loss 0.00351
|epoch 3|1000/1782batches|train_acc 0.929train_loss 0.00339
|epoch 3|1500/1782batches|train_acc 0.928train_loss 0.00343
---------------------------------------------------------------------
|epoch 3|time:7.56s|valid_acc 0.912valid_loss 0.004
---------------------------------------------------------------------
|epoch 4| 500/1782batches|train_acc 0.930train_loss 0.00333
|epoch 4|1000/1782batches|train_acc 0.932train_loss 0.00327
|epoch 4|1500/1782batches|train_acc 0.931train_loss 0.00331
---------------------------------------------------------------------
|epoch 4|time:7.80s|valid_acc 0.913valid_loss 0.004
---------------------------------------------------------------------
|epoch 5| 500/1782batches|train_acc 0.933train_loss 0.00322
|epoch 5|1000/1782batches|train_acc 0.930train_loss 0.00330
|epoch 5|1500/1782batches|train_acc 0.934train_loss 0.00320
---------------------------------------------------------------------
|epoch 5|time:8.47s|valid_acc 0.914valid_loss 0.004
---------------------------------------------------------------------
|epoch 6| 500/1782batches|train_acc 0.937train_loss 0.00309
|epoch 6|1000/1782batches|train_acc 0.933train_loss 0.00324
|epoch 6|1500/1782batches|train_acc 0.932train_loss 0.00315
---------------------------------------------------------------------
|epoch 6|time:8.37s|valid_acc 0.912valid_loss 0.004
---------------------------------------------------------------------
|epoch 7| 500/1782batches|train_acc 0.936train_loss 0.00308
|epoch 7|1000/1782batches|train_acc 0.938train_loss 0.00298
|epoch 7|1500/1782batches|train_acc 0.934train_loss 0.00314
---------------------------------------------------------------------
|epoch 7|time:8.38s|valid_acc 0.914valid_loss 0.004
---------------------------------------------------------------------
|epoch 8| 500/1782batches|train_acc 0.938train_loss 0.00302
|epoch 8|1000/1782batches|train_acc 0.937train_loss 0.00306
|epoch 8|1500/1782batches|train_acc 0.934train_loss 0.00308
---------------------------------------------------------------------
|epoch 8|time:8.26s|valid_acc 0.915valid_loss 0.004
---------------------------------------------------------------------
|epoch 9| 500/1782batches|train_acc 0.939train_loss 0.00297
|epoch 9|1000/1782batches|train_acc 0.935train_loss 0.00316
|epoch 9|1500/1782batches|train_acc 0.934train_loss 0.00313
---------------------------------------------------------------------
|epoch 9|time:8.27s|valid_acc 0.915valid_loss 0.004
---------------------------------------------------------------------
|epoch 10| 500/1782batches|train_acc 0.935train_loss 0.00308
|epoch 10|1000/1782batches|train_acc 0.938train_loss 0.00301
|epoch 10|1500/1782batches|train_acc 0.936train_loss 0.00308
---------------------------------------------------------------------
|epoch 10|time:8.08s|valid_acc 0.915valid_loss 0.004
---------------------------------------------------------------------
Checking the results of test dataset.
test accuracy    0.908

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/665858.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Java基础语法——字符串（String/StringBuilder/Stringjoiner）

Java基础语法——字符串（String/StringBuilder/Stringjoiner）

String Java的String类是不可变的&#xff0c;意味着一旦创建&#xff0c;其值就不能被改变。String类提供了丰富的API来操作字符串。 以下是一些常用的方法&#xff1a; 构造方法&#xff1a; 有以下几种常见的&#xff1a; public class stringlearn {public static void…
阅读更多...
民国漫画杂志《时代漫画》第34期.PDF

民国漫画杂志《时代漫画》第34期.PDF

时代漫画34.PDF: https://url03.ctfile.com/f/1779803-1248636026-7e46c5?p9586 (访问密码: 9586) 《时代漫画》的杂志在1934年诞生了&#xff0c;截止1937年6月战争来临被迫停刊共发行了39期。 ps: 资源来源网络!
阅读更多...
flume-ng-sql | 支持JDK8+ | 支持Flume 1.11.0 | 使用 Kotlin 编写

flume-ng-sql | 支持JDK8+ | 支持Flume 1.11.0 | 使用 Kotlin 编写

文章目录 简介用法 简介 flume-ng-sql-source 作者已经停止维护了&#xff0c;并且已经不支持新版Flume&#xff0c;我们决定开启这一项目 flume-ng-sql。 用法 像 flume-ng-sql-source 一样将 flume-ng-sql 发行的 Jar 包导入lib下&#xff0c;必要时需要添加自己 MySQL 版本…
阅读更多...
IMU状态预积分代码实现 —— IMU状态预积分类

IMU状态预积分代码实现 —— IMU状态预积分类

IMU状态预积分代码实现 —— IMU状态预积分类 实现IMU状态预积分类 实现IMU状态预积分类 首先&#xff0c;实现预积分自身的结构。一个预积分类应该存储一下数据&#xff1a; 预积分的观测量 △ R ~ i j , △ v ~ i j , △ p ~ i j \bigtriangleup \tilde{R} _{ij},\bigtrian…
阅读更多...
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

六&#xff0c;selenium 想要下载PDF或者md格式的笔记请点击以下链接获取 python爬虫学习笔记点击我获取 Scrapyselenium详细学习笔记点我获取 Python超详细的学习笔记共21万字点我获取 1&#xff0c;下载配置 ## 安装&#xff1a; pip install selenium## 它与其他库不同…
阅读更多...
【C++】C++11新特性：列表初始化、声明、新容器、右值引用、万能引用和完美转发

【C++】C++11新特性：列表初始化、声明、新容器、右值引用、万能引用和完美转发

目录 一、列表初始化 1.1 { } 初始化 1.2 std::initializer_list 二、声明 2.1 auto 2.2 decltype 2.3 nullptr 三、新容器 四、右值引用和移动语义 4.1 左值和左值引用 4.2 右值和右值引用 4.3 左值引用与右值引用比较 4.4 右值引用使用场景和意义&#xff1a;移…
阅读更多...
AI能否代替ACE

AI能否代替ACE

什么是ACE ? 申请ACE需要以下条件: 1.发表与oracle相关的技术博客 2.参与Oracle相关的技术大会 3.对Oracle社区做出贡献。 这正好是AI应用的场景吗? 在一个群里有个群友质疑AI落地,以及应用领域? Kelvin:我一直在迷茫&#xff0c;学不好。这么多有趣AI 问题&…
阅读更多...
冯喜运：5.31晚间黄金原油行情分析及尾盘操作策略

冯喜运：5.31晚间黄金原油行情分析及尾盘操作策略

【黄金消息面分析】&#xff1a;周五&#xff08;5月31日&#xff09;&#xff0c;最新发布的数据显示&#xff0c;美国4月核心PCE物价指数月率录得0.2%&#xff0c;低于预期(0.3%)&#xff0c;经济学家认为&#xff0c;核心指数比整体指数更能反映通胀。除此之外&#xff0c;美…
阅读更多...
[openwrt-21.02]openwrt-21.02 make menuconfig不显示luci-app-firewall问题分析及解决方案

[openwrt-21.02]openwrt-21.02 make menuconfig不显示luci-app-firewall问题分析及解决方案

问题描述 make menuconfig在 在applications界面没有luci-app-firewall 问题分析 首先重新执行 ./scripts/feeds update -a ./scripts/feeds install -a 然后再次执行make menuconfig&#xff0c;依然不显示&#xff0c;所以不是feeds安装的问题 最后看到log有个openmptc…
阅读更多...
P3881

P3881

最小值最大 二分&#xff1a;枚举两个牛之间的最小距离&#xff0c;左端点是1&#xff0c;右端点是篱笆总长度。 Check数组&#xff1a; 如果两头牛之间距离是Mid不合法&#xff0c;则返回0&#xff08;false&#xff09;&#xff1b; 如果两头牛之间距离是Mid合法&#xf…
阅读更多...
Beamer中二阶导、一阶导数的显示问题

Beamer中二阶导、一阶导数的显示问题

Beamer中二阶导、一阶导数的显示问题 在beamer中表示 f ′ f f′和 f ′ ′ f f′′时发现导数符号距离 f f f很近 \documentclass{beamer} \usepackage{amsmath,amssymb}\begin{document} \begin{frame}\frametitle{Derivative}Derivative:\[f^{\prime}(x) \quad f \quad…
阅读更多...
基于安卓的虫害识别软件设计--（1）模型训练与可视化

基于安卓的虫害识别软件设计--（1）模型训练与可视化

引言 简介&#xff1a;使用pytorch框架&#xff0c;从模型训练、模型部署完整地实现了一个基础的图像识别项目计算资源&#xff1a;使用的是Kaggle&#xff08;每周免费30h的GPU&#xff09; 1.创建名为“utils_1”的模块 模块中包含&#xff1a;训练和验证的加载器函数、训练…
阅读更多...
C++ 特殊运算符

C++ 特殊运算符

一 赋值运算符 二 等号作用 三 优先级和结合顺序 四 左值和右值 五 字节数运算符 条件运算符 使用条件运算符注意 逗号运算符 优先级和结合顺序 总结
阅读更多...
【C++】问题及补充（2）

【C++】问题及补充（2）

string s2“hello word”;是怎么进行隐式类型转换的 在这里&#xff0c;"hello world"是一个C字符串常量&#xff0c;而s2是一个std::string类型的变量。当你将C字符串常量赋值给一个std::string类型的变量时&#xff0c;会发生隐式类型转换。编译器会将C字符串常量转…
阅读更多...
Vue常用自定义指令、纪录篇

Vue常用自定义指令、纪录篇

文章目录 一、元素尺寸发生变化时二、点击元素外自定义指令三、元素拖拽自定义指令四、防抖自定义指令五、节流自定义指令六、权限判断自定义指令 一、元素尺寸发生变化时 使用场景&#xff1a; 当元素的尺寸发生变化时需要去适配一些元素时。 或者在元素尺寸发生变化时要去适配…
阅读更多...
下载安装nvm，使用nvm管理node.js版本

下载安装nvm，使用nvm管理node.js版本

目录 一、下载安装nvm&#xff08;windows&#xff09; 二、使用nvm管理node.js版本 &#xff08;1&#xff09;nvm命令行 &#xff08;2&#xff09; 使用nvm管理node.js版本 ①查看nvm版本 ②显示活动的node.js版本 ③列出可供下载的node.js版本 ④安装node.js指定版本 ⑤列出…
阅读更多...
19.Redis之集群

19.Redis之集群

1.集群的基本介绍 集群 这个词.广义的集群,只要你是多个机器,构成了分布式系统, 都可以称为是一个"集群"前面主从结构,哨兵模式,也可以称为是"广义的集群”狭义的集群,redis 提供的集群模式, 这个集群模式之下,主要是要解决,存储空间不足的问题(拓展存储空间) …
阅读更多...
原生小程序一键获取手机号

原生小程序一键获取手机号

1.效果图 2.代码index.wxml <!-- 获取手机号 利用手机号快速填写的功能&#xff0c;将button组件 open-type 的值设置为 getPhoneNumber--><button open-type"getPhoneNumber" bindgetphonenumber"getPhoneNumber">获取手机号</button> …
阅读更多...
【再探】设计模式—访问者模式、策略模式及状态模式

【再探】设计模式—访问者模式、策略模式及状态模式

访问者模式是用于访问复杂数据结构的元素&#xff0c;对不同的元素执行不同的操作。策略模式是对于具有多种实现的算法&#xff0c;在运行过程中可动态选择使用哪种具体的实现。状态模式是用于具有不同状态的对象&#xff0c;状态之间可以转换&#xff0c;且不同状态下对象的行…
阅读更多...
Threejs（WebGL）绘制线段优化：Shader修改gl.LINES模式为gl.LINE_STRIP

Threejs（WebGL）绘制线段优化：Shader修改gl.LINES模式为gl.LINE_STRIP

目录 背景 思路 Threejs实现 记录每条线的点数 封装原始裁剪索引数据 封装合并几何体的缓冲数据&#xff1a;由裁剪索引组成的 IntArray 守住该有的线段&#xff01; 修改顶点着色器 修改片元着色器 完整代码 WebGL实现类似功能&#xff08;简易版&#xff0c;便于测…
阅读更多...
最新文章

Copyright @ 2022~2023