《昇思25天学习打卡营第20天|onereal》

article2024/12/27 2:08:07/文章来源:https://blog.csdn.net/onereal/article/details/140407601

应用实践/LLM原理和实践/基于MindSpore的GPT2文本摘要

基于MindSpore的GPT2文本摘要¶

数据集加载与处理

数据集加载

本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。
数据预处理

原始数据格式：
```
article: [CLS] article_context [SEP]
summary: [CLS] summary_context [SEP]
```
预处理后的数据格式：

模型构建
构建GPT2ForSummarization模型，注意shift right的操作。
模型推理¶

数据处理，将向量数据变为中文数据
---------------------训练结果因为算力不足，暂未成功

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/797790.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

MySQL-基础点

目录 MySQL概念数据库三大范式是什么？ blob 和 text 有什么区别？ DATETIME 和 TIMESTAMP 的异同？ MySQL 中 in 和 exists 的区别？ MySQL 里记录货币用什么字段类型比较好？ MySQL 怎么存储 emoji? 用过哪些 M…

MongoDB7出现：Windows下使用mongo命令提示不是内部或外部命令

确保环境变量添加正确的情况，仍然出现这种问题。如果安装的是新版本，则大概率是新版本mongodb的bin里面没有mongo命令解决方案： 下载mongodb shell 下载链接把shell的命令放进来启用命令：mongosh

浅谈数学模型在UGC/AIGC游戏数值调参中的应用(AI智能体)

浅谈数学模型在UGC/AIGC游戏数值调参中的应用 ygluu 卢益贵关键词：UGC、AIGC、AI智能体、大模型、数学模型、游戏数值调参、游戏策划一、前言在策划大大群提出《游戏工厂：AI（AIGC/ChatGPT）与流程式游戏开发》讨论之后就已完…

每日一练，java

目录描述示例总结描述题目来自牛客网 •输入一个字符串，请按长度为8拆分每个输入字符串并进行输出； •长度不是8整数倍的字符串请在后面补数字0，空字符串不处理。输入描述： 连续输入字符串(每个字符串长度小于等于100) 输…

JDK14新特征最全详解

JDK 14一共发行了16个JEP(JDK Enhancement Proposals，JDK 增强提案)，筛选出JDK 14新特性。 - 343: 打包工具 (Incubator) - 345: G1的NUMA内存分配优化 - 349: JFR事件流 - 352: 非原子性的字节缓冲区映射 - 358: 友好的空指针异常 - 359: Records…

网络规划设计师教程(第二版) pdf

网络规划设计师教程在网上找了很多都是第一版，没有第二版。所以去淘宝买了第二版的pdf，与其自己独享不如共享出来，让大家也能看到。而且这个pdf我已经用WPS扫描件识别过了，可以直接CtrlF搜索关键词，方便查阅。链接…

为何你的旁路电容总是无法滤除噪声

你一定遇过这样的困境产品出现了噪声干扰也找出干扰源了但摆放了旁路电容却总是解不掉干扰请问原因为何? 先说结论接地不好放太少颗电容值没有微调在这篇文章如何焊铜管量测射频前端模块我们提到了不足的接地会增加损耗我们进一步以阻抗的…

jmeter-beanshell学习9-放弃beanshell

写这篇时候道心不稳了，前面写了好几篇benashell元件，突然发现应该放弃。想回去改前面的文章，看了看无从下手，反正已经这样了，我淋了雨，那就希望别人也没有伞吧，哈哈哈哈，放在第九篇送…

在Linux系统实现瑞芯微RK3588部署rknntoolkit2进行模型转换

一、首先要先安装一个虚拟的环境安装Miniconda包 Miniconda的官网链接：Minidonda官网下载好放在要操作的linux系统，我用的是远程服务器的linux系统，我放在whl这个文件夹里面，这个文件夹是我自己创建的运行安装安装的操作都是yes就可以了检查是否安装成功,输入下面…

LeetCode 面试题02.04.分割链表

LeetCode 面试题02.04.分割链表 C写法思路🤔： 将x分为两段，一段放小于x的值，另一段放大于x的值。开辟四个指针lesshead、lesstail、greaterhead、greatertail，head为哨兵位，防止链表为空时情况过于复杂…

Linux限速工具：FlowMaster - IP级网络流量控制脚本

目录前言： Github加速器： 简介功能安装方法使用方法数值单位基本命令选项示例启动 FlowMaster 重启 FlowMaster 停止 FlowMaster 查看状态查看 Iptables 设置许可证贡献联系我们前言： 在市面上看了好多关于网…

既然有了免费的linux系统GPU，干脆演示一下使用drivecolab套件来训练模型。 !apt-get install -y build-essential swig !pip install box2d-py !pip install gymnasium[all] !pip install gymnasium[atari] gymnasium[accept-rom-license] !pip install stable_bas…

.欧拉函数.

先介绍欧拉函数： 贴一张证明： 这里利用容斥原理来进行证明：若要求1~N当中与N互质的个数，则应在1~N当中去除N的质因数的倍数，因为既然是因数，那么一定不与N互质，既然是N的因数，那么…

中职网络安全B模块渗透测试system0016

访问http://靶机IP/web1/,获取flag值，Flag格式为flag{xxx}； 可能会跳转8000端口删除进入80端口进入后点击侦查一下，这里乱码了，我们点击查看是一个柯南，web但这是一个web题目肯定不是隐写术，所以说题目的…

【鸿蒙学习笔记】位置设置・direction・子元素排序

官方文档：位置设置目录标题 direction： direction： Row() {Text(1).height(50).width(25%).fontSize(16).backgroundColor(0xF5DEB3).textAlign(TextAlign.Center)Text(2).height(50).width(25%).fontSize(16).backgroundColor(0xD2B48C).…

Graph RAG——从局部到全局实现高效查询摘要（QFS）

From Local to Global: A Graph RAG Approach to Query-Focused Summarization https://arxiv.org/abs/2404.16130https://arxiv.org/abs/2404.16130 1.概述在现代信息处理技术的广袤领域中，检索增强生成（RAG）技术已成为从外部知识源检索相关信息的重要工具，使得大型语言…

【 C++ 】详解 (类和对象) 继承

继承的概念及定义继承的概念继承(inheritance)机制是面向对象程序设计使代码可以复用的最重要的手段，它允许程序员在保持原有类特性的基础上进行扩展，增加功能，这样产生新的类，称派生类。继承呈现了面向对象程序设计的层次结构…

Run LoongArch64 Alpine VM on x86_64

一、Build from source(build on x86_64) Obtain the latest libvirt, virt-manager, and qemu source code, compile and install them. 1.1 Build libvirt from source sudo apt-get update sudo apt-get install augeas-tools bash-completion debhelper-compat dh-apparm…

Hi3861 OpenHarmony嵌入式应用入门--HTTPD

httpd 是 Apache HTTP Server 的守护进程名称，Apache HTTP Server 是一种广泛使用的开源网页服务器软件。本项目是从LwIP中抽取的HTTP服务器代码； Hi3861 SDK中已经包含了一份预编译的lwip，但没有开启HTTP服务器功能（静态库无法…

visual studio开发C++项目遇到的坑

文章目录 1.安装的时候，顺手安装了C模板，导致新建项目执行出问题2.生成的exe，打开闪退问题3.项目里宏的路径不对，导致后面编译没有输出4. vs编译ui，warning跳过，未成功5.vs编译.h，warning跳过&a…