《昇思25天学习打卡营第20天|onereal》

应用实践/LLM原理和实践/基于MindSpore的GPT2文本摘要

基于MindSpore的GPT2文本摘要¶

数据集加载与处理

  1. 数据集加载

    本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

  2. 数据预处理

    原始数据格式：

    article: [CLS] article_context [SEP]
summary: [CLS] summary_context [SEP]

    预处理后的数据格式：

    模型构建

  3. 构建GPT2ForSummarization模型，注意shift right的操作。

    模型推理¶

    数据处理，将向量数据变为中文数据

  4. ---------------------训练结果因为算力不足，暂未成功

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/797790.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MySQL-基础点

MySQL-基础点

目录 MySQL概念 数据库三大范式是什么？ blob 和 text 有什么区别？ DATETIME 和 TIMESTAMP 的异同？ MySQL 中 in 和 exists 的区别？ MySQL 里记录货币用什么字段类型比较好？ MySQL 怎么存储 emoji? 用过哪些 M…
阅读更多...
MongoDB7出现：Windows下使用mongo命令提示不是内部或外部命令

MongoDB7出现：Windows下使用mongo命令提示不是内部或外部命令

确保环境变量添加正确的情况，仍然出现这种问题。如果安装的是新版本，则大概率是新版本mongodb的bin里面没有mongo命令 解决方案： 下载mongodb shell 下载链接 把shell的命令放进来 启用命令：mongosh
阅读更多...
浅谈数学模型在UGC/AIGC游戏数值调参中的应用(AI智能体)

浅谈数学模型在UGC/AIGC游戏数值调参中的应用(AI智能体)

浅谈数学模型在UGC/AIGC游戏数值调参中的应用 ygluu 卢益贵 关键词：UGC、AIGC、AI智能体、大模型、数学模型、游戏数值调参、游戏策划 一、前言 在策划大大群提出《游戏工厂：AI（AIGC/ChatGPT）与流程式游戏开发》讨论之后就已完…
阅读更多...
每日一练，java

每日一练，java

目录 描述示例 总结 描述 题目来自牛客网 •输入一个字符串，请按长度为8拆分每个输入字符串并进行输出； •长度不是8整数倍的字符串请在后面补数字0，空字符串不处理。 输入描述： 连续输入字符串(每个字符串长度小于等于100) 输…
阅读更多...
JDK14新特征最全详解

JDK14新特征最全详解

JDK 14一共发行了16个JEP(JDK Enhancement Proposals，JDK 增强提案)，筛选出JDK 14新特性。 - 343: 打包工具 (Incubator) - 345: G1的NUMA内存分配优化 - 349: JFR事件流 - 352: 非原子性的字节缓冲区映射 - 358: 友好的空指针异常 - 359: Records…
阅读更多...
网络规划设计师教程(第二版) pdf

网络规划设计师教程(第二版) pdf

网络规划设计师教程在网上找了很多都是第一版，没有第二版。 所以去淘宝买了第二版的pdf，与其自己独享不如共享出来，让大家也能看到。 而且这个pdf我已经用WPS扫描件识别过了，可以直接CtrlF搜索关键词，方便查阅。 链接…
阅读更多...
为何你的旁路电容 总是无法滤除噪声

为何你的旁路电容 总是无法滤除噪声

你一定遇过这样的困境 产品出现了噪声干扰 也找出干扰源了 但摆放了旁路电容 却总是解不掉干扰 请问原因为何? 先说结论 接地不好放太少颗电容值没有微调 在这篇文章 如何焊铜管 量测射频前端模块 我们提到了 不足的接地 会增加损耗 我们进一步 以阻抗的…
阅读更多...
jmeter-beanshell学习9-放弃beanshell

jmeter-beanshell学习9-放弃beanshell

写这篇时候道心不稳了，前面写了好几篇benashell元件，突然发现应该放弃。想回去改前面的文章，看了看无从下手，反正已经这样了，我淋了雨，那就希望别人也没有伞吧，哈哈哈哈，放在第九篇送…
阅读更多...
在Linux系统实现瑞芯微RK3588部署rknntoolkit2进行模型转换

在Linux系统实现瑞芯微RK3588部署rknntoolkit2进行模型转换

一、首先要先安装一个虚拟的环境 安装Miniconda包 Miniconda的官网链接：Minidonda官网 下载好放在要操作的linux系统，我用的是远程服务器的linux系统，我放在whl这个文件夹里面，这个文件夹是我自己创建的 运行安装 安装的操作都是yes就可以了 检查是否安装成功,输入下面…
阅读更多...
LeetCode 面试题02.04.分割链表

LeetCode 面试题02.04.分割链表

LeetCode 面试题02.04.分割链表 C写法 思路🤔： ​ 将x分为两段，一段放小于x的值，另一段放大于x的值。开辟四个指针lesshead、lesstail、greaterhead、greatertail，head为哨兵位，防止链表为空时情况过于复杂…
阅读更多...
Linux限速工具：FlowMaster - IP级网络流量控制脚本

Linux限速工具：FlowMaster - IP级网络流量控制脚本

目录 前言： Github加速器： 简介 功能 安装方法 使用方法 数值单位 基本命令 选项 示例 启动 FlowMaster 重启 FlowMaster 停止 FlowMaster 查看状态 查看 Iptables 设置 许可证 贡献 联系我们 前言： 在市面上看了好多关于网…
阅读更多...
Gymnasium 借游戏来学习人工智能

Gymnasium 借游戏来学习人工智能

既然有了免费的linux系统GPU，干脆演示一下使用drivecolab套件来训练模型。 !apt-get install -y build-essential swig !pip install box2d-py !pip install gymnasium[all] !pip install gymnasium[atari] gymnasium[accept-rom-license] !pip install stable_bas…
阅读更多...
.欧拉函数.

.欧拉函数.

先介绍欧拉函数： 贴一张 证明： 这里利用容斥原理来进行证明：若要求1~N当中与N互质的个数，则应在1~N当中去除N的质因数的倍数，因为既然是因数，那么一定不与N互质，既然是N的因数，那么…
阅读更多...
中职网络安全B模块渗透测试system0016

中职网络安全B模块渗透测试system0016

访问http://靶机IP/web1/,获取flag值，Flag格式为flag{xxx}； 可能会跳转8000端口删除进入80端口 进入后点击侦查一下，这里乱码了，我们点击查看是一个柯南，web但这是一个web题目肯定不是隐写术，所以说题目的…
阅读更多...
【鸿蒙学习笔记】位置设置・direction・子元素排序

【鸿蒙学习笔记】位置设置・direction・子元素排序

官方文档：位置设置 目录标题 direction： direction： Row() {Text(1).height(50).width(25%).fontSize(16).backgroundColor(0xF5DEB3).textAlign(TextAlign.Center)Text(2).height(50).width(25%).fontSize(16).backgroundColor(0xD2B48C).…
阅读更多...
Graph RAG——从局部到全局实现高效查询摘要（QFS）

Graph RAG——从局部到全局实现高效查询摘要（QFS）

From Local to Global: A Graph RAG Approach to Query-Focused Summarization https://arxiv.org/abs/2404.16130https://arxiv.org/abs/2404.16130 1.概述 在现代信息处理技术的广袤领域中，检索增强生成（RAG）技术已成为从外部知识源检索相关信息的重要工具，使得大型语言…
阅读更多...
【 C++ 】详解 (类和对象) 继承

【 C++ 】详解 (类和对象) 继承

继承的概念及定义 继承的概念 继承(inheritance)机制是面向对象程序设计使代码可以复用的最重要的手段，它允许程序员在保持原有类特性的基础上进行扩展，增加功能，这样产生新的类，称派生类。继承呈现了面向对象 程序设计的层次结构…
阅读更多...
Run LoongArch64 Alpine VM on x86_64

Run LoongArch64 Alpine VM on x86_64

一、Build from source(build on x86_64) Obtain the latest libvirt, virt-manager, and qemu source code, compile and install them. 1.1 Build libvirt from source sudo apt-get update sudo apt-get install augeas-tools bash-completion debhelper-compat dh-apparm…
阅读更多...
Hi3861 OpenHarmony嵌入式应用入门--HTTPD

Hi3861 OpenHarmony嵌入式应用入门--HTTPD

httpd 是 Apache HTTP Server 的守护进程名称，Apache HTTP Server 是一种广泛使用的开源网页服务器软件。 本项目是从LwIP中抽取的HTTP服务器代码； Hi3861 SDK中已经包含了一份预编译的lwip，但没有开启HTTP服务器功能（静态库无法…
阅读更多...
visual studio开发C++项目遇到的坑

visual studio开发C++项目遇到的坑

文章目录 1.安装的时候，顺手安装了C模板，导致新建项目执行出问题2.生成的exe，打开闪退问题3.项目里宏的路径不对，导致后面编译没有输出4. vs编译ui，warning跳过，未成功5.vs编译.h，warning跳过&a…
阅读更多...
最新文章

Copyright @ 2022~2023