深度学习基础—Bleu得分

引言

        机器翻译任务中,通常会需要评价指标来评估机器翻译的好坏。仅通过统计翻译词在标准翻译中出现的次数这种方式很不合理,就需要用到Bleu得分来进行评估。

1.n-gram(N元组)

        假设要翻译:Le chat est sur le tapis(法语),有两个参考翻译:The cat is on the mat和There is a cat on the mat,机器翻译的是:the the the the the the the。n-gram(N元组)表示N个连续的词组成的组合,比如参考翻译的1中有二元组:The cat、cat is、is on、on the、the mat。使用n-gram可以捕捉一定长度的上下文信息,有助于更好地理解文本和评估翻译质量。

        针对机器翻译的内容进行分析,如果只统计译词在参考翻译中出现的次数来评估机器翻译的准确率,那the the the the the the the这个翻译中,每个词都是the,都出现在参考翻译中,准确率7/7=1,这显然是糟糕的翻译。

        现在改良评估的方式,在一元组中(1-gram),考虑每个译词在参考翻译中出现的最大次数,比如the在参考翻译1中出现2次,在参考翻译2中出现1次,因此计算的准确率应该是2/7,这个准确率就合理多了。

        在二元组中,假设机器翻译的结果为:The cat the cat on the mat,则二元组有:The cat、cat the、the cat、cat on、on the、the mat(忽略大小写),the cat在参考翻译中出现的最大次数是1,cat the在参考翻译中出现的最大次数是0,cat on在参考翻译中出现的最大次数是1,on the在参考翻译中出现的最大次数是1,the mat在参考翻译中出现的最大次数是1,因此计算的准确率为所有二元组最大次数之和/二元组数量:4/6。

        现在将一元组推广到N元组,定义如下公式:

        其中,n-gram表示机器翻译中的n元组,Count()表示计数函数(对机器翻译结果的n元组计数),CountClip()表示机器翻译中所有n元组在参考翻译中出现的最大次数的计数。

2.Bleu得分

        Bleu得分的公式如上,一般计算n元组的精确度再进行组合。BP表示惩罚因子,公式如下:

        其中,output表机器翻译的输出,reference表示参考翻译的输出。如果机器翻译的输出大于参考翻译的输出长度,则BP=1;否则,BP<1。因为如果机器翻译很短,那么输出的大部分词语都很可能出现在参考翻译中,准确率就比较高;惩罚因子的作用就是加大对输出短的翻译的乘法力度,从而促进机器翻译更接近参考翻译的长度或更长。

3.优缺点

        优点:

        (1)方便、快速、结果有参考价值。

        (2)与人工评价有较高相关性。

        缺点:

        (1)不考虑语言表达(语法)上的准确性。

        (2)测评精度会受常用词的干扰。

        (3)短译句的测评精度有时会较高。

        (4)没有考虑同义词或相似表达的情况。

        Bleu 得分是一个单一实数评价指标 ,其在机器翻译和图片描述中应用广泛,用以评价机器生成的语句和实际人工生成的结果是否相近。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/920026.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【MySQL】InnoDB 基本了解+存储结构

目录​​​​​​​ InnoDB简单了解 InnoDB的特性 InnoDB架构 InnoDB存储引擎创建表的数据文件 MySQL存储结构 表空间文件 用户数据在表空间中存储方式 使用页数据存储单元的原因 数据页 区 表中数据少时如果避免空间浪费 区组 段 页 数据行的组成 快速定位数据…

鸿蒙中服务卡片数据的获取和渲染

1. 2.在卡片中使用LocalStorageProp接受传递的数据 LocalStorageProp("configNewsHead") configNewsHeadLocal: ConfigNewsHeadInfoItem[] [] 注意&#xff1a;LocalStorageProp括号中的为第一步图片2中的键 3.第一次在服务卡片的第一个卡片中可能会获取不到数据…

《Django 5 By Example》阅读笔记:p211-p236

《Django 5 By Example》学习第7天&#xff0c;p211-p236总结&#xff0c;总计26页。 一、技术总结 1.messages(消息推送) django.contrib.messages。 2.OAuth 2 Django里使用的是social-app-django这个package进行认证操作。 3.开发环境使用HTTPS 使用django-extension…

机器学习(贝叶斯算法,决策树)

朴素贝叶斯分类 贝叶斯分类理论 假设现有两个数据集&#xff0c;分为两类 我们现在用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率&#xff0c;用p2(x,y)表示数据点(x,y)属于类别2(图中蓝色三角形表示的类别)的概率&#xff0c;那么对于一个新数据点(x,y)…

《设计模式》创建型模式总结

目录 创建型模式概述 Factory Method: 唯一的类创建型模式 Abstract Factory Builder模式 Prototype模式 Singleton模式 最近在参与一个量化交易系统的项目&#xff0c;里面涉及到用java来重构部分vnpy的开源框架&#xff0c;因为是框架的搭建&#xff0c;所以会涉及到像…

【Bug合集】——Java大小写引起传参失败,获取值为null的解决方案

阿华代码&#xff0c;不是逆风&#xff0c;就是我疯 你们的点赞收藏是我前进最大的动力&#xff01;&#xff01; 希望本文内容能够帮助到你&#xff01;&#xff01; 目录 一&#xff1a;本文面向的人群 二&#xff1a;错误场景引入 三&#xff1a;正确场景引入 四&#xf…

论文阅读--supervised learning with quantum enhanced feature spaces

简略摘要 量子算法实现计算加速的核心要素是通过可控纠缠和干涉利用指数级大的量子态空间。本文在超导处理器上提出并实验实现了两种量子算法。这两种方法的一个关键组成部分是使用量子态空间作为特征空间。只有在量子计算机上才能有效访问的量子增强特征空间的使用为量子优势提…

网络安全之信息收集-实战-1

请注意&#xff0c;本文仅供合法和授权的渗透测试使用&#xff0c;任何未经授权的活动都是违法的。 实战&#xff1a;补天公益src“吉林通用航空职业技术学院” 奇安信&#xff5c;用户登录https://www.butian.net/Loo/submit?cid64918 域名或ip&#xff1a;https://www.jlth…

jenkins离线安装插件

Jenkins 在线安装插件失败 报错&#xff1a; Caused: java.io.IOException: Failed to load https://updates.jenkins.io/download/plugins/login-theme/244.vd67c77f0c4c8/login-theme.hpi to /var/jenkins_home/plugins/login-theme.jpi.tmpat hudson.model.UpdateCenter$Up…

MATLAB的语音信号采集与处理分析

1、基本描述 本文描述的系统是一个全面而精细的语音信号处理平台&#xff0c;核心组件由MATLAB的高级功能模块构建而成。系统的核心交互界面&#xff0c;借助于MATLAB的uifigure函数搭建&#xff0c;为用户提供了一个直观且响应迅速的操作环境。通过设计的GUI按钮&#xff0c;如…

【赵渝强老师】MySQL的慢查询日志

MySQL的慢查询日志可以把超过参数long_query_time时间的所有SQL语句记录进来&#xff0c;帮助DBA人员优化所有有问题的SQL语句。通过mysqldumpslow工具可以查看慢查询日志。 视频讲解如下&#xff1a; MySQL的慢查询日志 【赵渝强老师】MySQL的慢查询日志 下面通过具体的演示…

IDEA指定Maven的settings不生效问题处理

文章目录 一、问题描述二、问题分析三、问题解决 一、问题描述 在Idea中手动指定了maven的settings配置文件&#xff0c;但是一直没生效。 如下图&#xff1a;设置加载settings-aliyun.xml文件&#xff0c;但是最后发现还是在加载settings.xml文件 二、问题分析 ‌在Intel…

论文阅读:Uni-ISP Unifying the Learning of ISPs from Multiple Cameras

这是 ECCV 2024 的一篇文章&#xff0c;文章作者想建立一个统一的 ISP 模型&#xff0c;以实现在不同手机之间的自由切换。文章作者是香港中文大学的 xue tianfan 和 Gu jinwei 老师。 Abstract 现代端到端图像信号处理器&#xff08;ISPs&#xff09;能够学习从 RAW/XYZ 数据…

[免费]SpringBoot+Vue毕业设计论文管理系统【论文+源码+SQL脚本】

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的SpringBootVue毕业设计论文管理系统&#xff0c;分享下哈。 项目视频演示 【免费】SpringBootVue毕业设计论文管理系统 Java毕业设计_哔哩哔哩_bilibili 项目介绍 现代经济快节奏发展以及不断完善升级的信…

项目技术栈-解决方案-web3去中心化

web3去中心化 Web3 DApp区块链:钱包:智能合约:UI:ETH系开发技能树DeFi应用 去中心化金融P2P 去中心化网络参考Web3 DApp 区块链: 以以太坊(Ethereum)为主流,也包括Solana、Aptos等其他非EVM链。 区块链本身是软件,需要运行在一系列节点上,这些节点组成P2P网络或者半…

使用 Axios 拦截器优化 HTTP 请求与响应的实践

目录 前言1. Axios 简介与拦截器概念1.1 Axios 的特点1.2 什么是拦截器 2. 请求拦截器的应用与实践2.1 请求拦截器的作用2.2 请求拦截器实现 3. 响应拦截器的应用与实践3.1 响应拦截器的作用3.2 响应拦截器实现 4. 综合实例&#xff1a;一个完整的 Axios 配置5. 使用拦截器的好…

Photino:通过.NET Core构建跨平台桌面应用程序,.net国产系统

一、Photino.NET简介&#xff1a; 最近发现了一个不错的框架 Photino.Net 一份代码运行&#xff0c;三个平台 windows max linux &#xff0c;其中windows10,windows11,ubuntu 18.04,ubuntu 20.04 已测试均可以。mac 因为没有相关电脑没有测试。 github:https://github.com/t…

Python爬虫:如何从1688阿里巴巴获取公司信息

在当今的数字化时代&#xff0c;数据已成为企业决策和市场分析的重要资产。对于市场研究人员和企业分析师来说&#xff0c;能够快速获取和分析大量数据至关重要。阿里巴巴的1688.com作为中国最大的B2B电子商务平台之一&#xff0c;拥有海量的企业档案和产品信息。本文将介绍如何…

如何构建高效的接口自动化测试框架?

&#x1f345; 点击文末小卡片 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 在选择接口测试自动化框架时&#xff0c;需要根据团队的技术栈和项目需求来综合考虑。对于测试团队来说&#xff0c;使用Python相关的测试框架更为便捷。无论选…

创建型设计模式(模版方法、观察者模式、策略模式)

继承过程中&#xff0c;虚函数表的变化。动态多态&#xff0c;继承中虚函数的重写