04.C1W3.Vector Space Models

往期文章请点这里

目录

  • Vector Space Models
  • Word by Word and Word by Doc
    • Word by Document Design
    • Word by Document Design
    • Vector Space
  • Euclidean Distance
    • Euclidean distance for n-dimensional vectors
  • Euclidean distance in Python
  • Cosine Similarity: Intuition
  • Cosine Similarity
    • Previous definitions
    • Cosine Similarity
  • Manipulating Words in Vector Spaces
  • Visualization and PCA
    • Visualization of word vectors
  • Principal Component Analysis
  • PCA Algorithm

往期文章请点 这里

Vector Space Models

在实际生活中,经常会出现以下两种场景:
相同文字不同含义:
在这里插入图片描述
不同文字相同含义:
在这里插入图片描述
这些是之前的语言模型无法处理的问题,而向量空间模型不但可以区分以上场景,还能捕获单词之间的依赖关系。
You eat cereal from a bowl
麦片和碗是强相关
You buy something and someone else sells it
这里的买依赖于卖
这个优点使得向量空间模型可以用于下面任务:
在这里插入图片描述

著名语言学学者(Firth, J. R. 1957:11)说过:
“You shall know a word by the company it keeps”
指出了上下文对当前词的表达有很大影响。

Word by Word and Word by Doc

构建共现矩阵(W/W and W/D 两种),并为语料库的单词提取向量表示。

Word by Document Design

两个不同单词的共现是它们在语料库中在一个特定的词距内一起出现的次数。
Number of times they occur together within a certain distance k k k
例如,假设语料库有以下两个句子。
在这里插入图片描述
假设 k = 2 k=2 k=2,则单词data的共现次数如下:
在这里插入图片描述
这里n取值在1到词表大小之间。data和simple在第一句话距离是1,第二句话距离是2:
在这里插入图片描述

Word by Document Design

计算来自词汇表的单词在属于特定类别的文档中出现的次数。
Number of times a word occurs within a certain category
例如下图中,语料库包含三类文档,然后可以计算某个单词分别在三类文档中出现的次数。
在这里插入图片描述

Vector Space

完成多组文档或单词的表示后,接下来可以构建向量空间。
以上面的矩阵为例
在这里插入图片描述
可以用行来表示单词,列表示文档,若以data和film构建坐标系,则可以根据矩阵中的数值得到向量表示:
在这里插入图片描述
从向量空间表示中可以看到,economy的ML的文档相似度要更大一些
当然这个相似度可以用计算Angle Distance来数字化度量。

Euclidean Distance

Euclidean Distance允许我们确定两个点或两个向量彼此之间的距离。
书接上回,假设有两个语料的向量表示为:
在这里插入图片描述

放到二维空间中:
在这里插入图片描述
用点表示他们后,可以用欧氏距离很衡量二者的相似度:
在这里插入图片描述
具体公式:
d ( B , A ) = ( B 1 − A 1 ) 2 + ( B 2 − A 2 ) 2 d(B,A)=\sqrt{(B_1-A_1)^2+(B_2-A_2)^2} d(B,A)=(B1A1)2+(B2A2)2
B 1 − A 1 B_1-A_1 B1A1 B 2 − A 2 B_2-A_2 B2A2分别对应上图中水平和垂直距离。
本例中带入数字:
d ( B , A ) = ( − 8820 ) 2 + ( 6000 ) 2 ≈ 10667 d(B,A)=\sqrt{(-8820)^2+(6000)^2}\approx10667 d(B,A)=(8820)2+(6000)2 10667

Euclidean distance for n-dimensional vectors

对于高维向量,欧氏距离仍然适用,例如:
在这里插入图片描述
想要计算ice-cream和boba的欧氏距离,则可以使用以下公式:
d ( v ⃗ , w ⃗ ) = ∑ i = 1 n ( v i − w i ) 2 等价于求范数Norm of ( v ⃗ , w ⃗ ) d(\vec{v},\vec{w})=\sqrt{\sum_{i=1}^n(v_i-w_i)^2}等价于求范数\text{Norm of}(\vec{v},\vec{w}) d(v ,w )=i=1n(viwi)2 等价于求范数Norm of(v ,w )
ice-cream和boba的欧氏距离可以写为:
( 1 − 0 ) 2 + ( 6 − 4 ) 2 + ( 8 − 6 ) 2 = 1 + 4 + 4 = 3 \sqrt{(1-0)^2+(6-4)^2+(8-6)^2}=\sqrt{1+4+4}=3 (10)2+(64)2+(86)2 =1+4+4 =3

Euclidean distance in Python

在这里插入代码片
# Create numpy vectors v and w
v np. array([1, 6, 8])
w np. array([0, 4, 6])
# Calculate the Euclidean distance d
d = np.linalg.norm(v-w)
# Print the result
print (("The Euclidean distance between v and w is: ", d)

Cosine Similarity: Intuition

先给结论:当语料库中文章包含单词数量差异较大时,使用Cosine Similarity
余弦相似度使用文档之间的角度,因此不依赖于语料库的大小。

假设我们有eggs和disease两个单词在三个语料库中图像如下:
在这里插入图片描述
语料库中各个类型的文章单词数量不相同,这里的Agriculture和History文章单词数量基本相同,而Food文章单词较少。Agriculture与其他两类文章的欧式距离分别写为: d 1 d_1 d1 d 2 d_2 d2
在这里插入图片描述
从图中可以看到 d 2 < d 1 d_2<d_1 d2<d1,表示Agriculture和History文章相似度更高。
余弦相似度是指The cosine of the angle between the vectors. 当角度接近90度时,余弦接近于0。
在这里插入图片描述
从余弦相似度上看, β > α \beta>\alpha β>α,表示Agriculture和Food文章相似度更高。

Cosine Similarity

Previous definitions

先回顾两个定义:
Vector norm,向量的模(范数)可以表示为:
∣ ∣ v ⃗ ∣ ∣ = ∑ i = 1 n v i 2 ||\vec{v}||=\sqrt{\sum_{i=1}^nv_i^2} ∣∣v ∣∣=i=1nvi2
Dot product点乘可以表示为:
v ⃗ ⋅ w ⃗ = ∑ i = 1 n v i ⋅ w i \vec{v}\cdot \vec{w}=\sum_{i=1}^nv_i\cdot w_i v w =i=1nviwi

下面是点乘推导:

设有两个向量 a \mathbf{a} a b \mathbf{b} b,在 n n n维空间中的坐标分别为 ( a 1 , a 2 , … , a n ) (a_1, a_2, \ldots, a_n) (a1,a2,,an) ( b 1 , b 2 , … , b n ) (b_1, b_2, \ldots, b_n) (b1,b2,,bn)。这两个向量的点积定义为:
a ⋅ b = a 1 b 1 + a 2 b 2 + … + a n b n \mathbf{a} \cdot \mathbf{b} = a_1b_1 + a_2b_2 + \ldots + a_nb_n ab=a1b1+a2b2++anbn

向量 a \mathbf{a} a b \mathbf{b} b 的范数(长度)分别是:
∥ a ∥ = a 1 2 + a 2 2 + … + a n 2 \|\mathbf{a}\| = \sqrt{a_1^2 + a_2^2 + \ldots + a_n^2} a=a12+a22++an2
∥ b ∥ = b 1 2 + b 2 2 + … + b n 2 \|\mathbf{b}\| = \sqrt{b_1^2 + b_2^2 + \ldots + b_n^2} b=b12+b22++bn2

两个向量之间的夹角 θ \theta θ 的余弦值可以通过点积和范数来表示:
cos ⁡ ( θ ) = a ⋅ b ∥ a ∥ ∥ b ∥ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} cos(θ)=a∥∥bab

将点积的公式代入上述表达式,我们得到:
cos ⁡ ( θ ) = a 1 b 1 + a 2 b 2 + … + a n b n a 1 2 + a 2 2 + … + a n 2 b 1 2 + b 2 2 + … + b n 2 \cos(\theta) = \frac{a_1b_1 + a_2b_2 + \ldots + a_nb_n}{\sqrt{a_1^2 + a_2^2 + \ldots + a_n^2} \sqrt{b_1^2 + b_2^2 + \ldots + b_n^2}} cos(θ)=a12+a22++an2 b12+b22++bn2 a1b1+a2b2++anbn

如果我们将 cos ⁡ ( θ ) \cos(\theta) cos(θ) 乘以 a \mathbf{a} a b \mathbf{b} b,我们可以得到点积的另一种形式:
∥ a ∥ ∥ b ∥ cos ⁡ ( θ ) = a 1 b 1 + a 2 b 2 + … + a n b n = a ⋅ b \|\mathbf{a}\| \|\mathbf{b}\| \cos(\theta) = a_1b_1 + a_2b_2 + \ldots + a_nb_n=\mathbf{a} \cdot \mathbf{b} a∥∥bcos(θ)=a1b1+a2b2++anbn=ab

Cosine Similarity

下图是单词eggs和disease在语料Agriculture和History出现频率的可视化表达。
在这里插入图片描述
根据上面推导的公式:
v ^ ⋅ w ^ = ∣ ∣ v ^ ∣ ∣ ∣ ∣ w ^ ∣ ∣ cos ⁡ ( β ) cos ⁡ ( β ) = v ^ ⋅ w ^ ∣ ∣ v ^ ∣ ∣ ∣ ∣ w ^ ∣ ∣ = ( 20 × 30 ) + 40 × 20 2 0 2 + 4 0 2 × 3 0 2 + 2 0 2 = 0.87 \hat v\cdot\hat w =||\hat v||||\hat w||\cos(\beta)\\ \cos(\beta)=\cfrac{\hat v\cdot\hat w}{||\hat v||||\hat w||}\\ =\cfrac{(20\times30)+40\times20}{\sqrt{20^2+40^2}\times\sqrt{30^2+20^2}}=0.87 v^w^=∣∣v^∣∣∣∣w^∣∣cos(β)cos(β)=∣∣v^∣∣∣∣w^∣∣v^w^=202+402 ×302+202 (20×30)+40×20=0.87
下面是余弦相似度的两个特殊情形:
在这里插入图片描述
在这里插入图片描述
注意:
Cosine Similarity gives values between 0 and 1.

Manipulating Words in Vector Spaces

扩展阅读:[Mikolov et al, 2013, Distributed Representations of Words and Phrases and their Compositionality]
这里的Manipulating Words,是指对词向量的加减(平移向量),使得我们可以计算对应关系,例如:已有国家和首都的词向量空间,已知漂亮国首都是DC(漫威表示不服),求大毛的首都是什么。
在这里插入图片描述
在本例子中,我们有一个假想的二维向量空间,里面包含了不同国家和首都的不同向量表示:
在这里插入图片描述
这里我们可以计算USA到Washington的向量差异(也相当于求USA到Washington之间的关系,也就是求连接二者的向量)
在这里插入图片描述
Washington-USA = [5 -1]
通过这个我们就可以知道要找到一个国家的首都需要移动多少距离,对于大毛就有:
Russia + [5 -1]=[10 4]
在这里插入图片描述
虽然[10 4]没有匹配到具体的城市,我们可以进一步比较每个城市的欧氏距离或者余弦相似性找到最邻近的城市。
在这里插入图片描述
答案是:Moscow

Visualization and PCA

可视化可以让我们很直观的看到单词的相似性,当单词的向量表示通常是高维的,需要我们将其降维到2D空间便于绘图,这里先学其中一种降维写方式:PCA

Visualization of word vectors

在这里插入图片描述
假设词向量维度远大于2,已知oil和gas,city和town相似度较高,如何可视化他们之间的关系?答案就是降维:
在这里插入图片描述
然后再进行可视化,则可得到类似下图的结果:
在这里插入图片描述

Principal Component Analysis

以二维空间为例来看:
在这里插入图片描述
降维就是将Uncorrelated Features映射到另外一个维度空间,并尽量保留更多信息,二维的映射方式一眼就可以看出来,就是垂直映射:
在这里插入图片描述

PCA Algorithm

在线代中有两个概念:Eigenvector(特征向量)和Eigenvalue(特征值)
特征值(Eigenvalue):
特征值是与线性变换相关联的一个标量,它描述了在该变换下,一个向量被缩放的比例。
对于一个给定的线性变换(由矩阵表示),如果存在一个非零向量 v v v,使得变换后的向量与原向量成比例,即 A v = λ v Av=\lambda v Av=λv,其中 A A A 是矩阵, λ \lambda λ 是一个标量,那么 λ \lambda λ 就是 A A A 的一个特征值,而 v v v 就是对应的特征向量。
特征向量(Eigenvector):
特征向量是线性变换下保持方向不变的向量,或者更准确地说,是方向被缩放的向量。
在上述方程 A v = λ v Av=\lambda v Av=λv 中,如果 λ ≠ 0 \lambda\neq 0 λ=0,那么 v v v 就是 A A A 的一个特征向量,它与特征值 λ \lambda λ 配对出现。
不需要知道如何计算这两个东西
算法第一步是为这一步获取一组无关的特征,需要对数据进行归一化,然后计算方差矩阵。
Mean Normalize Data  x i = x i − μ x i σ x i \text{Mean Normalize Data }x_i=\cfrac{x_i-\mu_{x_i}}{\sigma_{x_i}} Mean Normalize Data xi=σxixiμxi
第二步计算方差矩阵(Get Covariance Matrix): Σ \Sigma Σ
第三步奇异值分解(Perform SVD)得到一组三个矩阵: S V D ( Σ ) SVD(\Sigma) SVD(Σ)
在这里插入图片描述
SVD可以直接调用函数解决不用搓轮子。
然后进行投影,将Eigenvector(特征向量)和Eigenvalue(特征值)分别记为 U U U S S S
在这里插入图片描述
然后通过X点积U的前面两列来投影数据,这里我们只保留两列以形成二维可视化空间:
在这里插入图片描述
Percentage of Retained Variance: 这表示保留的方差百分比。在PCA中,我们通常选择前几个主成分来近似原始数据,这些主成分加起来解释了原始数据的一定比例的方差。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/781978.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

验证回文串-string题目

用双指针&#xff0c;left right从两头往中间对比&#xff0c;不是字母的都略过&#xff0c;比的时候化成小写字母 125. 验证回文串 - 力扣&#xff08;LeetCode&#xff09; class Solution { public:bool isPalindrome(string s) {if(s.size() < 1)return true;int left …

vue-org-tree搜索到对应项高亮展开

效果图&#xff1a; 代码&#xff1a; <template><div class"AllTree"><el-form :inline"true" :model"formInline" class"demo-form-inline"><el-form-item><el-input v-model"formInline.user&quo…

Git详细安装和使用教程

文章目录 准备工作-gitee注册认识及安装GitGit配置用户信息本地初始化Git仓库记录每次更新到仓库查看及切换历史版本Git忽略文件和查看文件状态Git分支-查看及切换Git分支-创建分支Git分支-合并及删除分支Git分支-命令补充Git分支-冲突需求: 准备工作-gitee注册 传送门: gite…

zabbix 与 grafana 对接

一.安装 grafana 1.初始化操作 初始化操作 systemctl disable --now firewalld setenforce 0 vim /etc/selinux/config SELINUXdisabled 2.上传数据包并安装 cd /opt grafana-enterprise-9.4.7-1.x86_64.rpm #上传软件包 yum localinstall -y grafana-enterprise-9.4.7-1…

Django QuerySet对象,exclude()方法

模型参考上一章内容&#xff1a; Django QuerySet对象&#xff0c;filter()方法-CSDN博客 exclude()方法&#xff0c;用于排除符合条件的数据。 1&#xff0c;添加视图函数 Test/app11/views.py from django.shortcuts import render from .models import Postdef index(re…

身边的故事(十四):阿文的故事:再买房

短短的一年多时间里&#xff0c;阿文仿佛从人生低谷完全走出来了。各种眼花缭乱的操作和处理事情方式让人觉得不可思议&#xff0c;是不是一个人大手大脚花钱惯了&#xff0c;让他重新回到艰苦朴素的日子是不是比死都难受呢&#xff1f;又或者像我这种靠勤勤恳恳的打工人是无法…

SpringMVC常见的注解

一、Spring MVC Spring Web MVC是基于ServletAPI构建的原始web 框架&#xff0c;一开始就包含在Spring 框架中&#xff0c;通常被称为“Spring MVC”。 1.MVC 是什么&#xff1f; MVC(Model、View、Controller&#xff09;是软件工程中的一种软件架构设计模型。它把软件系统分…

基于深度学习LightWeight的人体姿态之行为识别系统源码

一. LightWeight概述 light weight openpose是openpose的简化版本&#xff0c;使用了openpose的大体流程。 Light weight openpose和openpose的区别是&#xff1a; a 前者使用的是Mobilenet V1&#xff08;到conv5_5&#xff09;&#xff0c;后者使用的是Vgg19&#xff08;前10…

Flink SQL kafka连接器

版本说明 Flink和kafka的版本号有一定的匹配关系&#xff0c;操作成功的版本&#xff1a; Flink1.17.1kafka_2.12-3.3.1 添加kafka连接器依赖 将flink-sql-connector-kafka-1.17.1.jar上传到flink的lib目录下 下载flink-sql-connector-kafka连接器jar包 https://mvnreposi…

python实现接口自动化

代码实现自动化相关理论 代码编写脚本和工具实现脚本区别是啥? 代码&#xff1a; 优点&#xff1a;代码灵活方便缺点&#xff1a;学习成本高 工具&#xff1a; 优点&#xff1a;易上手缺点&#xff1a;灵活度低&#xff0c;有局限性。 总结&#xff1a; 功能脚本&#xff1a;工…

找不到x3daudio1_7.dll怎么修复?一招搞定x3daudio1_7.dll丢失问题

当你的电脑突然弹出提示&#xff0c;“找不到x3daudio1_7.dll”&#xff0c;这时候你就需要警惕了。这往往意味着你的电脑中的程序出现了问题&#xff0c;你可能会发现自己无法打开程序&#xff0c;或者即便打开了程序也无法正常使用。因此&#xff0c;接下来我们要一起学习一下…

07浅谈大语言模型可调节参数tempreture

浅谈temperature 什么是temperature&#xff1f; temperature是大预言模型生成文本时常用的两个重要参数。它的作用体现在控制模型输出的确定性和多样性&#xff1a; 控制确定性&#xff1a; temperature参数可以控制模型生成文本的确定性&#xff0c;大部分模型中temperatur…

1、Java入门(cmd使用)+ jdk的配置

文章目录 前言一、常见的CMD命令1 盘符+冒号:D:---- 切换到D盘根目录下(注意要英文冒号才行)2 查看目录下内容dir --- 查看当前目录下的所有内容(包括文件夹、各种文件、exe程序、隐藏文件等所有都会查看到)dir 目录名(或路径)3 cd 目录(或者路径)--- 进入到指定目录…

探索人工智能在电子商务平台与游戏发行商竞争中几种应用方式

过去 12 年来&#xff0c;电脑和视频游戏的发行策略发生了巨大变化。数字游戏的销量首次超过实体游戏的销量 在20132020 年的封锁进一步加速了这一趋势。例如&#xff0c;在意大利&#xff0c;封锁的第一周导致数字游戏下载量 暴涨174.9%. 展望未来&#xff0c;市场有望继续增…

【若依前后端分离】通过输入用户编号自动带出部门名称(部门树)

一、部门树 使用 <treeselect v-model"form.deptId" :options"deptOptions" :show-count"true" placeholder"请选择归属部门"/> <el-col :span"12"><el-form-item label"归属部门" prop"dept…

QT5.14.2与Mysql8.0.16配置笔记

1、前言 我的QT版本为 qt-opensource-windows-x86-5.14.2。这是QT官方能提供的自带安装包的最近版本&#xff0c;更新的版本需要自己编译源代码&#xff0c;可点击此链接进行下载&#xff1a;Index of /archive/qt/5.14/5.14.2&#xff0c;选择下载 qt-opensource-windows-x86…

【机器学习】基于线性回归的医疗费用预测模型

文章目录 一、线性回归定义和工作原理假设表示 二、导入库和数据集矩阵表示可视化 三、成本函数向量的内积 四、正态方程五、探索性数据分析描述性统计检查缺失值数据分布图相关性热图保险费用分布保险费用与性别和吸烟情况的关系保险费用与子女数量的关系保险费用与地区和性别…

Halcon 铣刀刀口破损缺陷检测

一 OTSU OTSU&#xff0c;是一种自适应阈值确定的方法,又叫大津法&#xff0c;简称OTSU&#xff0c;是一种基于全局的二值化算法,它是根据图像的灰度特性,将图像分为前景和背景两个部分。当取最佳阈值时&#xff0c;两部分之间的差别应该是最大的&#xff0c;在OTSU算法中所采…

张量分解(2)——张量运算(内积、外积、直积、范数)

&#x1f345; 写在前面 &#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;这里是hyk写算法了吗&#xff0c;一枚致力于学习算法和人工智能领域的小菜鸟。 &#x1f50e;个人主页&#xff1a;主页链接&#xff08;欢迎各位大佬光临指导&#xff09; ⭐️近…

Stream流真的很好,但答应我别用toMap()

你可能会想&#xff0c;toList 和 toSet 都这么便捷顺手了&#xff0c;当又怎么能少得了 toMap() 呢。 答应我&#xff0c;一定打消你的这个想法&#xff0c;否则这将成为你噩梦的开端。 让我们先准备一个用户实体类。 Data AllArgsConstructor public class User { priv…