带你读论文第三期：微软研究员、北大博士陈琪，荣获NeurIPS杰出论文奖

Datawhale干货

来源：WhalePaper，负责人：芙蕖

WhalePaper简介

由Datawhale团队成员发起，对目前学术论文中比较成熟的 Topic 和开源方案进行分享，通过一起阅读、分享论文学习的方式帮助大家更好地“高效+全面+自律”学习，让大家都有所收获和提升！方向包括自然语言处理（NLP）、计算机视觉（CV）、推荐（Res）等相关方向的论文解读和分享，后续将融入更多的方向。

开源地址：https://datawhalechina.github.io/whale-paper

WhalePaper | Github

本期活动

分享时间：2023年7月29日（本六日） 20:00

分享方向：向量检索

分享工具：#腾讯会议：815-856-759

paper议程：分享45分钟，提问环节不限时。

分享大纲：

向量检索算法介绍与最新进展
向量数据库的算法与系统设计

嘉宾&论文概况

嘉宾简介：陈琪，微软亚洲研究院系统研究组的首席研究员。她于2010年和2016年在北京大学获得计算机科学学士学位和博士学位，在那里与导师肖臻教授一起从事分布式系统、云计算和并行计算的研究。2013年至2014年，她作为访问学生在纽约大学的系统组中，在李金扬教授的指导下从事分布式数组框架的研究。她在顶级会议和期刊上发表了20多篇论文，其中一些论文获得了重要奖项，如OSDI最佳论文奖和NeurIPS杰出论文奖。她目前的研究兴趣包括分布式系统、云计算和深度学习算法和框架。

专题题目：Vector Search and Vector Database

专题简介：近年来深度学习的最新进展使得各种类型的数据都能被映射为高维向量。目前最先进的向量搜索库主要关注如何在内存中进行快速高召回率的搜索。然而，在极大规模的向量搜索场景中存在一些挑战。例如，数百亿个向量与有限的内存结合在一起会导致容量问题。同时，扩展性也是一个问题，增加服务机器的数量会增加查询延迟和计算成本。此外，高维向量索引不具备单调性，而单调性是传统索引的一个关键属性。缺乏单调性使得现有的向量系统不得不依赖于保持单调性的临时索引，用于目标向量的TopK最近邻，以便实现近似相似性搜索和关系运算的复杂查询。这导致了性能的下降，因为很难预测最优的K值。

在本次演讲中，我们介绍了SPANN，一个分布式基于磁盘的ANNS系统，已经集成到Bing中，可以实现数百亿规模的向量搜索，并以毫秒级的响应时间。此外，我们还介绍了VBASE，一个向量数据库系统，它能有效处理基于一种称为放松单调性的共同属性的复杂查询。这种方法将两个看似不兼容的系统统一起来，提供了比现有最先进的向量系统高出三个数量级的性能。