大模型正引领新一轮的研究热潮，业界和学术界都涌现出了众多的创新成果。
小红书技术团队也在这一浪潮中不断探索，多篇论文研究成果在 ICLR、ACL、CVPR、AAAI、SIGIR、WWW 等国际顶会上频频亮相。
在大模型与自然语言处理的交汇处，我们发现了哪些新机遇和挑战？
对于大模型，有哪些有效的评测方法？它又如何更好地融入到应用场景中的呢？
6 月 27 日 19:00-21:30，【REDtech 来了】第十一期《小红书 2024 大模型前沿论文分享》线上开播！
REDtech 特别邀请了小红书社区搜索团队来到直播间，他们将分享 6 篇小红书在 2024 年发表的大模型研究论文。小红书精排 LTR 负责人冯少雄，携手多位顶会论文作者李易为、王星霖、袁沛文、张超等人，共同探讨最新的大模型解码与蒸馏技术、大模型评测方法，以及大模型在小红书平台上的实际应用。
活动议程
针对大模型多步推理中高成本问题的早停自洽性方法 ｜ 分享人：李易为
自洽性方法（Self-Consistency，SC）一直是思维链推理中广泛使用的解码策略，通过生成多个思维链并取多数答案作为最终答案，来提高模型的性能。但它是一种高成本的方法，需要进行预设大小的多次采样。在 ICLR 2024 上，小红书提出一种简单且可扩展的采样过程 —— 早停自洽性方法（Early-Stopping Self-Consistency，ESC），它能在不牺牲性能的情况下，大幅度降低 SC 的成本。在此基础上，团队进一步推导出一种 ESC 控制方案，以动态选择不同任务和模型的性能-成本平衡。三种主流推理任务（数学，常识和符号推理）的实验结果显示，ESC 在六个基准测试中显著降低了平均采样次数，同时几乎保持原有性能。
论文地址：https://arxiv.org/abs/2401.10480
去粗取精：面向自由格式生成任务的细粒度自洽性方法 ｜ 分享人：王星霖
小红书在 ACL 2024 中提出了 Fine-Grained Self-Consistency (FSC) 方法，能够显著提升自洽性方法在自由格式生成任务上的表现。团队首先通过实验分析了现有面向自由格式生成任务的自洽性方法的不足来自于粗粒度的共性样本选择，其无法有效利用不同样本细粒度片段之间的共性知识。在此基础上团队提出了基于大模型自融合的 FSC 方法，实验证实其在代码生成、摘要生成以及数学推理任务上都取得了显著更优的表现，同时保持了相当的消耗。
GitHub 地址：https://github.com/WangXinglin/FSC
迈向人类水平的文本评测 ｜ 分享人：袁沛文
小红书在 ACL 2024 中提出了 BatchEval 方法，能够以更低的开销达到类人水平的文本评测效果。团队首先从理论层面分析了现有文本评测方法在评测鲁棒性方面的不足来自于评测打分分布不均匀、在得分集成方面的次优表现源自于评测视角多样性的缺失。在此基础上，受人类评测过程中通过样本间比较来建立更加立体全面、视角多样的评测基准启发，类比提出了 BatchEval。与当前最先进的若干方法相比，BatchEval在评测开销与评测效果两方面都取得了显著更优的表现。
论文地址：https://arxiv.org/abs/2401.00437
通过互一致性实现准确监督信号匮乏下的超人水平大语言模型评测 ｜ 分享人：袁沛文
小红书在 ACL 2024 中提出了 PEEM 方法，其能够通过模型间的互一致性实现对于超越人类水平的大语言模型的准确评测。团队首先分析了当前大语言模型迅猛发展的趋势会加速其在多个方面逐渐达到甚至超越人类水平，在此情况下，人类将难以再提供准确的评测信号。为实现该场景下的能力评测，团队提出了以模型间的互一致性为评测信号的设想，并推导出了在评测样本无穷时，如果存在参考模型与待评测模型间预测分布独立，则与该参考模型间的一致性可以作为模型能力的准确度量。在此基础上，团队提出了基于 EM 算法的 PEEM 方法，实验证实其能够有效缓解现实中上述条件的不充足，从而实现对超越人类水平的大语言模型的准确评测。
GitHub 地址：https://github.com/ypw0102/PEEM
利用负样本促进大模型推理能力的蒸馏 ｜ 分享人：李易为
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。在 AAAI 2024 上，小红书搜索算法团队提出了一个创新框架，首次提出并验证了负样本在模型蒸馏过程中的价值，构建一个模型专业化框架，除了使用正样本外，还充分利用负样本来提炼 LLM 的知识。该框架包括三个序列化步骤，包括负向协助训练（NAT）、负向校准增强（NCE）和动态自洽性（ASC），涵盖从训练到推理的全阶段过程。一系列广泛的实验，展示了负向数据在 LLM 知识蒸馏中的关键作用。
论文地址：https://arxiv.org/abs/2312.12832
基于大语言模型的笔记内容表征推荐系统 ｜ 分享人：张超
小红书 APP 每天都有大量新笔记产生，如何有效地将这些新内容推荐给感兴趣的用户呢？基于笔记内容的推荐表征是缓解笔记冷启动问题的一种方法，也是众多下游应用的基础。近年来，大语言模型因其强大的泛化性和文本理解能力而备受关注。因此，我们希望利用大语言模型构建笔记内容表征推荐系统，以增强笔记内容的理解。我们从生成增强表征以及多模态内容表征两个角度介绍我们近期的工作。目前该系统已应用于小红书多个业务场景并取得显著收益。
论文地址：https://arxiv.org/abs/2403.01744
直播观看方式
直播时间：2024 年 6 月 27 日 19：00-21：30
直播平台：微信视频号【小红书技术REDtech】，B站、抖音、小红书同名账号实时直播。
同时，直播也将在合作伙伴【极市平台】、【机器之心】、【Datawhale】微信视频号同步播出。
欢迎你填写问卷告诉我们，关于大模型你关心的问题，在直播期间与嘉宾深入互动。
扫描👇下方二维码进入直播交流群，将第一时间获取直播链接及开播提醒；可一键打包获取精心整理的【论文 PDF 合集】，还有机会与论文作者直接交流！
邀请好友预约直播好礼：
小红书社区搜索团队多岗位热招中，团队负责小红书搜索效果的优化和前沿技术的探索，致力于打造中国最大的生活搜索引擎。期待你的加入！
搜索算法实习生-社区搜索
工作职责：
1、短文本理解方向。对海量 Query 进行自动化的改写、实体抽取等，使得搜索结果更精准；
2、长文本理解方向。对复杂的长文本笔记进行多模态理解、标签建设，为下游提供高质量特征；
3、跟踪业界最新研究成果，并应用到实际产品中；
任职资格：
1、计算机相关方向本科及以上学历；
2、良好的编程能力，熟练运用 tensorflow/Pytorch；
3、熟悉常见的机器学习和 NLP 算法，了解当前热点和前沿技术；
4、有高水平会议或期刊论文者优先；
搜索算法工程师-社区技术
工作职责：
1、对小红书搜索效果进行优化，包括搜索算法和策略的调研、设计、开发、评估等环节，提升用户体验；
2、发现并解决搜索场景中在查询分析、意图识别、向量召回、排序模型、去重等方向的问题；
3、解决小红书搜索实际问题，更好的满足用户的搜索需求；
4、跟进业内搜索相关模型和算法的前沿进展，并在实际业务中进行合理应用。
任职资格：
1、本科及以上学历，计算机相关专业背景；
2、有搜索、推荐、广告、图像识别等相关背景优先；
3、熟悉机器学习、NLP、数据挖掘、知识工程的经典算法，并能在业务中灵活解决实际问题；
4、在国际顶级会议（KDD、SIGIR、ICLR、NeurIPS、ICML、ACL、EMNLP等）以第一作者发表过高水平论文者、知名数据挖掘比赛（例如KDD Cup等）中取得领先名次者优先；
5、积极向上，踏实勤奋，自我驱动，善于沟通，解决问题优先。
搜索算法工程师-召回
工作职责：
1、面向小红书社区搜索，开发先进和高性能的召回算法；
2、在表征学习、倒排检索、向量检索、检索排序等方向上预研和实现前沿算法；
3、通过算法调优和工程优化提升用户搜索体验。
任职资格：
1、计算机相关专业研究生及以上学历，2年以上搜索、推荐、广告等相关背景；
2、熟悉机器学习、NLP、数据挖掘、知识工程的经典算法，并能在业务中灵活解决实际问题；
3、具备很强的编码能力，至少熟练掌握python/java/c++其中一种语言，有大数据处理经验更佳；
4、积极向上，踏实勤奋，自我驱动，善于沟通，解决问题优先。
搜索算法工程师-相关性
工作内容：
1、负责小红书社区搜索十亿级内容的相关性、语意理解等算法的实现与优化；
2、业界先进的大模型、NLP、多模态技术的应用及改进；
3、通过对数据的分析、算法的优化，改进搜索用户体验、提升业务发展效率。
岗位要求：
1、计算机、数学、软件工程或相关专业, 两年以上算法相关经验；
2、熟悉 C++、Python 等编程语言， 熟悉 TF 等深度学习框架者优先；
3、扎实的机器学习基础，出色的深度学习能力、并能很好地建模应用于解决搜索问题；
4、有搜索、推荐、广告经验优先，对深度强化学习，5、GAN，BERT，Transformer 等熟练者优先，对深度文本匹配模型熟练者优先。
