来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-17
该数据集由Google、斯坦福等研究人员开发，BBH的全称是BIG-Bench Hard，它是BIG-Bench数据集的一个子集，它专注于23个具有挑战性的任务，这些任务超出了当前语言模型的能力范围。BBH中的任务需要进行多步骤推理。研究发现，在BIG-Bench评估中使用的少样本提示（不包含思维链Chain-of-Thought，CoT）会大幅度低估语言模型的最佳性能和能力。当应用CoT提示到BBH任务时，PaLM模型在23个任务中的10个上超越了人类评分者的平均表现，而Codex模型在23个任务中的17个上也超越了人类评分者的平均表现。
BBH数据集的推出，为AI研究社区提供了一个重要的工具，用于测试和理解大型语言模型在处理困难任务时的表现。这有助于指导未来的研究方向，以便更好地解决这些挑战性问题。
相关数据集与论文获取，GZ： AINLPer公众号 回复：BBH数据集
