西班牙的人工智能医生
西班牙已将自己定位为欧洲负责任人工智能领域的领导者。然而，透明度的承诺往往落空，公共监督机构一直难以获得对司法和福利系统中部署的算法的有效访问。这使得西班牙成为一种日益增长的趋势的一部分，即政府悄悄地试验预测算法，在公众视野之外做出改变生活的决定。在系统受到独立审查的罕见情况下，监管机构往往会发现根本缺陷和歧视的证据。
西班牙国家社会保障局(INSS)发誓要打击欺诈行为，减少病假福利的公共支出。2018年，INSS部署了两种机器学习算法来评估西班牙数百万请病假的人的健康状况。这些算法试图猜测哪些受益人可能在逃避工作和欺骗国家。
五年来，这些算法的使用基本上是保密的。但在10个月的时间里，我们利用公共记录法获得了未公开的文件，这些文件描述了该系统及其所依赖的数据。我们与合作伙伴El Confidencial合作，对接受算法生成分数的卫生部官员和医疗检查员进行了十多次采访。它们揭示了一个不透明且表现不佳的系统，尽管如此，它仍在做出涉及数百万人的高风险决策，可能会迫使尚未准备好的患者重返工作岗位。
方法
2022年4月，我们发现了一份来自INSS的白皮书，描述了它如何转向“大数据打击欺诈”。它拥有先进的分析、复杂的统计报告和预测模型。我们提交了一份信息自由访问请求，要求提供有关该机构使用算法的技术文件。
虽然INSS拒绝回答大部分请求和随后的问题，但它确实披露了有限的技术文件选择。其中包括用于计算的变量，包括性别、年龄、居住地和医疗诊断。专家告诉我们，他们还包括绩效评估，结果显示，该系统产生了大量误报，并使用了受欧洲数据法规保护的敏感医疗数据。
文件显示，这些算法是用美国软件巨头SAS开发的政府欺诈检测软件构建的，由IBM的西班牙子公司ViewNext实施。该机构和SAS之间的投标表明，该机构可能为该系统支付了至少100万欧元。然而，我们采访过的INSS高级官员承认，这些算法“不准确”。与此同时，INSS拒绝回答有关该系统是否会不成比例地标记某些人口群体的问题。
在现场，我们采访了医疗检查员，他们的任务是在长期资金不足和人员短缺的情况下，追踪INSS算法标记的病例。“我们这些每天与它打交道的人无法解释它是什么，”一名医疗检查员说。另一个人直言不讳地谈到了系统的实用性:“系统的实用性?如果我们有更多的员工会更有帮助。”
专家们对我们分享给他们的技术文件表示震惊。牛津互联网研究所(Oxford Internet Institute)人工智能治理与政策教授安娜·瓦尔迪维亚(Ana Valdivia)将算法产生的大量误报描述为“糟糕”和“不平衡”。
INSS的算法在内部被称为“SAS标准”，它的部署在内部带来了捕捉大规模欺诈和减少公共支出的巨大承诺。本系列的第二篇讲述了一个故事:五年多过去了，承诺的成果几乎没有实现。对医疗检查员的采访描绘了这样一幅画面:随着社会保障体系继续受到开支削减和人员短缺的困扰，这项技术实际上变得毫无用处。
提出了关于INSS系统未解决的重要问题，包括其使用敏感数据是否合法以及潜在的歧视。
