年度指数报告发现人工智能正在“产业化” 但需要更好的指标和测试

《人工智能指数报告》由斯坦福大学以人为中心的人工智能研究所和一个由11名成员组成的指导委员会编制，贡献者来自哈佛大学、经合组织、AI伙伴关系和SRI国际。该报告利用了一系列来源的数据集，比如arXiv的AI研究数据，Crunchbase的资金数据，以及对Black in AI和Queer in AI等团体的调查。经合组织一个研究算法影响评估的小组负责人、OpenAI的前政策总监Jack Clark表示，报告中还发现的一个主要趋势是人工智能的产业化。

“我认为对我来说，这个故事是人工智能正在产业化，而我们不太知道如何全面评估它的产业化，因为我们有点缺乏很多你所期望的数据。而我认为这是因为人工智能刚刚从 ‘不能用’到‘能很好地进行商业部署’的速度比你想象的要快。这意味着......每个人都在比赛，包括研究界，以跟上商业部署的步伐，”他说。

报告中的其他主要启示：

• 根据LinkedIn提供的数据，巴西、印度、加拿大、新加坡和南非从2016年到2020年的AI招聘水平最高。

• 2020年，全球总投资，如私人投资和并购，增长了40%。但连续第三年，AI创业公司的资金流向的创业公司越来越少。

• 2019年，在北美，每3个拥有人工智能博士学位的毕业生中，约有2个进入了工业领域，高于2010年的44%。

• 大多数人工智能博士毕业生来自美国以外的地方，每5个毕业生中就有4个毕业后留在美国。

• 对50万个博客和6万条英文新闻进行的新闻分析发现，人工智能伦理故事是2020年最受欢迎的人工智能相关新闻之一，包括谷歌解雇Timnit Gebru以及欧盟委员会、联合国和梵蒂冈推出的伦理倡议等话题的报道。

• 2020年，主要人工智能研究会议的出席率翻了一番，因为大多数团体选择举行虚拟聚会。

• 根据2020年计算研究协会的调查，女性占AI博士毕业生的18%。

• 中国在论文总数上超过了美国，但美国在AI研究会议上的引用量延续了20年的领先优势。

• 根据GitHub Stars的总数，TensorFlow是最受欢迎的AI软件库，其次是Keras和PyTorch。

• arXiv上的AI相关论文从2015年的大约5500篇增长到2020年的近35000篇。

• Queer in AI 2020成员调查发现，大约有一半的受访者经历过骚扰或歧视，遇到过围绕包容性的问题。

• 学术研究人员在全球范围内发表的论文总数领先。但在美国，企业研究排名第二，而政府研究在欧洲和中国排名第二。

• 从2004年到2019年，卡内基梅隆大学（16人）、佐治亚理工学院（14人）和华盛顿大学（12人）流失到工业界的教员人数最多。

报告中专门介绍技术挑战进展的部分突出了计算机视觉系统和语言模型的进展，以及用于药物发现或有效化学和分子合成等任务的人工智能。

人工智能指数报告显示了可用于监控的AI系统的进展，比如物体检测系统YOLO。VoxCeleb也取得了相当大的进展，它衡量了从包含6000人的数据集中识别声音的能力。AI指数图表显示，2017年平等错误率约为8%，到2020年下降到1%以下。

“这个指标告诉我们，人工智能系统的平等错误率已经从8%下降到了0.5%左右，这告诉你，这种能力将在全球范围内悄然部署。”Clark说。

一个技术进步专家小组将AlphaFold预测蛋白质如何折叠的能力和GPT-3作为2020年最受关注的两个AI系统。虽然AI Index承认GPT-3取得的学习成果很少，但它引用了前Ethical AI团队联合负责人Timnit Gebru等人的一篇论文，对大型语言模型及其延续偏见的能力进行了批判。它还提到了OpenAI和斯坦福大学上个月发表的一篇论文，认为需要在为时已晚之前解决大型语言模型的社会影响。在2019年接受VentureBeat采访时，AI Index创始人Yoav Shoham对根据有限任务的表现来判断语言模型的价值表示怀疑。