|||
近期,剑桥大学的两位研究人员Nathan Benaich 和 Ian Hogarth 推出了一年一度的2020 AI 全景报告(State of AI Report)。
和往年相似,本报告依旧从产业、人才、政策、预测等方面对过去一年来AI领域的技术的新进步、产业格局的新变化、政府政策的新特点等方面进行了总结,并作出关于未来的预测。
AI研究与技术:只有15%论文会公开代码,PyTorch比TensorFlow受欢迎。AI研究没有想象中那么开放。只有15%的论文会开源他们的代码。研究论文代码的发布对于AI相关的问责,可复制性和推动进步至关重要。
自2016年中以来,这一指标几乎没有改善。一般来讲,学术团体比行业团体更可能发布其代码。尚未发布所有代码的著名组织包括OpenAl和DeepMind。对于大型科技公司,其代码通常与其私有的基础结构交织在一起。
Facebook的PyTorch在研究论文中的使用迅速超过Google的TensorFlow。在提及使用框架的会议论文(占比20-35%)中,有75%引用了PyTorch,但没有提到TensorFIow。同时,作者观察到TensorFlow,Caffe和Caffe2仍然是AI研究的主力军。
在GitHub上的论文实现中,PyTorch也比TensorFlow受欢迎。其中,47%的论文实现基于PyTorch,而TensorFIow为18%。PyTorch提供更大的灵活性和动态计算图,使实验变得更加容易。JAX是个对数学更友好的Google出品框架,通常在卷积模型和transformer之外的工作中受到青睐。
NLP模型:十亿参数俱乐部
报告分析了当今最火的NLP模型的趋势。
对于NLP模型来讲,性能提高显然需要更大的模型,数据集和更高的计算预算。
根据Google公布的数据,每1000个参数平均需要花费1美元。这意味着OpenAI训练1750亿参数的GPT-3可能要花费数千万的训练费用。专家推测可能的预算会超过1000万美元。
报告指出,如果没有重大突破,将ImageNet错误率从11.5%降至1%会需要数千亿美元!许多从业者认为ML成熟领域的进展目前有些停滞不前。
新一代的transformer语言模型正在解锁新的NLP用例。GPT-3,T5,BART正在极大地改善用于文本到文本任务(例如翻译,文本摘要,文本生成,文本到代码)的transformer模型的性能。
此外,2019年,NLP全新基准SuperGLUE正式发布。十多个团队在GLUE基准测试中超过人类。
SuperGLUE之后会是什么?多任务语言理解挑战测试涵盖57项任务,包括数学,美国历史,法律等,以全面测试世界知识和解决问题的能力。GPT-3仍然存在巨大的知识空白。
生物学的「AI时刻」
生物研究正在经历「AI时刻」:仅2020年,就有超过21,000篇相关论文发表。自2017年以来,涉及AI方法(例如深度学习,NLP,计算机视觉,RL)的出版物同比增长超过50%。
大型标记数据集带来巨大的潜力,丰富了健康和疾病相关的新生物学知识。
从物理对象识别到「细胞绘画」:通过图像解码生物学
联邦学习
联邦学习在2016年由Google发起,目前正在蓬勃发展。从2018年到2019年,提及联邦学习的论文数量几乎增长了5倍。2020年上半年发表的相关论文数量超过了2019年全年的数量。
AI人才:教授从高校流向科技公司,27%在美顶尖AI人才来自中国近些年来,科技公司对人工智能教授的需求在上涨。2004年至2018年间,谷歌、DeepMind、亚马逊和微软从美国大学聘请了52名终身教授,相应地,卡内基梅隆大学、华盛顿大学和伯克利大学有38位教授离任。但值得注意的是,2004年的时候还没有一位人工智能教授离开,而仅2018年就有41位人工智能教授选择离开。
当然,老教授的离开可能会为年轻的学术人才腾出晋升的阶梯。而与此同时,也有一些学者并不买账。
教授离开造成学术毕业创作能力下降
包括Facebook在内的一些公司,他们利用学术/行业的双重合作机制挖取人财,这对高校有什么影响?根据报告,人工智能教授的流失对高校来说很重要,在美国69所大学中,毕业生创业能力下降与教授的离职有关。一般来说,人工智能终身教授离职4-6年后,毕业生创办人工智能公司的可能性降低了4% ;但这种并不适用于教授在学生毕业前1-3年就离开的情况,这表明教授和学生之间的互动很重要;但人工智能教授的离职与同一所大学的毕业生成立非AI公司之间也没有显著的相关性。
1亿欧元能否为「买」到50位教授?
很多高校都是大力投资AI人才以及学科建设。例如,荷兰的埃因霍芬理工大学(TUE)已承诺在5年内投入1亿欧元,创建一家专注于在机器人和自动驾驶汽车等机器上使用智能算法的新研究所。
TUE在QS世界大学2021年排名中排名第120位
银湖(Silver Lake)创始人捐赠1亿美元,在东北大学(Northeastern University)创建鲁克斯研究所(Roux Institute),这是一家专注于应用于数字和生命科学的人工智能的新研究生学院。将在应用分析、计算机科学、数据科学、数据可视化和机器学习,以及生物信息学、生物技术、基因组学、健康数据分析和精准医疗等领域进行发展。
2019年,阿布扎比宣布成立穆罕默德·本·扎耶德人工智能大学(Mohamed bin Zayed University of Artificial Intelligence,简称MBZUAI),这是世界上第一所研究型人工智能大学。
阿布扎比成立「世界第一所人工智能大学」
穆罕默德·本·扎耶德AI大学(MBUZAI)是一所新的研究型高等教育学院。MBUZAI收到了来自97个国家的2223份申请,其中大多数来自中东和北非地区以外。
美国继续主导NeurIPS 2019论文
从NeurIPS 2019论文发表情况来看,美国保持其主导地位,谷歌、斯坦福大学、CMU、麻省理工学院和微软研究院占据前五名。
但在被NeurIPS 2019录取的论文作者中,有29%的作者是在中国获得本科学位的。
但在离开中国的大学后,54%的毕业生却选择前往美国在NeurIPS发表论文。2019年,美国吸引了超过一半的外国NeurIPS作者。
各项数据都表明,美国是一个非常强大的博士后人才储备国家,而且,在美国获得博士学位的中国和非中国学生中,有近90%的人留在美国工作。
通过对比发现,美国人工智能博士项目的外国毕业生最有可能在大公司工作,而美国本土人更有可能在初创公司或学术界工作。
然而,当在美国取得人工智能博士学位后,并不是所有人都留在美国,他们有的会选择离开,最可能去的是英国和中国。去英国的毕业生中,55%选择在私营部门工作;去中国的人当中40%选择去私营部门。
还有数据表明,尽管美国的AI技术领先,但大多数在美国工作的顶级人工智能研究人员都不是在美国接受本科教育的,中国(27%)、欧洲(11%)和印度(11%)是美国AI人才的最大几个输送国。
从整体看,AI人才供不应求。作为21世纪最热的职位之一,AI相关的岗位可谓是炙手可热。从Indeed.com美国数据的分析显示,招聘职位的数量约为求职者数量的三倍。
但人工智能人才市场虽然火爆,但也不能幸免于疫情的影响,在领英上,提到深度学习框架的公开招聘广告在2020年大幅增加,但自2020年2月以来,也因为疫情的出现也出现了下滑。
AI产业:医疗、自动驾驶领域持续火爆。在AI产业这一块,报告从医疗、驾驶等领域分析了AI的重要性。不得不说,强大的资金支持,才是AI产业发展的重要力量。在国内,像滴滴这样的出行公司选择自动驾驶业务剥离,从软银远景基金等机构筹集了 5 亿美元。到今年 7 月,滴滴在上海推出了自动驾驶汽车服务。
在疫情期间,很多科技公司将AI医疗影像识别技术投入使用。比如,深度学习将超分辨率显微镜成像从采集到分析进行了改进,使用监督学习和计算机视觉将人体显微镜下的数小时时间缩短为几分钟。超分辨率显微镜通常需要主题专家来评估样本,ONI的系统自动化这些视觉检查任务和解锁超分辨率非专业用户。
而且,美国医疗保险和医疗补助服务中心也提出了基于深度学习的医疗成像产品费用标准。未来,优先使用AI技术将在医疗领域越来越常见。例如,利用人工智能设计药物已经在日本进行了临床试验,而一大批创业公司也得到了大量资金用于实现平台战略发展。
自动驾驶方面,美国一半以上的州已经颁布了有关自动驾驶的立法。
相关链接:
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-18 14:22
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社