针对《评人工智能如何走向新阶段》一文，继续发布国内外的跟贴留言503-531条如下：

503，忆阻性神经混合芯片加速推动人工智能技术发展

近来全球开展忆阻性神经混合芯片的研发十分火红。

来自俄罗斯的一则报导：俄罗斯罗巴切夫斯基州立大学与多国科学家合作，提出了一种“忆阻性神经混合芯片”（Memristive Neuro hybrid chip）的概念，芯片可用于紧凑型生物传感器和神经假体，该概念是基于神经细胞和微流体技术组合的现有和前瞻性解决方案，使“空间有序话动神经网络”的植入成为可能。

其实研发忆阻器技术在欧美早已开始了！忆阻器芯片具有非线性电阻记忆的独特性，在模拟信号处理系统具有广阔前景，此外还可用作电生理活动传感器，发挥信息积累和非易失性储存功能。

在清华大学自主研发的第二枚类脑芯片（发表在《自然》杂志上）也显示了忆阻器技术。今年2月27日由钱鹤、吴华强教授领衔的团队研发出一款基于多阵列忆阻器存算一体系统，在处理或训练卷积神经网络时能效优于GPU（以前沿用的图形处理器芯片）高两个数量级。

504，DeepMind最新力作：分布式强化学习框架Acme，智能体并行性加强

近年来，在深度学习技术和算力提升的双重加持下，强化学习已经在众多复杂的AI挑战中取得了輝煌战绩。无论是象棋、围棋，还是王者荣耀，以及各类经典游戏，强化学习的表现都是足以令人叹服。

但深度强化学习在带来开创性进展同时也带来一些挑战：这些进步常常以底层强化学习算法的规模及复杂性为代价，并使得已公开的强化学习算法或idea变得难以实现。

为了解决强化学习算法由单进程原型到分布式系统扩展过程中智能体的重新部署问题，DeepMind推动了一种新的分布式强化学习框架“Acme”。

505，神经调节算法——受人脑神经调节机制启发的人工智能新颖算法。

神经科学领域所发现的认知机理首次在多任务环境下发现了新的算法应用。

为利用人工智能更好地模拟人脑神经调节功能机制的关键打开了新视野。

尽管近年来人工智能领域取得巨大进步，但离人类智能还很远。当前的人工智能技术允许训练计算机智能体可以专门有针对性地对它们进行人工训练，以更好地执行某项特定任务。

人类通过使用一生中获得的技能，能够非常有效地适应新情况。例如一个学会在客厅走路的孩子也会很快学会在花园里走路。因为所学习得到的走路技能与大脑突触的可塑性有关，突触可塑性改变了神经元之间的联系。在客厅学习行走技能与在花园中行走所需快速适应技能则与神经调节过程相关。神经调节通过化学神经调节介质调整神经元本身的输入——输出特性：

模拟人脑神经突触的可塑性是当今人工智能所有最新进展的基础。

然而到目前为止，还没有科学研究成果提出将神经调节机制引入到人工神经网络的方法。

为了攻克这个难题，一个由人工智能专家和神经科学家组成的团队开发了一种基于人脑功能机制的新算法，称为神经调节算法。这个新颖而卓越的算法可以创建能够执行训练期间未遇到的任务的智能体，使智能主体能够自动适应未知情况。

在神经科学中，神经调节指一种神经传导过程。在此过程中，一个特定神经元使用一个或多个神经传导物质来控制一系列神经元。被一小群神经元覆盖住的神经传递介质会在神经系统中大范围地被释放出来，进而影响到许多的神经元。

506，日本发明的人工智能机器人系统的确令人赞叹。

众所周知，日本曾推出美女机器人（几经修改），能够聊天，富有表情，其外形犹如东方美女，其动作与特征与人类相差无几！

最近日本东京大学又发明了一款机器人，名为Tengoro，模仿人类动作，其“肌肉”比人类结实、柔软（采用16个驱动器操纵各种动作，像人类肌肉那样收缩），其灵活性打破世界记录（实测时比人类灵活6倍），运动时还会流汗（采用108个电池，供流汗表情需要，还供机器人以能量）。日刊报导“震憾世界”！

507，清华大学与京东数科同台共秀仿生手。

AI机器人如何实现“心灵手巧”。

6月4日京东数科AI产业仿生手研发团队与清华大学人工智能研究院智能机器人研究中心同台共秀仿生手。京东数科介绍其自主研究成果（可穿戴AI仿生手）可在0.5秒内快速识别和响应肌电信号，准确率接近100%，基于此助力特种人群劳动效率提升50%。

清华孙富春主任说，灵巧手蓬勃发展主要得益于触觉传感器、人工智能的助推。从迟钝的机械手进化为像人手一样灵巧且感知外界，并能通过脑机接口将感知到的事物输送到大脑，依照大脑反馈的指令执行。他提到未来发展共融的概念，即机器人应实现与人、环境的共融，包括与人的协作。机器人的手也应像人手一样，能够通过肌肉纤维进行控制骨头模式。

508，华米AI医疗提高心脏健康监测水平。

近来，华米研发BioTrackerPPG高精度生物追踪光学传感器，发布RealBeatsAI生物数据引擎算法，实现了PPG心律不齐（含房颤）本地实时甄别、ECG心律不齐（含房颤）本地实时甄别等功能，大幅度提高了心脏健康监测的精确率和效率。

509，2019年中、美、日三国顶级计算机科学家人数据一家美国机构统计，美国680人（占46.3%），中国480人（占32.7%），日本310人（占20.4%）。

据一家日本机构统计，美国632人（占44.3%），中国500人（占35.1%），日本294人（占20.6%）。美日两国机构的统计数据差不多。

510，减少训练人工智能巨大能源消耗。

MIT减少训练人工智能神经网络巨大的能源消耗（释放60多万磅二氧化碳）将其降到1/1300。

为了释放和提高人工智能算力，深度神经网络模型需要训练。大规模训练运行AI需要把海量的计算机服务器集中起来消耗巨大的电力来支持程序运转，这通常会排放大量的二氧化碳。

MIT研究员Amherst研究发现（2019.6），训练运行一款自然语言处理AI模型可以释放超过62.6万磅二氧化碳。

MIT研发团队在4月份发表的论文中提出一种训练运行神经网络的新方法，该方法在调试运行神经网络时释放的二氧化碳仅为当前所用方法释放的1/1300。神经网络是模仿人脑功能的一套算法。

国际数据公司2018年度发布的白皮书预计，到2025年全球数据量将达到175zb，这些数控都需要处理，而处理它们必然要耗费能源。

MIT研发团队还提出13种利用AI帮助人类适应气侯变化并减轻不利影响的方法，包括AI能帮助人类预测可再生能源的供求关系，规划大规模的碳排放项目。

511，哈佛大学微型机器人HAMR—Jr。

最近在国际机器人与自动化会议（ICRA2020）上隆重登场。

哈佛大学约翰-保尔森工程与应用科学院研制的哈佛动态微型机器人HAMR—Jr打造出迄今为止最小（重量0.32g）、速度最快（每秒可运行14个体长）的机器人，可以奔跑、跳跃、携带重物（背负3.5g）和快速转弯，是最小的“四足机器人”，在抢救、探测及医疗手术等领域具有无限潜力。

512，人工智能垃圾分拣机器人在北京迎来国内首次落地。

不知疲倦的人工智能捷米机器人进行混合可回收垃圾精准分类，把一线工人从肮脏枯燥的工作中解放出来。

现场工作人员通过大数据对机器人进行训练，让机器人具有类似人脑的判断能力，从而对废弃物进行快速准确识别和分类。

机器人根据客户要求将不同物品不同材质的废弃物分成PET、HDPE、PP、玻璃、利乐包、易拉罐、衣服、鞋子、纸张等20多种可回收物。

现场的智能分拣机器人还可以对传送带上密集的废纸和其他二维物体进行分拣，如挑出废纸中塑料袋、塑料膜等杂物，大大提高了废纸纯度。人工智能垃圾分揀机器人每分钟可以分揀70多件物品，速度约为普通人的2倍，还可7天X24小时连续工作。未来废弃物回收工作完全可实现无人化。

513，狗能嗅出新冠患者气味；

据香港《南华早报》6月6日报导，法国阿尔福国立兽医学院多米尼克-格朗让教授的研发团队称：狗能嗅出感染了新冠病毒患者的气味，成功率在83%~100%之间。

另据美国《科学》周刊报导，狗的鼻子比人类灵敏上亿倍。此前研究表明，狗能嗅出多种疾病气味，包括糖尿病和某些癌症。

514，李开复谈人工智能：在创新工场人工智能训练营DeeCamp开营仪式上讲话（摘录）。

这一次DeeCamp200余名来自MIT、CMM、清华、北大、北航、中科院大学等同学线上汇集，远程学习协作，以后在医疗、教育、自动驾驶等赛道做出可落地的AI项目Demo。

AI变化迅速，如何进入世界创造价值？如何找到创业机会？

他谈到中国如何崛起成为AI超级大国？

中国AI崛起原因有6点：

①大批优秀的年轻AI工程师②坚靭的企业家③产品创新急起直追④高度互联网化产生海量数据⑤中国AI投资全球领先⑥有利技术发展政策

AI是在互联网应用上打响第一炮，最牛的互联网公司都在中美，这些互联网有海量数据可做AI，中国创业者更拼搏（美国创业者更绅士）。

中国创业者借鉴海外模式到本土创新，现在产品走向世界：如快手、拼多多、VIPkid、今日头条、蚂蚁金服等。快手从四、五线城市走出来，在美国不可能出现。

在自动驾驶方面，美国策略是不改变道路，中国则为无人驾驶打造新的公路，新基建的赋能提升安全度，保证安全度足够让无人车上路，进而累计新的数据，让整个技术迭代的链条滚动下去。中美不同政策：美国不改变基础设施的无人驾驶政策，中国为无人驾驶打造新城市、新公路。

对于未来AI各领域，中国公司有相当大的发展空间，现在是AI落地的时代，AI已从少数精英“发明期”走向遍地开花“应用期”。这一变革的临界点是深度学习，深度学习打破了从“不可用”到“可用”的界限，把AI推进到应用期（注：这点业界有不同识，AI基础理论研究与AI应用落地同时并举，在抓应用落地时要防止炒作泡沫化）。

李谈：此后的Transformer、强化学习、迁移学习、GAN等技术虽有很大贡献但不会像深度学习一样有如此革命性进展。

AI发明期带来了红利，创造了很多成功的创业家，如旷视的印奇、地平线的余凯等，在AI应用期，很难期待只凭一个新技术就能创造一个旷视商汤，更要看具体的商业价值，在应用期AI最大的机会就是帮助传统行业提升，对AI落地，如何选择商业模式很重要。

他说，学者和创业者思维模式不同，做学术界的科学家，像GeoffreyHinton那样，做科学型的企业创始人，除科研外还要进行企业/行业探索、市场开拓、把技术产品化、市场化，像普林斯顿李凯教授那样，在创业成功后再回校研究，也可像李飞飞那样立足于学术界做兼职参与谷歌的AI。

他举例：2011年成立旷视，处在AI发明期，聚拔了一大群清华姚班人才，从游戏开始，花三年探索商业模式。

到2017年成立创新工场子公司创新奇智，直接开始做商业落地，在创始团队6位高管中，4位是商业背景出身，2位是技术背景出身，这家公司在创立第三年收入已超过8亿元（成为创新工场投出的第6家独角兽）。

他说，我们也有一些不成功的例子：有一批医疗影像读片公司，创始人都是技术出身，他们不懂医院业务，找不到商业模式。还创办了一家教膏公司做了非常复杂的实体AI机器人，机器人老师可在黑板上写字，可与孩子们交流，但机器人老师缺乏市场需求，还不如直接做一个卡通形象老师借屏幕和孩子们交流

李强调AI赋能产业定制化。

515，人工智能顶级研究者在哪里？

人工智能正在成为国际竞争新焦点。

据美国保尔森基金会（PaulsonInstitute）下属的麦克罗波洛智库（Macropolo）公布的一项名为“全球人工智能人才追踪”的调查报告：美国聘用了全球60%的顶级研究人员，中国占10.6%，欧洲占10.2%。

值得注意的是这些人才的来源：

美国本土研究者只占31%，27%的AI研究者来自中国（这是AI顶级研究人才最大来源国），来自欧洲占11%，来自印度占11%，来自伊朗占4%，来自加拿大占3%，其他占13%。

即：美国人工智能领域顶级研究者中有1/3来自中国，全球顶尖人工智能研究者超过一半在美国研究。

为了更加精准地评估顶级人工智能学者的流动趋势，麦克罗波洛智库选择了人工智能领域的顶级会议NeurIPS，该会议主要关注神经网络和深度学习方面的理论进展，这两个领域被视为推动人工智能最新发展的重要领域。

在2019年年底的NeurIPS大会上，共有15920位研究者提交了6614篇论文，最终接收率为21.6%。从1428篇被接收的论文中抽取175篇论文的675名作者的信息，结果显示，有近1/3的研究者来自中国（在中国完成大学本科阶段的学习），同时发现这些人大多数在美国生活、为美国公司和大学工作。

516，神经科学打开了人工智能的黑盒子。

马格德堡大学（Ottovon Guericke University）人工智能实验室SebastianStober团队研发在认知神经科学启发下的可解释人工智能技术的研究项目（CogXAI），即将运用认知神经科学的方法来分析人工神经网络，从而更好地理解它们的工作方式。

他们认为，人工神经网络ANNs是一种受自然大脑结构启发的自学习智能系统，它就像生物神经系统一样，能够通过实例学习来独立解决复杂的问题。

在人类大脑中，这些网络是数以百万计的神经细胞通过化学信号和电信号相互交流组成的，而人工神经网络可以被理解为计算机程序，但由于其强大的学习能力和灵活性，近年来人工神经网络在“深度学习”下已成为智能系统开发的热门选择。

科学家通过大脑研究对人类大脑的学习行为有重要发现，而人工神经可以借鉴用来获得快速有效的学习行为，并研究ANN的自学习系统如何做出预测，和/或为什么会出错。

Stober说，对自然大脑研究已经超过50年了，然而目前这种潜力很少被用于AI架构的开发。通过将神经科学的方法转移到人工神经网络的研究中，他们的学习过程也将变得更加透明和容易理解。通过这种方式，在学习过程的早期阶段就可以识别出人工神经元的故除，并在训练中加以纠正。

人工神经网络的正在迅速发展，通过使用高性能计算机，越来越多的人工神经元可以用于学习。然而这些网络日益复杂，甚至连专家也难以理解它们的内部流程和决策。如果我们希望未来能够安全使用人工智能就必须全面了解它的工作原理。

517，俄美中的自动驾驶技术，自动驾驶技术日趋进步与成熟。不同级别的无人驾驶汽车有什么区别？

根据美国高速交通安全管理局（NHTSA）规定，无人驾驶技术共分6个等级，分别是0—5。L0-L1级完全需要人类驾驶员，L2-L3级可实现半自动无人驾驶，L4-L5级可实现全自动驾驶，区别在于L4级需要在特定的道路和天气下，而L5级可以适应全地形。

为了实现真正的无人驾驶，世界多国开始在无人驾驶技术研发、无人车辆制造方面展开布局，并正在走向实用。

近年来俄罗斯大力发展无人驾驶技术。目前约有130辆配备了激光雷达、传感器、摄像头的无人驾驶汽车正在进行道路测试，除城市交通外，也期待在远程货运方面发挥作用，今年5月，俄罗斯卡车企业卡玛斯与俄天然气工业公司借助导航和物体识别设备共同完成一项无人驾驶货车在北极行转2500公里的浏试。

美国硅谷有无人驾驶“五大家族”之称的Zoox、Waymo、Cruise、ArgoAI、Aurora在自动驾驶领域展开激烈竞争。

在中国，百度、腾讯、蔚来、四维图新、小马智行、北京三快等公司推出数十辆无人驾驶汽车，进入了相应的路测和后续性能完善阶段。

国内无人驾驶技术研发主要围绕两方面展开：一是单车智能方案，通过在车上安装多个雷达传感器来实现对周围环境的感知，二是车路协同方案，由车辆及与车辆周边环境实现数据交互，从而完成对周围环境的感知。

2018牟5月，领骏科技发布了国内首个具备“量产产品形态”的L4级无人车，搭载其自主研发的新一代自动驾驶系统，目标直指自动驾驶的商业化落地量产，领骏科技还推出了高性能自动驾驶仿真平台。2019年初，“济南5G通信智能网联汽车测试道路启动活动”在山东省内第一条智能网联汽车测试道路举行，活动现场展出了“全球首台L4级无人驾驶电动卡车HOWO一T5G”、“特定区域低速自动驾驶公交车”两款智能网联产品。

无人驾驶作为伴随5G、云计算、大数据、人工智能等新一轮技术发展衍生的一项前沿科技，不仅有助于降低物流成本、提升货物运送效率，更可能引发未来商业模式变革。

518，脸书Deepfake检测挑战赛

6月13日，脸书宣布其首届Deepfake检测“以假乱真”挑战赛结果：获胜算法准确率65.18%发现非常逼真的Deepfake虚假内容。

Deepfake检测挑战赛旨在寻找能够识别出基于人工智能的优秀的视频算法。

2114名参赛者提交了3.5万个Deepfake检测算法参加此次挑战赛，他们需要从约10万个短片的数据集中识别假视频。脸书雇佣了3000多名演员来制作这些视频，并利用AI进行修改，将其他演员的脸粘贴到视频中。

脸书CTOMikeSchroepfer认为，这次挑战赛将为研究人员创造一个基准，以指导他们未来的工作。

519，中国推数字货币DCEP，《福布斯》（Forbes）如何看？

中国人民银行的数字货币（DCEP）已到试验阶段，不断引起国内外区块链和金融科技专家广泛关注。摘录《福布斯》两位撰稿人的评论

探讨DCEP落地将会对中国国内和国际货币格局造成何种影响？数字人民币会否推动国际货币去中心化？是否会掀起新一轮货币革命？电子支付领军企业是否会受到冲击？DCEP未来发展前景如何？

传统观点：以电子货币形式出现的人民币不会对国际货币格局造成额外影响。

RogerHuang（资深区块链经济撰稿人）反驳了这一观点，他认为此观点忽视了电子货币独立于经济政治基础的技术特性及其关键的战略意义，DCEP将使人民币可以在多种货币环境下交互流通（这是包括美元在内的其他货币无法实现的），DCEP作为一种可在中国、非洲及一带一路各国流通的数字货币，将可能打开大片市场。

Huang还谈到，数字货币是中国在新技术领域的新探索，DCEP作为由政府支持的国际流通数字货币，可作为私人组织和各国政府参考的模式，有望推动全球货币数字化发展进程。

DCEP是否影响支付宝和微信支付发展。ZennonKapron（金融科技公司创始人）认为，DCEP只会助益这些市场化应用，不会取代。

目前支付宝和微信支付占中国90%的数字支付市场，占中国零售支出20%~25%，并同时经营财富管理和小额贷款等许多其他金融产品和服务。这两个平台可谓是中国数字金融生态系统的基石。而央行没有打算以DCEP取代支付宝和微信支付，相反支付宝和微信支付可能会与DCEP整合，以巩固他们在数字金融领域的地位。

520，人工智能的走向。得知识者得天下。认知智能是机器智能化的关键，通过知识工程使机器实现可解释的人工智能；

1)，数据、知识双驱动

①数据分类（结构化、非结构化、半结构化数据）——>数据获取——>

②知识表示（基于符号的、基于向量的）——>知识获取——>

①、②——>知识融合（数据、知识双驱动）——>知识推理——>知识图谱（大规模语义网络）——>实现可理解、可解释的人工智能？

 通过知识工程让机器像人类那样具有思考或认知能力，即让机器县有对数据、语言、图片、影像和文本的理解、推理、解释、归纳、演绎的能力

2)，欲实现可解释的人工智能要依靠大规模语义网络

近来，自然语言处理——>大规模语义网络取得很大进步，但还存在一些机器难以识别的知识，如常识、背景知识、专业知识、专家径验、隐性知识等（这是人工智能在学习训练中不可或缺的）；再者，大规模语义网络还不够成熟、完善，用以支持实现可解释的人工智能其能力尚嫌不足！

521，机器学习在地质研究中再发威力！

马里兰大学地质系Kim团队使用一种Sequencer的机器学习算法，结合地震学的方法，探索在地核（由熔融的液态铁构成）与地幔边界周围地质运动和变化情况，为进一步解释地球是如何形成的，这个热岩区域是如何随时间推移变化的，以及预测未来的地震。

522，深度学习是有缺陷的

机器学习/深度学习是一种强大的人工智能算法，是当前引领人工智能大发展的引擎，但深度学习也是有缺陷的，黑盒子技术使其训练过程不可解释。

523，说“深度学习有缺陷”需商榷。说“深度学习是有缺陷的，黑盒子技术使其训练过程不可解释”，這个问题需要商榷。

深度学习是当前引领人工智能大发展的引擎，就像其他复杂的工程系统一样，它目前还是黑盒子，我们还没能理解它为什么能够取得这么好的效果。世上有很多重大发明，发明时都是黒盒子，人们并不明白原理。从指南针发明到理解为什么会指南，经历800多年，……在经历了一段时间后从不理解到理解，这是正常过程，因此“黑盒子、不可解释”，不是深度学习的缺陷，是下一步需要解决的理论问题。

524，深度学习是有缺陷的，它并非是实现人工智能的一条完美的路径。

美国一位AI专家在《IEEESpectrum》（2019.4）上撰文质疑IBM Watson研发AI医疗应用前景时提出：“深度学习也是有缺陷的”，“深度学习是实现人工智能的路径之一，而非一条完美的路径”。“深度学习本质上是一项黑盒子技术，其训练过程具有难以解释、不可控的特点”。

525，深度学习最大的问题是不可解释和不可理解。

我记得张钹老师去年8月14日的谈话，其中提到：现在深度学习本质上是基于概率统计的学习，而概率统计最大的问题是不可解释和不可理解。

526，当前机器学习理论有局限性完全以盲模型的方式运行。

图灵奖得主、贝叶斯网络之父Judea pearl在2018年的论文中谈到，当前机器学习理论有局限性，完全以统计学或盲模型（即黑盒子）的方式运行，所以不能成为强AI的基础。

527，深度学习算法目前并不完美有待继续加强理论研究。

国外一位AI大师论文中谈到，近年来以深度学习算法为代表的AI技术快速发展，在计算机视觉、语音识别、语义理解等领域实现了突破，但其算法并不完美，有待继续加强理论研究。

528，打破黑盒子使深度学习转变为可解释。

深度学习本质上是一项黑盒子技术，其训练过程是不可理解、不可解释的。

科学的发展，打破了黑盒子这把锁，将转变深度学习模型原来的不可理解、不可解释为可理解、可解释。

据我们收到一些跟贴反咉，有关机构/人士正在潜心研究这项破解黑盒子的理论。

529，如何通过知识工程实现可解释的人工智能。

目前，通过知识工程尚难实现可解释的人工智能（或者说，机器还不能实现像人类那样的认知智能）。

最后一公里的短板在哪里？短板在知识图谱或大规模语义网络。

知识图谱即为一种大规模语义网络。

大规模语义网络是在大数据时代体现新知识工程的核心技术。

自然语言处理（NPL）取得很大进步，人工智能资深专家吴恩达说，2019年是自然语言处理飞跃的一年。

我们来看一下自然语言研究的发展轨迹：自然语言处理（NLP）系统——>自然语言理解系统（具备一定的理解和解释的能力）或语义网络——>大规模语义网络（包括语言建模和训练模式）。

迄今大规模语义网络还不够完善。人工智能大师YoshuaBeno认为，NLP虽然取得较大进步，但与人类的认知能力相差还甚远。让大规模语义网络来支持实现可解释的人工智能其能力尚嫌不足。

在跟贴84中，谈到如何完善大规模语义网络，如何提升其中的理解和解释两个核心能力（从现有一定的基础上提升）。

还有不少知识是大规模语义网络所不能概括的，如常识，常识是难以定义、表达、表征的，目前的大规模语义网络尚不包括常识。除常识外，还有背景知识、专业知识、专家经验、隐性知识等，也不能被大规模语义网络所概括。

跟贴457主要谈到华盛顿大学叶锦才研发团队关于常识推理攻关研究的进展。

IBM Watson在人工智能医疗诊断中，提出具人（embodiment）的概念，要求医学科学家与临床医生沟通，取得共识，以此来克服缺乏常识的困难。

530，通用语言模型/人工智能知识增强语义理解框架/预训练模型。

2019年NLP飞跃，研究人员在让机器理解自然语言方面取得飞跃，通过对巨大的、未标记的数据集进行预训练，使得通用语言新模型可以熟练掌握自然语言（通过在专门语料库上进行微调来掌握给定任务），使得语言模型变得精通语言。

谷歌于2018年发布BERT通用语言模型或预训练模型。

微软于2019.6发布MT一DNN预训练模型。

OpenAI于2019.2发布GPT一2通用语言模型。

百度于2019年发布ERNIE人工智能知识增强语义理解框架。

卡内基梅隆大学、脸书均发表了预训练模型。

这些BERT、GPT模型均采用Transfromer基础架构。在处理机器翻译、文本摘要、语音识别、问答系统等多种语言任务时，只需进行微调，即可达到SOTA（最优）性能。

发布通用语言模型或预训练模型用于对NLP或语义网络进行预测训练，用以对NLP或语义网络进行微调，以完善语义网络。

531，谷歌发布最新“天马”模型，自动生成文本摘要已超越人类。

在完善大规模语义网络的路上。

谷歌AI团队研发出了PEGASU（天马）模型，极大地优化了语义网络的训练效率，从“间隙句子”到文本摘要，小样本性能更佳。

研究人员设定下游任务为“提取文本摘要”，而预训练目标为“生成间隙句子”（Gap sentencesGeneration）。

研究人员在输入文档中删除一些完整句子，天马模型的任务就是恢复它们，整个过程像填空一样，这项看似人类都无法定成的任务真的实现了。

在文本上游的这些数据集十分丰富，包括文章、科学论文、专利、短篇小说、电子邮件、法律文件和使用说明书等，为了确保实验结果的准确性，除采用ROUGE标准衡量外，还采用人工评估方法（类似于图灵测试）。