您的位置:首页 >房产频道 > 科技 >

google预训练模型怎么样(微软让谷歌的BERT NLP模型变得更好)

导读 微软人工智能研究人员今天表示,他们已经创建了一个多任务深度神经网络(MT-DNN),它结合了谷歌的BERT AI来实现最先进的结果。MT-DNN可以

微软人工智能研究人员今天表示,他们已经创建了一个多任务深度神经网络(MT-DNN),它结合了谷歌的BERT AI来实现最先进的结果。MT-DNN可以通过通用语言理解评估(GLUE)的基准,在9个NLP任务中的7个任务中设定新的高性能标准。

使用BERT的MT-DNN模型是由微软人工智能研究人员在一月份首次引入的。它在几个自然语言任务中取得了最先进的性能,并建立了一个新的GLUE基准。

实现最高水平结果的方法使用多任务学习和知识蒸馏,这是由谷歌的Jeffrey Hinton和人工智能总监Jeff Dean在2015年首次提出的。根据今天的博文,微软计划在6月开放源代码,在GitHub上学习文本表示的MT-DNN模型。

与BERT模型和MT-DNN模型相比,新的蒸馏MT-DNN模型在GLUE测试中表现更好。

“对于每个任务,我们训练一组不同的MT-DNN(教师),他们的表现优于任何单一的模型,然后通过多任务学习训练个体MT-DNN(学生),提取这些整合教师的知识。”“自然语言理解的知识蒸馏改进多任务深层神经网络”综述

转换器的双向编码器表示(BERT)是由谷歌在去年秋天开放的。谷歌声称,可以在30分钟内使用BERT和单个云TPU创建最先进的语言模型。

在这个消息的前一天,微软在其Bing搜索引擎背后的开源算法和谷歌的Translatotron终于到达了翻译工具的终端,原来说话人的声音和语调都可以使用。

本月早些时候,微软的年度构建开发者大会和谷歌的I/O开发者大会分享了一系列关于未来计划的新功能和提示。

在Build中,微软演示了企业如何使用语义机器技术为员工创建AI助手。Bot框架升级了更多的多轮对话,Azure认知服务和Azure机器学习服务也进行了升级。新的人工智能和机器人平台仅限于预览和发布,并得出结论,英伟达和英特尔的硬件优化将更快地用于可互操作的AI ONNX合作。

在I/O方面,谷歌演示了谷歌助手在设备上运行机器学习的功能,并向安卓应用开发者介绍了与谷歌助手相连的工具。它还宣布升级ML Kit及其云TPU服务。

免责声明:本文由用户上传,如有侵权请联系删除!