独家！专访小米AI团队：NLP火爆之下的冷静思考

《自然语言处理实战》翻译团队

最近异步君有幸邀请到《自然语言处理实战》的译者——小米AI实验室主任王斌老师和小米NLP团队成员，来分享他们对这一领域的思考与见解。

01

“团队带来的最大财富莫过于

团队各个成员都身怀绝技，

不管遇到什么问题，

都可以从团队获得支持”

小米NLP团队

王斌，小米AI实验室主任，NLP首席科学家，本科、硕士毕业于武汉大学，博士毕业于中科院计算所。加入小米之前在中科院从事NLP及信息检索的研发工作，曾为中科院研究员、博导。目前主要负责小米AI实验室的技术研发和落地工作。

史亮，小米AI实验室NLP团队高级软件工程师，本科毕业于武汉大学，免试到中科院计算所硕博连读，获得博士学位。目前主要负责小米NLP平台的研发工作。

鲁骁，小米AI实验室NLP团队高级软件工程师，本科、硕士毕业于华中科技大学，博士毕业于中科院计算所。目前主要从事大规模文本分类、内容过滤相关的研发工作。

唐可欣，小米AI实验室NLP团队软件工程师，本科毕业于西安电子科技大学，硕士毕业于法国巴黎高科电信学院。目前主要从事意图理解、情感分析方面的研发工作。

Q：“NLP首席科学家为何选择小米的故事”我想大家一定很感兴趣，王老师可以说说当初是什么吸引到了您做出这么重要的选择吗？

王斌：首先，我非常认可小米的价值观。我以前做学问、做项目、带学生、翻译书、上课总想尽自己能力做到最好，可以说基本没想过功利性的回报。这一点上我觉得和小米骨子里的价值观是非常吻合的。

其次，个人认为小米公司的发展空间很大。加入小米之前，我就用过小米的很多产品。周围也有很多亲戚同事朋友是米粉。我好多年前用过一个小米3手机，到今天都还能用。一方面，从我自己和周边的反馈看，小米产品深入人心；另一方面，入职之前我也认真学习过小米的商业模式，个人觉得非常有前景。

第三，虽然排在第三，但也许是最重要的。小米有雷总，我们非常自豪的武大校友。作为校友，我一直在关注雷总。我们上学时就用过他开发的“黄玫瑰”杀毒软件，硕士毕业论文就是用WPS输入完成的。包括后面雷总在金山、小米的事迹，我都非常清楚。雷总是我们做技术的人的楷模，满满正能量，非常靠谱。小米还有我的师兄崔宝秋，他技术水平很高，但是非常谦逊低调。他和我聊了很多，让我对公司技术方面有了更深入更全面的了解。我觉得有这些靠谱的学长们在，公司技术氛围一定不错，技术能力一定靠谱。公司广泛的业务场景，也让我感觉有很大的用武之地。

第四，人工智能发展到今天，和数据、场景都密不可分。公司正好有这两方面的优势，我个人的兴趣也是技术落地，所以走出这一步也顺理成章。

Q: 其他老师当初为什么选择小米AI实验室NLP团队？团队带给大家最大的财富是什么？可以取2-3件事与我们分享吗？

史亮：个人觉得选择职业最重要的是三观相符，首先要认可公司的行事风格，其次要喜欢公司的产品，再次从事的工作契合个人的兴趣，这三点，小米是比较符合个人预期的。团队带来的最大财富莫过于团队各个成员都身怀绝技，都是特定领域的专家，不管遇到什么问题，都可以从团队获得支持，作为工程师，填“坑”就是进步的阶梯。

鲁骁：小米是一个可以踏实做事的地方，在这里可以感受到大家对技术的真诚热爱，坚持做可以实际落地的技术创新，让用户能享受到科技带来的美好生活。团队给我带来最大的财富，就是有机会结识了一群非常优秀的老师同学，彼此信赖，共同成长，为了共同的目标一起努力前行。

唐可欣：我加入小米的主要原因有两个，一是小米有着行业领先的NLP技术，不管是将分词、词性标注等基础研究应用于实际生产，还是在人机对话领域有着“小爱同学”这样的行业爆款，都证明了NLP技术在小米大有可为。二是缘于雷总的那句“与用户交朋友”，我人生的第一部智能手机是小米1青春版，当时也要守在官网预约抢货，至今我还记得刚拿到手机时的感动与惊艳，后来陆陆续续这么多年，我也看着小米一步步成长、成为世界500强，加入小米是令我非常荣幸的事。团队给我最大的财富就是让我认识了一群专业优秀、生活风趣可爱的良师益友，让我在舒适的环境下工作生活。

Q: 作为国内顶尖的 AI 实验室，小米人工智能部AI实验室在自然语言处理方面近期有哪些新研究？

王斌：小米AI实验室主要从事计算机视觉、语音、声学、NLP、知识图谱和机器学习等AI技术的研发及业务落地，整个实验室大概每年有100多项技术成果落地到公司的各项业务和产品中，核心的AI技术已经基本实现了全面自研。很多技术也通过开源的方式进行开放共享。

在NLP方面，我们主要从事MiNLP平台构建、机器翻译、人机对话、智能问答、自动写作、多模态理解、内容过滤、情感分析等相关的研发工作。MiNLP平台是我入职2年来带领团队精心打造的一个产品，效果还是非常不错的。目前MiNLP已经推出3.0版本，也已经应用到公司30多个业务中，日调用量达到80亿次，获得了业务方的不少赞誉。

MiNLP在11月中旬已经开源了中文分词模块，后续将按模块陆续开源。由于公司的国际化进程不断加快，机器翻译是我们一个重要的研究方向，目前我们能够处理包括中英日韩德等语言在内近30个语言对之间的在线和离线翻译，特别是离线翻译，我们积累了非常丰富的实战经验。目前翻译技术广泛用在公司的各项业务和产品中。人机对话、智能问答内置于小爱同学产品中，每天有大量的用户访问。文本创作、多模态内容理解、内容过滤、情感分析等技术我们也在投入研发，也应用到大量的实际场景中。此外，团队还在NLP模型蒸馏等方面做了大量的工作，支撑了各项NLP业务的实际在线性能。

02

“NLP的应用面非常广，

内容、用户、商品、甚至图片视频的标签

都是基于NLP技术来实现的

只要有文本内容的地方就有NLP的需求”

Q: 可以聊聊咱们NLP团队遇到的最大的难题或者困境，以及团队是如何解决或者尝试解决的吗？

王斌：每天都在面临各种挑战……其实所有的困难都可以总结为两点：效果是否达到预期、性能是否达到要求。在设计NLP模型的时候，我们往往需要平衡效果和性能。一般而言，好的效果往往意味着模型的复杂度较高，导致处理性能会差一些，很多时候我们不得不简化模型设计，提升处理性能。在处理具体任务的时候，我们需要综合分析任务的难度、请求并发量、请求延时、系统算力等指标，努力找到这样一个平衡点，在给定的性能约束下，尽可能提升模型效果。针对单模型，我们可以使用剪枝、蒸馏、量化等技术，同时我们还可以使用集成学习技术，进一步提升模型效果。

Q：很多观点说，NLP在深度学习浪潮下没有商业化进展，你们赞成吗？你们认为NLP的知识困境在于什么？

王斌：现在有很多观点动辄就说NLP在近些年趋势不好之类的话，我个人非常不赞成这类观点。对于某些领域来说，深度学习确实大大提高了其技术水平，打个比方说，原来这些领域的技术水平离及格还很远，就10来分的水平，现在可能猛增到40到50来分，提高幅度很大，在某些方面已经表现出落地的可能。而对于NLP领域来说，可能以前的技术水平就有70来分，落地已经非常广泛了。

深度学习来了之后，NLP技术水平可能有些提高，但是幅度相对前面那些领域没有那么大。当然，我这种比喻可能不是特别贴切，但是大概想表达的意思就是，NLP的应用面非常广，而且很早并且一直在各领域发挥着十分积极的作用，只要有文本内容的地方就有NLP的需求。以互联网公司为例，和NLP相关的技术岗位包括内容搜索、商品推荐、广告推荐、机器翻译、人机对话、智能问答、内容审核、评论抽取等等场景相关的岗位，另外，近年来特别火爆的智能语音助手，比如我们公司的小爱同学、苹果的Siri等等。除了语音交互之外，智能语音助手的内部基本全都是NLP的处理流程，包括如何判断语音识别结果是不是有错、用户的话是不是有意义、用户的意图到底是听音乐聊天开设备还是问问题、用户情绪是高兴还是不开心、用户如果是听音乐歌手和歌名是什么、用户的问题虽然百变能不能归一为等价问题、如何给用户合适的回复让其满意等等等等。

以小爱同学为例，这里面的NLP模块有几十个。还有，近年来，随着文本生成技术的不断发展，和生成相关的岗位也出现了不少，比如各个领域的自动写作也都需要NLP方面的人才。再比如，还有很多打标签的场景，比如内容、用户、商品、甚至图片视频的标签主要都是基于NLP技术来实现的。所以说，NLP的应用场景是非常非常多的。这里只以互联网公司为例，实际很多公司都有大量NLP技术应用场景。

应该来说，做NLP的不愁没地方用。当然，由于NLP技术对人的视听感官刺激没有那么大，很多用户可能无法直接感受到NLP技术。这也是可能有些人持有问题中的观点的原因。从目前互联网公司招聘的岗位看，NLP岗位数目仍然名列前茅。这也折射出NLP的应用价值。

Q: 我看这本书有深度学习内容，是否可以举例说说目前在NLP中应用深度学习的最佳实践有哪些？

王斌：预训练模型的出现，全方位提升了自然语言处理水平，在算力和性能满足要求的前提下，我们建议基于预训练模型+微调的方法，设计面向特定任务的NLP模型，这样可以获得一个相对较好的baseline。不过好的模型只是必要条件，往往离正式上线使用，还有一段距离，这样的差距往往体现在性能和效果两个方面。

前面提到，性能方面，我们可以采取模型蒸馏、剪枝、量化等方法进行优化；效果方面，要想进一步获得提升，需要我们理解业务逻辑，深入分析业务数据，针对badcase进行改进，根据业务特点“对症下药”。并不存在万金油的NLP模型，针对特定任务的进行分析和模型设计，也是每一个NLP工程师的必备技能之一。

03

“翻译的初衷就是

希望这本好书能给更多的人分享”

Q: 什么时候开始翻译《自然语言处理实战》一书的?翻译的初衷（动机）是什么？

王斌：应该是2019年6月份左右开始翻译的，翻译的初衷就是希望这本好书能给更多的人分享。

Q: 《自然语言处理实战》有哪些特色？它带给您最大的收获是什么？

王斌：这本书有几个特点。

一是理论内容相对比较简洁、通俗易懂，这是Manning出版社《实战》类书籍的一个基本特色，也是这类书籍和理论教材类书籍的一个主要区别之处。

第二个特点是理论和实战的搭配相得益彰，理论一开始不必一定理解得特别透，通过程序说话，反过来再加深对理论的理解。

第三个特点是本书介绍的深度学习模型虽然不算特别多，但是基本覆盖最基础的深度学习模型，能够为后续学习奠定非常坚实的基础。

第四个特点是，本书给出的案例均来自实际应用场景，读者通过实践能够深刻了解当前的NLP应用情况。

本书的代码主要基于Python来完成，这对一般读者来说也非常方便。第五个特点是本书给出了大量资源链接，便于读者统一查找和学习使用。

对于我最大的收获是系统地重新学习回顾了深度学习+NLP的知识，学习中加深了对这些知识的理解，也对这些实际的案例有了更深层的认识。

Q: 您最希望将《自然语言处理实战》推荐给谁看？为什么？

王斌：一种是NLP的初学者，特别适合他们入门。因为这本书既介绍了一些传统知识，也介绍了最新的深度学习知识。

另一种是NLP从业者，但是对深度学习不太熟，可以作为他们进入深度学习的指导书。这本书通过简单的理论指导加代码实践，对这些人帮助很大。

04

“不断地深入公司重要业务场景

用NLP技术为公司创造价值”

Q: 小米AI实验室NLP团队未来有哪些工作计划？想要达成什么目标？

王斌：除了上面提到的NLP平台和技术之外，我们还会不断地深入公司重要业务场景，比如如何用NLP技术进一步提高产品的质量、服务和销量，我们希望用NLP技术为公司带来更加巨大的价值。

Q: 根据你们的理解，学习自然语言处理的核心能力应该包括哪些方面？

王斌：一个相对完整的核心能力至少应该包括数据资源、基础算法、应用技术三个方面。

数据资源对算法效果起到确定性的作用。基础算法部分又可以分为数据预处理、分词、词性标注、命名实体识别、结构句法分析、依存句法分析等模块，主要从词法、句法层面对自然语言进行处理。应用技术在词法、句法分析结果的基础上，进一步从语义层面对自然语言进行理解，具体又可以分为主题分类、文本匹配、关系抽取、文本摘要、情感分析、多模态理解等。

专访作者好书推荐

▼▼▼

自然语言处理实战

利用Python理解、分析和生成文本

[美]霍布森•莱恩（Hobson Lane） ,科尔•霍华德（Cole Howard） ,汉纳斯•马克斯•哈普克（Hannes Max Hapke） 著；

史亮 ,鲁骁 ,唐可欣 ,王斌 译

广告

自然语言处理实战 利用Python理解、分析和生成文本(异步图书出品)

作者：[美]霍布森·莱恩，科尔·霍华德，汉纳斯·马克斯·哈普克京东

内容简介：

本书是介绍自然语言处理（NLP）和深度学习的实战书。NLP已成为深度学习的核心应用领域，而深度学习是NLP研究和应用中的必要工具。

本书面向中高级Python开发人员，兼具基础理论与编程实战，是现代NLP领域从业者的实用参考书。返回搜狐，查看更多