分享至
百度CTO王海峰揭秘：文心一言是如何炼成的？
“‘奇变偶不变’下一句是什么？”“这句话的下一句是‘符号看象限’。”
“‘波棱盖咔秃噜皮了’是什么意思？”“波棱盖咔秃噜皮了是一句东北方言，意思是膝盖在马路牙子上磕破皮了。”
“宫廷玉液酒多少钱一杯？”“宫廷玉液酒是小品中‘太后大酒楼’的招牌酒水，售价180元，由二锅头与水和兑而成。”
……
自3月16日百度新一代知识增强大语言模型文心一言开启邀请测试后，连日来人们逐渐为其超出预期的表现刮目相看。尤其在类似上述“只有中国人看得懂”的问答中，文心一言的表现甚至超过了 ChatGPT 和 GPT-4。
文心一言是如何炼成的？在它背后有哪些技术加持？近日，百度首席执行官王海峰对文心一言所应用的技术及其特性、所背靠的技术积累一一作了解读。
核心技术加持，文心一言将越来越强大
新一代知识增强大语言模型文心一言，是在百度ERNIE及PLATO系列模型的基础上研发的、继文心一格之后的又一个生成式AI产品，具有对话交互、内容创作、知识推理、多模态生成等能力。王海峰介绍说，支撑文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。
“前三项是这类大语言模型都会采用的技术，已在ERNIE和PLATO中应用和积累，并在文心一言中有进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。”王海峰说道。
王海峰介绍说，文心一言的知识增强主要有“知识内化”和“知识外用”两种方式。其中，知识内化是从大规模知识和无标注数据中基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；额知识外用则是引入外部多源异构知识，做知识推理、提示构建等。
文心一言的检索增强则来自以语义理解与语义匹配为核心技术的新一代搜索架构。王海峰说，通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，这也是文心一言能够在一些问答中有强于ChatGPT的表现的重要原因之一。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，从而更好地实现对话连贯性、合理性和逻辑性。
此外，百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景。比如“宫廷玉液酒多少钱一杯”等中文语境下特有的“知识问答”，必须要用中文语料“开小灶”。
文心一言还将变得越来越好。王海峰说，文心一言开放测试后，将迅速建立起人类反馈、奖励模型和策略优化之间的“飞轮”机制。随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。
集齐四层架构“召唤”文心一言
百度早在2019年就发布了文心系列大模型，如今已从最初的NLP 大模型发展成了跨语言、跨模态、跨任务、跨行业的大模型平台。王海峰认为，文心一言是百度多年技术积累和产业实践的水到渠成，它身上有百度在各类AI技术领域投入的影子。
传统的IT技术栈一般分为三层：芯片层，操作系统层和应用层；而随着人类进入人工智能时代，IT技术栈发生了新的变化，从三层变为四层：芯片层、框架层、模型层、应用层。其中，文心一言位于模型层。
王海峰介绍说，百度是全球范围内少有的在IT四层技术栈架构中，每一层都有领先产品的公司。从高端芯片“昆仑”到“飞桨”深度学习框架，再到“文心”预训练大模型，到搜索、智能云、自动驾驶、小度等各类应用，百度在各个层面都有领先业界的自研技术。
在芯片层，百度自研AI芯片“昆仑”已在多场景实际部署数万片，展现出出色的性能，并未文心一言提供底层算力保证。
在框架层，百度自主研发了中国首个开源开放的产业级深度学习平台——飞桨，它包括核心框架、产业级模型库、开发套件、工具组件以及学习和实训社区，能够标准化、自动化地支撑模型生产和应用。
在模型层，百度文心大模型不仅拥有自然语言处理（NLP）、计算机视觉（CV）、跨模态等基础大模型，对话、跨语言、搜索、信息抽取等任务大模型，还开放有生物计算领域大模型、各类行业大模型以及支撑大模型应用的工具平台，形成了“基础-任务-行业”三级大模型技术体系，具备知识增强和产业级两大特色。
在应用层，以百度搜索为例，每天响应几十亿次真实的用户使用需求，每天进行1万亿次深度语义推理与匹配，能够提供最真实、最及时的反馈，从而倒逼大模型、深度学习框架和芯片的优化。
“全栈布局的优势在于，百度在技术栈四层架构中可以经由‘层与层的反馈’实现‘端到端优化’，进而大幅提升效率。”王海峰举例说，比如框架层和模型层之间有很强的协同作用，可以帮助构建更高效的模型，并显著降低成本。正是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。
值得一提的是，超大规模模型的训练和推理给深度学习框架带来很大考验，为了支持千亿参数模型的高效分布式训练，百度飞桨在2021年4月专门研发了4D混合并行技术，支持大模型高效推理，并提供服务化部署能力。王海峰强调，正是有赖于飞桨深度学习平台的支撑，今天的文心一言效果更好、效率更高、性能更强。
通用人工智能？AI模拟人的智能并服务人类
在文心一言新闻发布会上，百度创始人、董事长兼CEO李彦宏谈到，不断涌现的新技术正给社会带来各种各样新的可能性。
文心一言们的下一站会是通用人工智能吗？王海峰分享了他的思考。
王海峰说，回顾前几次工业革命，可以发现那些通用性强的技术，会在工业大生产阶段真正发挥其广泛价值。人工智能也一样，目前它技术在不断进步、应用越来越广泛，接下来如何在工业大生产阶段发挥价值，“这是我们追求的目标”。
“但是，就如人造卫星永远不会和月球这样的卫星划等号一样，我个人认为，人工智能永远不会直接完全跟人类的智能划等号。”王海峰告诉《中国科学报》，不断进步的人工智能体会模仿人的许多能力如学习、理解和思维，但人工智能始终不会是人类智能。
