分享至
百度CTO王海峰：文心大模型的底色和成色
原文地址：http://news.sciencenet.cn/htmlnews/2023/10/510573.shtm
10月17日，“百度世界2023”在北京举行。
百度公司董事长兼首席执行官（CEO）李彦宏用一个多小时发布了“基础模型全面升级”的文心大模型4.0，展示其在理解、生成、逻辑和记忆等能力上的显著提升，并介绍了新搜索、新地图等10余款被大模型重构的业务应用。他对此次升级大加称赞，称其综合能力“与GPT-4相比毫不逊色”，并断言“大模型将开启一个繁荣的人工智能（AI）原生应用生态”。
文心大模型从3.5升级到4.0，仅用4个多月。这期间，文心大模型是怎样变强的？
在紧凑的发布环节，百度首席技术官（CTO）王海峰仅用20分钟就解读了文心大模型4.0背后的“助推剂”。一开场，他就用一句话解答了大家的疑惑：“团队基于更大的算力、更多的数据和更强的算法，训练出来规模更大、效果更好的文心大模型4.0。”
王海峰在百度世界2023解读文心大模型4.0背后的技术创新。百度供图
升级：算力更大、数据更多、算法更强
王海峰坦言，文心大模型4.0的基本技术架构与文心大模型3.0和3.5版本一脉相承，升级是基于在多个关键技术方向上进一步的创新突破。
首先是训练环境更优了。文心大模型的基础模型训练离不开飞桨深度学习平台。王海峰透露，百度技术团队将飞桨平台运行在万卡算力上，并通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持文心大模型的稳定高效训练。
其次是数据质量更好了。没有好的数据做“养料”，大模型难为无米之炊。王海峰说，技术团队建设了多维数据体系，形成了从数据挖掘、分析、合成到标注和评估的闭环，以充分释放数据价值，大幅提升模型效果。
然后是训练算法更强了。百度技术团队通过打磨训练算法，“保证模型更好地与人类的判断和选择对齐”。在既往技术创新的基础上，技术团队基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更符合人类价值观。同时，技术团队还使用可再生训练技术，通过增量式的参数调优，进一步节省训练资源和时间，加快模型迭代速度。
价值对齐，多多益善。为提升大模型的准确性，文心大模型4.0在输入、输出两个阶段都运用了知识点增强，具体做法为在输入端对用户输入的问题进行理解，并拆解所需的知识点，然后在搜索引擎、知识图谱、数据库中获取准确知识，最后把得到的知识组装进prompt送入大模型；输出端会对大模型的输出进行“反思”，从生成结果中拆解出知识点，然后利用搜索引擎、知识图谱、数据库及大模型本身进行确认，修正偏差。
王海峰介绍，借鉴《思考，快与慢》一书阐述的智能系统，百度研制了智能体机制。在基础大模型的基础上，百度又进一步研制了反应慢但更理性、更准确的“系统2”，让大模型像人一样理解、规划、反思，一定程度上将思考过程白盒化，在完成复杂任务的同时，还可以在环境中持续学习、自主进化。
成色几何？用户“用脚”投票
8月31日，知识增强大语言模型“文心一言”面向全社会开放。仅40多天时间，文心一言的用户规模就已达到4500万，开发者5.4万，场景4300个，实现应用825个、“插件”超过500个。
插件是一种特殊的AI原生应用，其门槛最低，也最容易上手，能让开发者、创业者快速加入到生态中。个人及企业的数据、能力或应用，都能快速变成AI插件，增强大模型的能力，让大模型更实用易用。比如，大模型接入权威法律数据的“智能法律助手”能为用户提供法律咨询的相关建议，简历助手插件则能帮用户一键生成简历模板。
一个月前，百度上线了“灵境”插件平台，目前已有2.7万开发者申请入驻，覆盖法律、职场、学习等多个领域。
“可以看到，用户使用文心一言的场景非常广泛，从欢迎词、演讲稿到企划书、说明书，再到流程图、思维导图等，涵盖了工作和生活的方方面面。”王海峰说。
使用文心一言的不仅有企业、个人用户，还有国家队。
在百度世界2023现场，中国游泳协会授予百度“中国国家跳水队人工智能合作伙伴”称号，感谢百度基于文心一言对跳水队员在训练中的“技术指导”。中国国家跳水队教练、奥运“五金王”陈若琳，奥运冠军全红婵、陈芋汐、王宗源来到大会现场，分享了文心一言等百度大模型技术在智能训练上的作用。例如，升级后的中国国家跳水队AI辅助训练系统可以实时打分、拆解动作、分析过往成绩数据等，以开发个性化、专业化的训练方案。
王海峰解读，今年，百度基于文心一言等AI技术对中国国家跳水队AI辅助训练系统进行了全面升级，通过从海量数据和知识中学习，掌握了丰富的跳水知识，不仅能理解和执行教练与运动员的复杂指令，及时提供准确信息，还可以对动作实时打分、精准量化分析，提供有价值的指导信息，帮助运动员精雕每招每式。
中国国家跳水队与百度的渊源由来已久。陈若琳在现场表示，双方从2019年就开展深入的技术合作，携手走过了东京奥运会、福冈世锦赛、杭州亚运会等多个大赛赛程，目前正在备战明年的巴黎奥运会。
在列举文心大模型的应用场景时，不能忽略一个特殊的应用场景——华人寻根。
许多华人在寻根之旅中受限于只言片语的家族记载和晦涩难懂的地方志，寻根梦难圆。通过与国家图书馆合作，百度文心大模型大量学习古代方志和家谱数据，并进行文字识别和理解，同时综合应用地点、职业、饮食、重要事迹等信息的知识图谱，在文心一言上线了“古文今问”服务。用户只需输入寻根信息，就能得到相应的线索反馈。在国家图书馆地方志和文心大模型的帮助下，许多人可以找到自己的“根”。
据了解，文心一言“古文今问”服务首批已上线福建福州、厦门、泉州、漳州等区域的数据，未来仍将持续更新。王海峰表示，文心一言助力国家图书馆馆藏文化资源活化，有望让更多人受益于知识和科技的力量。
“星河计划”：再培养500万大模型人才
AI技术加速进步，在千行百业的应用越来越深入。在这个过程中，AI人才不可或缺。王海峰说，2020年，百度提出“5年为全社会培养500万人工智能人才”的目标，截至目前，培养的人才数量已完成目标的84%。
他说，当下大模型成为AI发展的热点方向，会进一步加速产业变革，AI人才培养也需与时俱进。现场，王海峰发布了百度人才培养新举措——“星河计划”。
-
焦点事件
-
焦点事件
-
焦点事件
-
焦点事件
