分享至
李开复下场发布大模型，公司估值10亿美元
原文地址：http://news.sciencenet.cn/htmlnews/2023/11/511773.shtm
·Yi-34B在关键指标上胜过市场上已有的领先开源模型，包括备受推崇的Meta的Llama 2，其分别在Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单爬升到第一位，成为全球开源大模型“双料冠军”。
·零一万物已经储备了未来所需的芯片，于今年早些时向风险投资机构创新工场借款，进行了大规模的半导体储备。
创新工场董事长兼CEO李开复。
11月6日，由创新工场董事长兼CEO李开复创办的人工智能公司“零一万物”（01.AI）发布首款开源中英双语大模型“Yi”。与此同时，零一万物已完成新一轮融资，由阿里云领投。目前，零一万物估值超过10亿美元，在成立不到8个月的时间即跻身独角兽行列。
Yi-34B在关键指标上胜过市场上已有的领先开源模型，分别在Hugging Face英文开源社区平台（Hugging Face负责运行最佳性能大语言模型排行榜）和C-Eval中文评测的最新榜单爬升到第一位。
截至11月5日，Yi-34B在关键指标上胜过市场上已有的领先开源模型，包括备受推崇的Meta开发的大语言模型LLaMA 2。其分别在Hugging Face英文开源社区平台（Hugging Face负责运行最佳性能大语言模型排行榜）和C-Eval中文评测的最新榜单爬升到第一位，成为全球开源大模型“双料冠军”，这是迄今为止唯一成功登顶Hugging Face全球开源模型排行榜的国产模型。
“34B是开源大模型稀缺的‘黄金比例’尺寸”
中英双语开源大模型“Yi”系列，包括Yi-6B（参数规模为60亿基础模型）和Yi-34B（参数规模为340亿的基础模型）两个版本。
中英双语开源大模型“Yi”系列，包括Yi-6B（参数规模为60亿基础模型）和Yi-34B（参数规模为340亿的基础模型）两个版本。
李开复认为，340亿参数量属于开源大模型稀缺的“黄金比例”尺寸，达到“涌现”门槛、满足精度要求的同时，对厂商而言能够采用高效率单卡推理，训练成本友好。在参数量和性能方面，Yi-34B相当于只用了不及LLaMA 2-70B一半的参数量，取得了在各项测试任务中超越全球领跑者的成绩。
据介绍，Yi目前拥有全球大模型中最长的200K上下文窗口，可处理约40万字的文本。这意味着Yi-34B可以理解超过1000页的PDF文档，同时可以让很多依赖向量数据库构建外部知识库的场景，用上下文窗口来完成替代。
在大语言模型中，上下文窗口是大模型综合运算能力的重要指标之一，其对于理解和生成与特定上下文相关的文本至关重要，拥有更长窗口的语言模型意味着可以处理更丰富的知识库信息，从而在如法律、财务、传媒等场景中生成更连贯、准确的文本。OpenAI的GPT-4上下文窗口为32K，文字处理量约2.5万字。今年3月，硅谷知名AI创业公司Anthropic的大模型Claude2-100K将上下文窗口扩展到了100K规模。
“团队对标 OpenAI、谷歌等一线大厂，已储备未来所需芯片”
今年3月下旬，。7月，李开复上线了“AI 2.0”公司零一万物。
李开复表示，“零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’（世界第一）的初衷和决心。我们组成了一支有潜力对标OpenAI、Google等一线大厂的团队，经历了近半年的厚积薄发，以稳定的节奏和全球齐平的研究工程能力，交出了第一张极具全球竞争力的耀眼成绩单。Yi-34B可以说不负众望，一鸣惊人。”
据零一万物透露，该公司员工规模已超过100人，其中一半以上是来自大型跨国公司和中国科技公司的大语言模型专家。技术副总裁是谷歌聊天机器人Bard团队的早期成员，主导或参与了从Bert、LaMDA等大模型在多轮对话、个人助理等多个方向的研究和工程落地；首席架构师是TensorFlow的核心创始成员之一，并与谷歌大脑的著名研究人员杰夫·迪恩（Jeff Dean）和萨米·本吉奥（Samy Bengio）等合作。
Yi-34B背后的关键人物是黄文灏与戴宗宏，预训练负责人黄文灏来自智源人工智能研究院，曾担任健康计算研究中心技术负责人。加入智源前，他曾任微软亚洲研究院研究员，负责自然语言理解、实体抽取、对话理解以及人机协同等研究工作，加入零一万物后，黄文灏团队主要负责Yi的训练。零一万物AI Infra副总裁戴宗宏曾是阿里达摩院机器智能技术资深算法专家，以及华为云人工智能领域CTO。在阿里期间，他构建了阿里巴巴搜索引擎平台，后带领团队研发了图像搜索应用拍立淘。
对于对大语言模型至关重要的底层算力，李开复表示其在创业之初便有储备筹划。
去年，美国总统拜登禁止英伟达向中国客户出售最先进的人工智能半导体，上个月，美国进一步收紧了这些限制，禁止英伟达向中国销售专门为中国设计的略低级别的芯片。李开复近日在接受外媒采访时称这种情况“令人遗憾”，但表示零一万物已经储备了未来所需的芯片。该初创公司今年早些时候向风险投资机构创新工场借款，进行了大规模的半导体储备。李开复说：“我们基本上全部’押宝’，甚至超出了原有的账户余额，我们觉得我们必须这样做。”
零一万物已经在刚刚推出的开源模型之外规划了其商业战略。该初创公司将与客户合作开发专有的替代方案，以满足特定行业的需求。Yi-34B的名称来自于训练中使用的340亿参数，但该初创公司已经在开发一种1000亿参数以上的模型。李开复说，“我们的专有模型将与GPT-4（OpenAI研发的大语言模型）进行基准测试（也称之为性能测试，是一种用于衡量计算机系统、软件应用或硬件组件性能的测试方法）。”
据李开复透露，接下来，零一万物将基于Yi系列大模型打造To C的超级应用（Super App），“一个Super App的雏形会在不久的将来跟大家分享。AI 2.0 时代，最大的商机一定是超级应用，而这超级应用一定很可能是在一个消费者级别的超级应用，面向海内外的To C超级应用。”
-
焦点事件
-
焦点事件
-
焦点事件
