当前位置： 精卫 >> 精卫的繁衍 >> 百度的十年,汇成一言
百度创始人、董事长兼首席执行官李彦宏
面对入场费高昂的大模型赛道，做出入局的决定对任何一家企业来说并非易事。而从2月7日立下“军令状”，到文心一言亮相的短短一个多月背后，是百度在深度学习、自然语言处理（NLP）等领域十多年持之以恒的资金投入和技术积累。“让所有人能使用最先进的生产力工具。”这是百度通过文心一言传达出的愿景。
大模型，一个必须做的决定
7年前，战胜韩国围棋名将李世石的AlphaGO在AI领域掷出了一颗问道的石子。如今，ChatGPT的出现让更多的普通人真正感受到AI的潜力。很大程度上，AI能力的飞跃，仰赖于作为底层基座的通用大模型。不少人将通用大模型比作AI的K-12（基础教育）。一方面，通用大模型的直观特性在于“涉猎广泛”，“填鸭式”的数据投喂让其具有落地到不同领域的基础能力；另一方面，通用大模型集成了小模型所需的基础理解能力，通过较低成本的迁移学习，可以孕育出应用于特定领域的轻量化模型。在国内，百度从来不是等待AI风口来临的一方。譬如在年，百度就确定了在知识图谱技术上的研发投入——而当时，知识图谱在全行业，还是一个较为冷门的方向。年，百度又开始布局基于知识的语言解析，并于年发布了基于海量数据训练的神经网络深度语义匹配框架SimNet。在年的内部信中，李彦宏宣告了百度引领AI浪潮的决定：“AI技术已经发展到一个临界点，各行各业都不可避免地被改变。中国AI市场即将迎来爆发性的需求增长，其商业价值的释放将是前所未有的、指数级的。而百度作为中国人工智能市场长期增长的最佳代表，正站在浪潮之巅。”在宣布文心一言项目后，市面上并非没有质疑的声音。在前期投入巨大、商业回报不明朗的情况下，进军大模型对于中国企业，尤其是对于尝到过在流量红利中快速变现的互联网企业而言，是个艰难的决定。百度为什么敢立下“军立状”？除却不断攀登技术的高峰，这一决定还来源于百度朴素的技术愿景：“让所有人能使用最先进的生产力工具。”生产效率难以提高、劳动力成本居高不下、生产过程智能化程度低，不少行业，尤其是内容生产领域，在发展过程中已经面临生产力造成的瓶颈。与此同时，随着互联网流量红利的消退，用AI打造下一个消费者平台，已成了不少行业的硬需求。但由于高质量数据分散、算力资源稀缺、前期投入大等现实困境，研发应用于业务的AI工具对于大部分公司而言无异于精卫填海。文心一言的落地，能够为这些AI工程化的难题，提供更有效的解法。在百度立下发布文心一言“军令状”的短短一个月里，来自广告、媒体、金融等行业的超过家合作伙伴宣布加入文心一言生态。这也侧面佐证，在庞大的市场需求下，发展大模型是一条必经之路。在今年Create大会中，李彦宏表示，“离市场很远的技术，很多时候是自嗨”——文心一言恰恰是百度服务亿万用户、赋能千行百业的全新的平台，是创新驱动发展、需求驱动发展的最佳证明。
百度的十年，打一场有准备的仗
从宣告到落地，文心一言走进公众视野的短短一个月，折射出的是百度在AI赛道蛰伏沉淀的十多年。大模型高昂的投入，以及漫长的回报周期，让下决定入局的厂商凤毛麟角。由于中文粘连度高等难以被AI处理的特征，在语言大模型中，百度甚至要做得比全球巨头更多。百度搜索产品总监张燕蓟曾表示，中文语义的理解难度远大于非中文，因此百度必须研发一个更难、更复杂的大模型。为了攻克中文NLP的难题，十多年来，百度一直坚持压强式、马拉松式的研发投入。以年为例，百度核心研发费用高达.16亿元，占百度核心收入的22.4%。近十年来，百度在AI上的研发投入，累计超过了亿元。这也让百度在年，在大模型领域首次亮出了自己的利刃——通用大模型“文心大模型ERNIE”亮相，能根据文字描述高效生成文案、画作、图标、视频等多模态的内容。作为孕育文心一言的“K-12院校”，ERNIE系列模型已经经过了多次的迭代，目前已经具备了较强泛化能力和性能。例如，百度最新发布的ERNIE3.0Zeus，已经拥有千亿级参数，并具备智能创作等各类自然语言理解和生成任务。根据IDC最新发布的《中国大模型发展白皮书》，百度的文心大模型在产品能力、生态能力方面已处于国内第一梯队的水平。但持续的投入与盲目的下注并不等同。如何让AI像人一样理解和运用自然语言，是人工智能的核心问题之一。事实上，百度在NLP领域，已经形成了一套有的放矢的打法。一方面，技术永远是AI从研发走向落地的底气。为了招徕全球化的技术人才，百度在国内外都进行了实验室的部署。在美国，百度将硅谷办公室改头换面，于年成立了百度美国研究院。同年，国内落成了深度学习研究院，李彦宏亲自挂帅，担任院长。如今的百度，是中国NLP人才密度最高的企业之一。坐落在中美的两个研究院吸引了斯坦福大学计算机科学系教授吴恩达，慕尼黑大学博士、NEC美国研究院前媒体研究室主任余凯等人。在“文心一言”项目中挂帅的王海峰，对NLP的潜力有着敏锐的嗅觉。年，成立“自然语言处理部”是他进入百度后留下的第一个足印。经历互联网快速发展的周期，大多企业的研发都以业务目标和商业利益为导向。但“自然语言处理部”的诞生，首次让百度的NLP研发回归纯粹的技术沉淀。多年磨砺，百度的成就有目共睹，书写了中国在NLP领域的许多“第一次”。年，王海峰成为自然语言处理顶会ACL50年来主席位上的首位华人。7年后，百度领衔组织了ACL大会上首场同声传译研讨会，同时，百度11篇涵盖语义表示、情感分析、自动摘要、对话系统、机器翻译、知识推理、AI辅助临床诊断等诸多热点与前沿研究方向的论文，被ACL收录。以内部人才为后盾，百度还向外衍生出一张中国算法人才的网。百度于年推出的深度学习框架飞桨，开发者人数在年位居中国第一、全球第三。如今，万开发者聚集于此，服务了20万家企事业单位，创建了67万个模型。另一方面，百度的业务和产品矩阵，为NLP技术的研究和落地，以及文心大模型的不断迭代，提供了天然的试验田——自年3月文心大模型发布以来，百度就有意识地将其与具体业务场景结合，在实现业务优化的同时，也打磨了文心大模型的能力。进入人工智能时代，变革首先发生在IT技术的技术栈。在过去，技术栈通常分为三层：芯片层，操作系统层和应用层。AI的发展，让算力等资源以更加智能的方式，连接到具体应用。如今，算法模型成了技术栈的中流砥柱，将原有的三层升级为了智能化的四层：芯片层、框架层、模型层和应用层。经过十多年的NLP技术积累和应用场景实践，百度是全球为数不多全栈布局且每层都有领先产品的公司。在Create大会开始演讲中，李彦宏略显骄傲地提及了百度的“全满贯”：芯片层有昆仑AI芯片，框架层有飞桨深度学习框架，模型层有文心大模型，放眼至应用层，还有搜索、自动驾驶、智能家居等产品，为NLP的大展身手提供了广阔的空间。底气，源于实力。在NLP领域积累的这十多年，也是百度在大模型的风口中，能快速做出响应的原因。
文心一言，利刃出鞘
“洛阳城里春光好，阳艳无双不负赏。纸贵漫天诗词赋，贵比黄金乐未央。”这是文心一言在发布会上，用成语“洛阳纸贵”写的一首藏头诗，不仅用韵规整，还在字里行间对成语的意涵做了解释。这也意味着，作为扎根于中国市场的大语言模型，文心一言具备中文领域最先进的自然语言处理能力，表现为对中文语言和中国文化的理解。要成为顶尖的中文大语言模型，一方面，文心一言拥有优秀的基座：文心大模型ERNIE及PLATO系列模型。据王海峰介绍，文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，ERNIE和PLATO中也已经有应用和积累；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。另一方面，文心一言走过了一条“填鸭式”的中文学习之路。据李彦宏介绍，文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据，以及亿事实的知识图谱等，这让百度在中文语言的处理上，拥有了顶尖水平——训练结果也是显而易见的，在文学创作、商业文案创作、数理推算、中文理解领域，文心一言已经实现了“智能涌现”。在发布会现场，文心一言还为世界智能交通大会生成了一张的海报、一段四川话的介绍语音，以及一段剪辑精细并配有字幕的1分钟视频。这也意味着，比ChatGPT更快一步，文心一言成了市面上独一无二的中文多模态生成器。但发布文心一言，只是AI落地“长征”的第一步。未来，文心一言引领产业变革的同时，将在更广阔的应用场景中，实现优化和迭代。李彦宏预测，大语言模型将带来新型云计算公司、行业模型精调公司、应用服务提供商这三大行业机会。百度也将亟需站在浪潮之巅——在云计算领域，文心一言将通过百度智能云对外提供服务，帮助企业构建自己的模型和应用；在中间层，文心大模型已经在电力、金融、媒体等领域，发布了10多个行业大模型；在应用层，文心一言等模型将作为引擎，为应用服务的创业者提供生产力和服务优化工具。“士别三日，当刮目相看”，有理由相信，摩尔定律同样适用AI领域。发布会后一小时内，排队申请文心一言企业版API调用服务测试的企业用户已达3万多家，申请产品测试网页多次被挤爆，百度智能云