Kimi掀起国产大模型长文本竞赛
作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得拥挤,24小时内,阿里、360、百度紧急“出手”,纷纷入局长文本赛道。
大厂的加入,让月之暗面充满理想化色彩的“登月计划”有了更接地气、更市场化的一面——从千亿参数到千万长文本,大模型好像又“卷”出了新高度。而一同被“卷”起来的,还有大模型的商业化进程。
内卷长文本
Kimi像条“鲇鱼”,用200万字无损上下文激活了整个国产大模型市场。3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360 AI浏览器,同时360 AI浏览器App也即将上线。
3月22日晚上,阿里通义千问宣布,向所有人免费开放1000万字的长文档处理功能,成为全球文档处理容量第一的AI应用。与此同时,也有媒体从知情人士处获悉,百度文心一言下个月将进行版本升级,届时也将开放长文本能力,文字范围会在200万—500万。
Kimi是月之暗面推出的一款智能助手。3月18日,月之暗面宣布Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。去年10月刚发布时,Kimi可支持的无损上下文输入长度为20万字。3月21日,因过于火爆,Kimi一度“宕机”。
天使投资人、资深人工智能专家郭涛对北京商报记者分析称,200万字的长文本处理能力是一个巨大的技术突破,这意味着AI模型可以理解和生成更复杂、更丰富的内容,这对于许多应用场景,如自动写作、内容生成、信息检索等,都具有重要的价值。
这可能也是Kimi引爆市场的关键。
3月22日,“Kimi概念”进入持续火爆的第四天,不过资本市场上已出现分化迹象,当天收盘,掌阅科技、中广天择收获三连板,因赛集团股价则跌超4%,电广传媒跌超3%。
财经评论员张雪峰对北京商报记者提到,这一突破意味着在自然语言处理领域,特别是文本生成和理解方面,Kimi取得了重大进展,其主要技术突破包括长文本处理能力、上下文理解和训练技术三个方面。
以长文本处理能力为例,Kimi能够处理长达200万字的文本,而且在处理过程中不会出现信息丢失或失真的情况。这种能力在以往的自然语言处理模型中很难实现,因为长文本的处理需要更大的内存和更复杂的模型结构。
AGI的初心
20万到200万的变化,不止在于字数的简单累积,更在于“无损”和它们共同指向的AGI目标。
杨植麟曾解释称,通往AGI,无损的长上下文将会是一个很关键的基础技术。从Word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。
“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”杨植麟说。
月之暗面曾介绍,从20万字到200万字,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。
为了达到更好的长窗口无损压缩性能,月之暗面研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”“降采样”等技术捷径,攻克了很多底层技术难点。
但字数累积的表象以及大厂相继亮出同类型产品的情况,也让“吃瓜群众”对于所谓的技术突破有些疑虑。
在接受北京商报记者采访时,伽利略资本合伙人郑譞做了一个类比,对象就是不久前火爆全球的文生视频大模型Sora。
郑譞解释称,文生视频可以看做是连续的文生图,从理论层面上,可能并不是颠覆性的突破,但是做到稳定生成长视频确实有难度,更多解决的是工程上的问题。但也不能说工程上的创新就不是创新,月之暗面无损长文本可能也是这个道理。
概括起来,从底层技术上来看,Kimi可能确实没有颠覆性的突破,更像是一个突破性技术的前序技术。
“长文本技术上需要解决上下文理解、长期记忆、复杂推理、多任务适应性以及计算效率等问题,学界其实早就有一些相应的解决方案,比如长文本处理、注意力机制优化等,但是在复杂推理和计算效率上工程难度还是很大的,各大厂也都给出了自己的方案,只不过之前大家并没有将‘长文本’当成关键词给予足够的关注度。”郑譞称。
郭涛也提到,从目前公开资料来看,Kimi的技术确实具有一定的竞争优势,但还不具备技术壁垒。长文本可能会成为大模型的下一个“卷”的领域,因为这是一个具有广泛应用前景和商业价值的研究方向。
不过在郑譞看来,月之暗面与其他人工智能企业真正的不同点,并不在于技术乃至商业化路线的差异,而在于“初心”的不同。
郑譞将杨植麟形容为一个“富有理想主义的创始人”“他的目标就是打造自己理想的AGI,而不是从落地或者务实的视角去思考当下的问题”。
商业化“肉搏”
理想化的月之暗面,也不能完全“脱俗”。Kimi爆火时,有媒体报道称,月之暗面相关负责人提到,年内将有商业化初步方案。对于具体的商业化路径以及大厂竞相加入是否会对Kimi的商业化产生影响等问题,北京商报记者联系了月之暗面,但截至发稿未收到回复。
郑譞猜测,相较于特定应用,Kimi的商业化可能类似于OpenAI,更倾向于一种通用性的商业化,例如商业化的高端接入入口用以扩展客户的应用等。
目前已有多家企业确认了与Kimi的合作。例如3月24日,万兴科技对外透露,公司旗下视频创意软件万兴喵影已率先接入Kimi,其AI写文案功能当前已采用Kimi大模型服务,万兴科技正加速旗下其他产品对Kimi的对接测试。
而对于大厂纷纷加入长文本竞争的原因,张雪峰认为,长文本处理能力是自然语言处理领域的一个重要方向,而且随着信息量的增加,对长文本处理能力的需求也越来越迫切。
张雪峰进一步补充称,Kimi的技术突破表明长文本处理已经成为可能,因此大厂纷纷投入研发长文本处理技术,以保持竞争力和领先地位。另外,长文本处理也是满足用户需求的重要途径,可以为用户提供更全面、准确的信息服务。
至于大厂的入局,是否会给月之暗面商业化造成影响,郑譞则给出了否定的回答,原因在于“虽然都在讲长文本,但大家的侧重点显然是千差万别的,而且各家所追求的愿景也有着天壤之别”。
回归“为什么是Kimi”的问题,中信建投研报提到,月之暗面打造高关注度应用Kimi Chat,一方面在于核心团队技术背景深,另一方面在于产品面向C端免费开放,注重产品运营。
据悉,月之暗面目前在招的31个岗位中,其中6个为市场、运营类岗位,包括达人运营、国内广告投放等。“目前招募更多市场、运营类人才,后续有望推动产品进一步破圈。”研报称。
(来源:北京商报记者:杨月涵)