中国大模型首次超越GPT-4o 李开复明确表示“绝不放弃预训练”
10月16日,零一万物正式发布新旗舰模型Yi-Lightning,这直接回应了外界关于“零一万物将放弃预训练模型”的传闻。
此前,有媒体报道称,国内六家头部大模型创业公司中有几家放弃了预训练模型,随后有人将矛头指向零一万物。在Yi-Lightning发布后,零一万物CEO李开复明确表示,零一万物绝不放弃预训练。
不仅如此,在国际权威盲测榜单LMSYS上,Yi-Lightning的成绩超越了OpenAI的GPT-4o(2024-05-13),排名榜单第六,这也是中国大模型首次在该榜单中超越OpenAI GPT-4o。
需要指出的是,Yi-Lightning这次超越的是GPT-4o今年5月份的版本,当时,该版本是全球第一的模型。后来,OpenAI又推出了最新的ChatGPT-4o-latest,这也是LMSYS榜单上目前排名第一的模型。
做预训练模型的公司会越来越少
进入2024年以来,中国大模型行业从狂奔进入到了“长跑阶段”。
从技术发展上看,在算力受限的情况下,中国基座模型的研发能力处在世界什么身位,以及如何追赶国外顶尖大模型等问题引发外界关注,甚至一度传出“中国可以不用再研发预训练基座模型”的说法。尤其是近期传出的“头部大模型创业公司放弃预训练模型”的消息,似乎也进一步印证了这一发展趋势。
对此,李开复在接受21世纪经济报道记者采访时表示,做好预训练模型确实是一个技术活,要非常多有才华的人在一起工作,比如需要有懂芯片的人、懂推理的人、懂基础架构的人、懂模型的人以及懂算法的人,大家一起做才行。
“如果一个公司能有幸拥有这么多优秀的人才,那我相信中国是绝对可以做出世界排名前十的预训练通用模型。但是,不是每家公司都可以做这件事情,做这件事情的成本也比较高,所以以后有可能会越来越少的大模型公司去做预训练。”李开复说。
但他也表示,目前国内六家头部大模型创业公司的融资额度都是够的,所以这六家公司只要有够好的人才、想做预训练的决心,那融资额跟芯片都不会是问题。
继续缩短时间差非常困难
按照Yi-Lightning这次取得的成绩,零一万物是在五个月之后超过了五个月前世界最强的模型,这也可以理解为,中国大模型与美国顶尖大模型的时间差缩短到了5个月。
未来,这个时间差能否进一步缩短?李开复表示,这会非常困难,除非中国公司有一个发明和科技上的突破。
李开复称,“我不预测我们是不是可以继续缩短这个时间差,毕竟人家是用10万张GPU做训练,而我们用的是2000张。”
在其看来,落后六个月不是一个很羞耻的事情,或者一定是要追赶的事情。现在之所以能把时间差缩短至5个月,是因为中国的模型公司团队都很聪明,他们能够快速使用和理解别人做出来的东西,再加上自身的研发特色,比如数据处理、训练优化等,按照这套方法,时间差能保持在六个月左右,就已经是很好的结果了。
据李开复透露,前段时间他到美国交流,跟OpenAI的人员也有沟通。OpenAI的人跟他说,公司内部还有一些好东西,但是他们不着急拿出来,因为OpenAI领先行业已经足够多,到了一定的业务节点才释放出来,这也是他们能做而别人不能做的。
ToC与ToB的差异化打法
在国内大模型现有的水平下,商业化造血能力也是多方关注的焦点。而无论是ToC还是ToB,模型性能与推理成本——这两项关键因素都直接影响着大模型落地的成败。
李开复告诉记者,一个大模型公司同时做ToB和ToC非常辛苦,需要多元化的管理方式,因为两个团队的基因不一样,做事的方法和衡量KPI的方法都不一样。
而李开复在这两个领域都有经验,所以零一万物也都在试着做,但李开复强调,“绝对不能什么都做。”
在ToB方面,零一万物选择布局国内市场。“因为我们找到了一些破局空间,比如用数字人做零售、做餐饮等等,另外我们还有两三个领域开始在做。”李开复说。
之所以把ToB业务放在中国市场,李开复解释称,从全世界范畴来说,ToB供应商基本都是当地的,所以要触达国外的企业用户很困难,至少跨国设立分公司做ToB,绝对不是零一万物这样的创业公司能做的。
同时,李开复也强调,在国内做ToB业务,也要做有利润的解决方案,而不只是卖模型以及做项目制。
与ToB业务相反,零一万物的ToC业务主要布局海外。李开复表示,首先是因为,零一万物刚开始做的时候,国内还没有合适的中文模型,所以只能在国外先尝试。而现在,国外的这些产品经过迭代,有些表现得已经很好。
对于国内市场,李开复也在观察。他认为,ToC产品在国内走流量有一个很大的问题,即流量成本越来越高。“我们也看到了有些友商的用户成本,从十几块人民币增长到三十多块人民币,近来还有相当的流失,在这样一个挑战环境里,我们会非常谨慎,先不推出中国本土新的ToC应用。”
李开复表示,接下来,零一万物在国内已有的ToC产品还会继续维护,同时会把更多的精力放在国外,用更低廉的成本买到更多高质量用户,或者直接把App卖出去,让用户来订阅付费。