百度发了3个“小模型”,最低成本是大模型的百分之一

任晓宁2024-03-21 18:12

记者 任晓宁 “卷”了一年大模型后,2024年,科技大厂们把目光瞄向了“小模型”。“小模型”是相对于大模型的概念,其参数不同于大模型的千亿级、万亿级,一般是百亿级或以下的轻量模型。

3月21日,百度发布了3个轻量模型,其中最小的一款使用成本是文心大模型的百分之一。

百度副总裁谢广军向记者展示的PPT(幻灯片)显示,文心大模型4.0版每1000tokens(文本处理过程中的最小单位)输入成本为0.12元,而百度新发布的3个轻量模型中,最小的一款每1000tokens输入成本为0.001元,另外两款每1000tokens输入成本分别为0.003元和0.004元。

谢广军解释说,在通用场景和复杂场景下,轻量模型的效果肯定不如大模型。但经过精调后的轻量模型,在特定场景中甚至可以超过大模型的使用效果。

百度发布轻量模型,源自快速增长的用户需求。

百度公布的数据显示,百度用于生成式AI(人工智能)生产和应用的千帆大模型平台近期客户数明显增加了。从去年3月成立至今,千帆大模型平台共服务8万企业用户,最近一个月就新增了1万多个用户。用户增加后,一些共性问题也浮现出来。

其中问题最多的就是价格。深圳齐心集团股份有限公司是百度大模型的用户之一,齐心集团CTO(首席技术官)于斌平说,他们使用文心大模型的效果非常不错,但确实(感觉)价格贵了一些。而且大模型需要做大量推理计算,时间成本比较高。今年3月他们试用了轻量模型,对轻量模型的效率和成本比较满意。

百度正式发布轻量模型前,在社交、文旅、教育、智能办公等场景做了实验,谢广军说,有的轻量模型最佳实践效果能够达到一个千亿参数大模型的效果。

百度发布的三款轻量模型针对不同场景,分别在缩短推理速度、降低芯片性能、减少时间成本的领域做了调整,目的是降低成本的同时,与大模型做出差异化。

科技大厂中,发力“小模型”的不仅是百度。此前微软也发布了27亿参数规模的模型,根据微软公布的数据,其27亿参数规模的模型平均性能得分已经超过70亿、130亿参数规模的模型。摩根大通推测苹果的AI发展战略时,认为苹果会做专注于手机本地运行的小型模型。

“现在业界已经逐渐形成了一个共识,(就是)不见得是参数规模越大,模型越好。”谢广军说,做轻量模型的前提是有大模型的技术积累,这样做出来的轻量模型效果才会好。他判断2024年会成为AI原生应用的元年,AI模型商业化会有很大空间。

版权声明:以上内容为《经济观察报》社原创作品,版权归《经济观察报》社所有。未经《经济观察报》社授权,严禁转载或镜像,否则将依法追究相关行为主体的法律责任。版权合作请致电:【010-60910566-1260】。
TMT新闻部资深记者
关注并报道TMT(科技、传媒、通信)领域重大事件,擅长行业分析、深度报道。
联系邮箱:renxiaoning@eeo.com.cn
微信号:tangtangxiaomo
Baidu
map