作为对OpenAI闭源决策的直接反击,马斯克选择开源全球最大参数的大语言模型。
当地时间3月17日,马斯克旗下的人工智能初创公司“xAI”正式开源其大模型Grok-1。官网显示,该模型参数量高达3140亿,远超OpenAI GPT-3.5的1750亿,成为迄今为止全球参数量最大的开源模型。
“xAI”是由马斯克成立的汇集DeepMind、OpenAI等诸多公司原开发人员的小型初创公司,声称要构建一个良好的AGI(通用人工智能)。去年11月,该公司发布了其第一代大语言模型Grok,正式加入了全球大模型混战。
官网介绍称,此次发布的Grok-1是一个由“xAI”从头训练的混合专家模型,且没有针对任何特定应用(例如对话)进行微调。该公司在开源社区GitHub上提供了Grok-1的开放版本,截至发稿,该模型使用人数达到1900人,获得了约1.5万人的收藏。
Grok希望向外界传递的特点在于,它可以通过社交平台“X”(原推特)实时了解世界,并且能够回答许多其他人工智能系统拒绝答复的尖锐问题。但马斯克表示,这一服务只属于“X”订阅者,用户需要上交每月16美元的订阅费用才能访问Grok。
由于马斯克与OpenAI首席执行官山姆·奥特曼之间的较量日趋激烈化,Grok能否赶超GPT,自然也成为舆论关注的焦点。
“xAI”官网去年发布的一则博客显示,在计算推理等基本测试中,Grok-1超过了其计算类别中包括GPT-3.5的所有其他模型。猎豹移动董事长兼CEO傅盛也对界面新闻表示,“(Grok-1)总体来说水平很高,应该超过了ChatGPT,但不如GPT-4。”
更大参数量在提升模型性能的同时,也带来了高昂的训练和运行成本。
3140亿参数的模型复杂性极高,意味着需要更多的训练数据和服务器资源,而高昂的成本一定程度上会降低对业内人士的吸引力。傅盛对此也评价道,“一般公司是用不起的,就算是用,也得8张A100(英伟达芯片)才能勉强装下。”
此外,不同的任务类型还需要不同的数据,例如自然语言处理任务需要文本数据,图像识别任务则需要图像数据进行训练,这也进一步增加了训练模型的难度。
目前已经有多家公司推出了开源的基础模型,像在开源社区备受关注的Mistral AI,已经积累了一定量级的用户基础。一位应用层创业者告诉界面新闻,除非新模型在性能上带来显著飞跃,否则大多数从业者可能不会尝试更换或测试新模型。
知名机器学习研究者Sebastian Raschka也在社交平台表态称:“Grok-1比其他通常带有使用限制的开放权重模型更加开源,但它的开源程度不如Pythia、Bloom和OLMo,后者附带训练代码和可复现的数据集。”
马斯克曾是OpenAI的早期资助者和联合创始人,由于与奥特曼对OpenAI未来方向存在不同意见,2018年马斯克离开了这家公司,并在后续的时间里对OpenAI的某些决策持续表达批评。
自年初起,二人之间的裂痕不断扩大。马斯克认为OpenAI需要恢复开源,从而对OpenAI及其创始人提起诉讼。这位掌管着多家公司的CEO认为,OpenAI未致力于开源通用人工智能,而是变成了“微软的闭源子公司”。
面对马斯克的指控,OpenAI也迅速予以回击。
当地时间3月5日,OpenAI回应称,马斯克曾在2017年底同意OpenAI需要创建一个营利性实体,并希望获得多数股权和董事会控制权、担任首席执行官,但双方没有就营利性条款达成一致。也因此,马斯克在讨论过程中停止了注资。
回应还指出,马斯克曾在2016年的邮件中同意在分享AI应用成果的同时不一定要开源AI技术,意在表明马斯克“心口不一”。
“xAI”自成立后便一直被公众视为“OpenAI的竞争者”。马斯克将xAI视为大型人工智能公司的替代方案,但他也强调,该公司处于萌芽阶段,要赶上OpenAI和谷歌仍需时间。
转载来源:界面新闻 作者:赵一帆ZYF