记者 欧阳晓红 果不其然，离开OpenAI（美国人工智能研究公司）仅一个月后，Ilya Sutskever（伊利亚·苏茨克弗）就推出了自己的新公司：Safe Superintelligence Inc.（SSI）。

苏茨克弗是人工智能领域杰出人物，曾是OpenAI的联合创始人。“我正在创办一家新公司，我们将一心一意追求安全的超级智能，只有一个重点、一个目标和一款产品。”6月19日，他在X（推特）上的一篇推文中写道。

AI，想说“爱”你不容易，说偏了是“哀”，说重了是“碍”，不偏不倚才是“爱”。

斯坦福大学HAI最新的《2024年人工智能指数报告》（第七版）指出，尽管AI技术进步迅速，但在负责任AI方面，评估标准和实践的统一性仍然存在不足。主要开发者使用不同的负责任AI基准，这使得系统性比较各大AI模型的风险和限制变得困难。

一

“技术领域是一个复杂事物的王国，这些事物相互作用，创造出新设备和新类型的设备。”全球科技领域知名的观察者凯文·凯利在《失控》中探讨了技术进化的复杂性和不可预测性。他认为技术的发展类似于生物进化，具有自组织和不可控的特性，这提醒人们在技术进步中要保持警惕和责任感。

《2024年人工智能指数报告》指出，一项关于负责任的人工智能全球调查显示，公司最关心的人工智能相关问题包括隐私、安全和可靠性。相关组织已开始采取措施降低这些风险。然而，在全球范围内，大多数公司迄今为止只降低了其中的一部分风险。

SSI的设立旨在解决AI安全性这一“最重要的技术问题”。它的设立反映出AI领域对安全和伦理问题的高度关注。根据《2024年人工智能指数报告》，尽管AI技术进步迅速，但在负责任AI方面，评估标准和实践的统一性仍然存在不足。

分析人士认为，SSI由前OpenAI首席科学家苏茨克弗创立，他在AI领域有着深厚的学术背景和丰富的经验。此外，与他合作的团队成员包括前苹果AI负责人Daniel Gross（丹尼尔·格罗斯）和前OpenAI工程师Daniel Levy（丹尼尔·莱维），这确保了该公司拥有强大的技术实力和领导力。SSI专注于开发安全的超智能AI，避免了多线产品开发的复杂性和商业压力。这种专注或能使公司能够集中资源和精力，确保在实现安全AI方面取得实质性进展。

此外，SSI强调透明度，通过公开其研究方法和结果，促进AI社区的信任和合作。该公司承诺定期发布透明的进展报告，并邀请独立第三方进行审查，这或有助于保持公司的权威性和可信度。

不仅如此，SSI积极参与AI领域的标准化工作，与其他公司和研究机构合作制定统一的评估标准和基准，这不仅有助于提升该公司在行业内的声誉，还能推动整个AI领域朝着负责任和安全的方向发展。

在资金和独立运营方面，尽管SSI尚未公开其资金来源，包括注册资本金额和详细股东结构等信息，但创始团队明确表示，他们将选择性地接受投资，以确保资金来源与公司的长远安全目标一致。这种独立运营模式有助于该公司避免短期商业压力的干扰；同时，SSI建立严格的内部审计和外部监督机制，确保公司始终遵循其安全和责任承诺，这有助于维持其独立性和使命的一致性。

众所周知，SSI创始人苏茨克弗在AI学术界和行业内都有重要贡献。由亚历克斯·克里热夫斯基（Alex Krizhevsky）、苏茨克弗和杰弗里·辛顿（Geoffrey Hinton）于2012年发表的题为“ImageNet Classification with Deep Convolutional Neural Networks”的学术论文，在神经网络和深度学习领域具有划时代的意义，被认为是现代深度学习革命的开端之一。有观点认为，SSI的研究和开发工作有望继续对AI领域产生深远影响，进一步提升公司的权威性。

那么，如何确保超级智能（Superintelligence）与人类价值观保持一致，又该如何融入人类价值观？

二

通用人工智能（AGI）尚未实现，超级智能则更遥远；但有时候，改变也许只在一念之间。

尽管苏茨克弗、格罗斯、莱维等联名表示“超级智能触手可及，构建安全超级智能是我们这个时代最重要的技术问题”。

他们坚称SSI是他们的使命、他们的名字和他们的整个产品路线图，是他们唯一的关注点。他们的团队、投资者和商业模式都致力于实现SSI。同时，他们正在组建一支精干的团队，由世界上最优秀的工程师和研究人员组成，专注于SSI，不做其他任何事情。

他们说：“如果您是这样的人，我们将为您提供一个机会，让您从事毕生的工作，帮助解决我们这个时代最重要的技术挑战。现在是时候了。加入我们。”

无疑，在通往安全超级智能的道路上应对各种挑战是一项复杂的任务。它涵盖跨学科合作、国际标准化等诸多方面。如AI开发者、伦理学家、社会科学家和法律专家需要紧密合作，以确保技术的发展符合伦理和法律标准。此外，我们还需推动全球范围内的标准化，制定统一的AI伦理和安全标准，以规范超级智能的开发和应用。

逻辑上，AI开发过程需将人类的核心价值观（如公正、隐私、安全等）嵌入算法设计中，同时确保不同背景和文化的人参与AI开发和决策过程，以反映广泛的人类价值观。

例如公司内部设立伦理委员会，负责监督和指导AI开发过程中的价值观融入，以及建立用户反馈机制，广泛收集公众意见，确保AI系统符合社会期望和价值观。此外是开发更先进的AI控制和监测技术，如可解释性AI（Explainable AI）和可控性算法（Controllability Algorithms）。

同时，相关政策法规需要完善，以引导AI技术向安全和可控的方向发展。例如，AI开发公司需要遵循一定的安全和伦理标准，并进行合规检查。

据媒体报道，SSI并非唯一一家追求安全超级智能的公司。多个研究小组和组织都积极参与这项关键任务。Alphabet（谷歌母公司）的子公司DeepMind也是该领域的领军企业。DeepMind的研究重点是构建安全且有益的AGI，尤其注重将AI目标与人类价值观相结合。

三

不过，理想丰满，现实骨感。

技术快速发展的同时，会不可避免地出现技术滥用和不道德行为的现象。

在AI时代初期，一些机构和个人教授利用AI技术“爬虫”，或以培训“数据分析”为名传授非法手段，从中牟利。这些行为不仅违反法律，还严重损害了个人隐私和信息安全。

对此，有人建议，政府和相关机构需要进一步完善法律法规，加强对非法技术培训和数据滥用行为的监管。同时，我们应该提高公众意识，通过各种渠道向公众普及相关法律知识和防范技术滥用的措施，以便公众能够更好地保护自己的隐私和数据安全。此外，行业需要加强自律和推动技术的标准化和规范化，确保技术开发和应用过程中的伦理和安全问题得到充分重视。

值此关键过渡期，我们需要平衡技术进步与伦理责任，通过多方面的努力，确保技术发展服务于社会的长远利益，而不是被滥用。

人工智能与经济的融合引发了许多引人关注的问题。一些人预测人工智能将推动生产力的提高，但其影响程度仍不确定。一个主要问题是劳动力大规模流失的可能性——工作将在多大程度上被自动化或者被人工智能增强？各行各业的企业已经在以各种方式利用人工智能，但世界一些地区正见证着对这一变革性技术的投资流入。此外，投资者的兴趣似乎正在转向特定的人工智能子领域，如自然语言处理和数据管理。

益普索的一项调查显示，在过去一年中，认为人工智能将在未来三至五年内极大地影响他们生活的人数比例从60%上升至66%。此外，52%的人对人工智能产品和服务表示不安，这一比例比2022年上升了13个百分点。在美国，有调研数据指出，52%的美国人表示对人工智能的担忧多于兴奋，这一比例比2022年的38% 有所上升。

不过，重点是“极端的人工智能风险难以分析。”《2024年人工智能指数报告》指出，在过去的一年里，人工智能学者和从业者就应该关注算法歧视等直接的模型风险还是潜在的长期生存威胁展开了激烈的争论。要区分哪些说法有科学依据并应该为政策制定提供依据已经变得非常困难。与生存威胁的理论性质相比，已经存在的短期风险具有切实性，这加剧了这一困难。

同时，《2024年人工智能指数报告》指出，新推出的基础模型透明度指数显示，人工智能开发人员缺乏透明度，特别是在训练数据和方法的披露方面。这种缺乏开放性阻碍了进一步了解人工智能系统的稳健性和安全性的努力。

你还记得去年11月的OpenAI“宫斗”吗？当时的追问是——道德的指南针指向何处？本质上，该事件的走向取决于OpenAI首席科学家——苏茨克弗的最终选择。

如果说构建SSI是AI时代最重要的技术问题，那么“如何确保技术的发展与社会的伦理和价值观相一致”则是这个新时代的终极拷问。