通用人工智能（artificial general intelligence，AGI），根据维基百科的定义，是指达到或超越人类智慧的人工智能，能表现出正常人类所具有的所有智能行为，亦称强人工智能（Strong AI）。

这是组织1956年达特茅斯人工智能会议的人工智能领域的奠基者最初的梦想。按照I. J. Good的智能大爆炸理论，AGI出现后，其可能设计出比人类智能更为强大的智能体，即所谓的超级人工智能（artificial super intelligence，ASI）。

然而实际上，实现通用人工智能并非易事，在上个世纪七八十年代，主流人工智能研发逐渐远离了通用智能系统的目标，转向为特定领域和特定问题寻求解决方案。结果是，现如今被称为“人工智能”的领域被分割为许多关联松散的子领域。

如今，伴随着深度学习取得突破性进展，人工智能迎来第三次发展浪潮，各国纷纷将人工智能确定为国家战略，通用人工智能的热潮重来，相关的会议、期刊、协会、研究机构等相继出现。业内的DeepMind、OpenAI等将通用人工智能作为人工智能技术攻坚的核心方向。腾讯亦积极推动“通用人工智能”，通过AI实验室和Robotics X实验室合力攻坚“通用人工智能”这一终极目标。

通用人工智能已然“炙手可热”。在此背景下，2019年1月4日到7日，Elon Musk资助的未来生命研究所（Future of Life Institute，FLI），在波多黎各（Puerto Rico）组织举办为期两天半的“向善的通用人工智能2019（Beneficial AGI 2019）”国际研讨会，邀请了150多位来自全球各地的各领域顶级人工智能专家，从跨学科、跨领域的角度共同探讨通用人工智能的安全、实现路径及可能的后果、治理及对策、国际合作等话题。

DeepMind等AI企业也受邀参加，其中腾讯为唯一受邀的中国科技公司，腾讯研究院院长司晓、腾讯研究院首席研究员蔡雄山等参加了本次会议。腾讯研究院院长司晓在会上展示并阐释分享了腾讯董事会主席马化腾在2018年世界人工智能大会上提到的人工智能“四可”（可用、可靠、可知、可控，英文简称ARCC）理念，获得了与会专家的认可。司晓还参与了关于人工智能国际合作的圆桌研讨，分享腾讯在人工智能伦理领域的思考和探索，并呼吁国际社会制定伦理原则来引导、约束未来人工智能健康发展应用。  

这是未来生命研究所第三次举办关于人工智能的年度国际会议。第一次会议为“AI的未来：机遇与挑战”；第二次会议为主题为“向善的人工智能（Beneficial AI）”的“2017阿西罗马会议”，本次会议达成了广为关注的23条阿西洛马人工智能原则。与前两次会议不同的是，此次会议的主题更为聚焦，围绕有望彻底变革现在的经济与社会的AGI，探讨其技术实现方式、未来AGI的机遇与挑战，以及确保未来设计出来的AGI造福于人类发展的措施。

通用人工智能的安全研究需要破除误解，未雨绸缪

通用人工智能是AI领域的桂冠，也是备受争议的话题，全世界的顶尖专家对此争论不休，包括AI对劳动力市场的未来影响，AGI是否/何时出现，AGI是否会导致智能大爆炸从而出现超级人工智能（ASI），我们是否应当拥抱或惧怕AGI和ASI，等等。人们对通用人工智能到来后的人类及人类社会命运也众说纷纭，已故的霍金以及伊隆·马斯克、比尔·盖茨等名人认为AGI对于人类而言可能是一场巨大的灾祸。

未来生命研究所创始人、《生命3.0》一书作者Max Tegmark认为AGI将可能于本世纪内出现，为了确保将来可能出现的AGI和ASI服务于全人类的利益，现在就需要加强对AGI安全问题的研究，这既是他发起成立未来生命研究所的初衷，也是举办本次AGI会议的目的。

在演讲中，Max分享了人们对通用人工智能的一些常见误解。比如，对AGI出现时间的误解，认为AGI不可避免或绝无可能，实际情况是全球顶尖专家对AGI是否/何时出现尚没有共识，猜测认为可能需要几十年、几百年或者永远都不会出现。2045年是未来生命研究所第一次AI年度会议上与会专家给出的平均时间。

另一个误解关于超级智能的风险，担心人工智能、机器人作恶或产生意识，从而可能威胁人类生存，事实是AI变得越来越强大但其目标却可能偏离人类的目标，所以偏离方向的AI才是最大的担忧，无需形体，只需有互联网连接即可。此外，其他误解包括AI不可能控制人类、机器不可能有目标、超级智能近在眼前，等等。

在Max看来，只有澄清了关于AGI的诸多误解，人们才可能对AGI的安全问题进行严肃认真的讨论和研究。AGI研究不应把时间浪费在误解和错误概念上。你希望未来是什么样子的？人们应否开发致命性的AI武器？AI如何影响工作？你希望创造超级智能生命体吗？将来是我们控制智能机器还是它们控制我们？智能机器取代我们还是与我们共生抑或与我们融为一体？这些才是Max真正关心的问题，需要进行更多、更有效的跨学科、跨领域研究。

AI最终可能超越人类能力，需要可证明的有益AI模型（provably beneficial AI）来确保安全

经典AI教科书《人工智能：一种现代方法》的作者Stuart Russell，发表了题为“可证明之有益AI（Provably Beneficial AI）”的演讲。在美国、英国、法国、欧盟、中国等都持续加大投入、加速发展人工智能的趋势下，他认为在未来AI系统将能处理海量信息，做出比人类更好的决策，如驾驶汽车、做出医疗诊断等。因此未来能够获取更强大的智能将是人类文明的一大飞跃。

但人们也担心可能出现的负面影响，如杀戮机器人、大规模失业、人类灭绝等。正如维纳在1960年所言，“我们最好相当确信，我们赋予机器的目标，正是我们真正希望的目标。”

维纳的警告指出了AI安全领域的一个主要问题：价值耦合（value alignment），即我们不希望智能机器做出的行为是为了实现它们自己的目标，相反，智能机器的行为应是为了实现我们人类的目标。

随着AI的广泛应用甚至将来可能出现AGI和ASI，价值耦合的问题将越来越突出而重要，如果发展应用不当，便有可能发生类似电影《2001太空漫游》中人工智能系统HAL为了实现预定的目的而企图杀害人类宇航员的事情，给个人和社会带来灾难性后果。

为此，Stuart提出了三个简单的理念：第一，机器人的唯一目的是最大化地实现人类的偏好；第二，机器人一开始并不确定人类的偏好是什么；第三，关于人类偏好的来源信息是人类行为。这意味着，机器人可以从人类行为中学习，如合作的反向强化学习（cooperative IRL）。

最后，Stuart认为，AI最终可能超越人类能力，出现所谓的ASI，但我们可以通过可证明的有益AI（provably beneficial AI）模型来确保AI安全，这需要来自AI、计算机科学、经济学、认知科学、心理学、政治科学、哲学等领域的研究配合与协同，同时也需要启动智能助手、机器人、自动驾驶汽车等领域的实践工作。

在技术安全研究方面，蒙特利尔大学的AI学者David Krueger总结了当前AI安全研究的两大路径。其一是人机回环（human-in-the-loop）的方法，包括超人类反馈（涉及迭代放大/辩论、递归奖励建模等）、CIRL即协同反向强化学习以及全面的AI服务框架。其二是理论方法，包括代理基础（agent foundations）、副作用/影响测量、验证/安全等方法。

AI安全离不开伦理保障，腾讯在会上提出AI伦理框架以确保“AI向善”

除了从技术安全角度研究确保AI安全的可行技术方法和手段外，还需要从伦理层面为AI安全提供引导和约束，以确保“AI向善”。在本次会议的Poster环节，腾讯研究院院长司晓向与会的国际AI专家展示并介绍了腾讯系统提出的AI伦理框架即“ARCC”，获得了与会专家的关注和认可。

在司晓看来，正如44年前在阿西洛马举办的重组DNA会议，140名各界专家讨论了生物科技的潜在影响及其规制，达成了自愿性的伦理指南，旨在确保重组DNA技术的安全一样，如今我们需要就AI技术应用的潜在影响及其规制达成类似的伦理规则甚至法律规则，以便将技术发展框定在一个对人类有益或向善的范围内。

A即available（可用），发展人工智能的首要目的，是促进人类发展，给人类和人类社会带来福祉，实现包容发展和普惠发展。为此，需要让尽可能多的人可以获取、使用人工智能，让人们都能共享技术红利，避免出现技术鸿沟。

R即reliable（可靠），人工智能应当是安全可靠的，能够防范网络攻击等恶意干扰和其他意外后果，实现安全、稳定与可靠。

C即comprehensible（可知），人工智能应当是透明的、可解释的，是人可以理解的，避免技术“黑盒”影响人们对人工智能的信任。

C即controllable（可控），人工智能的发展应置于人类的有效控制之下，避免危害人类个人或整体的利益。

ARCC发音同“ark”，寓意“方舟”，正如传说中拯救人类文明的诺亚方舟一样，人工智能领域的ARCC也将在未来的人工智能时代尤其是可能到来的AGI和ASI时代，确保人类与机器之间友好、和谐的关系，最大化地促进人类的发展，并避免潜在负面影响。在此次会议的“AI国际合作圆桌研讨”环节，司晓进一步向与会专家介绍了腾讯在科技伦理、科技向善上的思考与探索。包括最早将IEEE的AI伦理白皮书、阿西洛马人工智能原则等国际上重要的人工智能伦理倡议译介到国内，持续研究并输出AI治理、伦理相关的研究成果并参与AI治理领域的国际论坛以贡献中国智慧，发起“科技向善”计划并在腾讯的产品和服务中积极践行科技向善理念，等等。

AI治理是全球性挑战，亟需提上日程

牛津大学人类未来研究所AI治理中心的Allan Dafoe分享了对AI战略、政策和治理的思考。治理（governance）意味着做出和执行决策所依赖的程序，包括规范、政策、制度、法律等。好的治理意味着这些手段和机制是有效的、合法的、包容性的、适应性的。

如今随着各国争相发展AI，AI作为通用目的技术有望彻底变革经济、社会、军事等领域，所以迫切需要加强AI治理，但依然面临来自技术发展、政治等方面的诸多挑战，包括危害和利益的分散性、技术高速动态变化、技术复杂性、双重使用、责任不确定等问题。

在他看来，理想的AI治理，应当包括价值、原则、积极愿景、制度设计、规范构建等层面；同时在政策制定上需要特别考虑如何将长远目标转换为短期内具体的政策计划。

在“AI治理圆桌研讨”环节，腾讯研究院高级研究员曹建峰分享了他对AI治理的看法。面对AI带来的新的风险挑战，既有的法律伦理规范是不充分的。

他认为，对于AI治理，未来将需要从三个层面来展开。

其一是伦理规范，需要在公司、行业、国家层面就人工智能伦理原则和框架达成共识并落实到人工智能研发应用中，因为在技术加速、法律滞后的趋势下，需要更多依靠伦理规则来发挥事前的引导和规范作用，来确保AI向善。

其二是法律规范，从具体的行业出发对自动驾驶、无人机、医疗诊断、机器人等具体的人工智能应用进行监管，以实现鼓励创新与保障安全的平衡。

其三是国际标准、规则的制定，AI治理是国际性话题，需要国际社会的协调与合作来为人工智能研发应用设定伦理、国际法等方面的共同性要求，以确保人工智能可以造福于全人类和全世界的发展。

AGI之路依然任重而道远

AGI的出现时间及其实现方法以及AGI是否会导致ASI的出现依然高度不确定。加拿大的AI领军者Yoshua Bengio以“通往AGI的挑战”为题进行了分享。

在他看来，当前AI领域的进步主要得益于深度学习，但深度学习离所谓的人类水平的AI还非常遥远。一方面深度学习的很多成就基于监督学习，另一方面深度学习只能学习到表面的肤浅知识，不具有举一反三的概括能力，而且深度神经网络可以被轻易地糊弄。

再者，当前的自然语言处理方法并不能赋予人工智能以真正的理解能力和常识能力，比如AI对前后文中出现的代词的理解远远低于人类。此外，当前最好的AI系统尚不具有像人类一样的心理能力和移动能力。

所以AI下一步需要从被动智能向主动智能转变，从感知能力扩大到推理、行动规划等高级能力，同时需要掌握世界模型以获取因果结构，并持续从人机协同、神经科学、认知科学等领域获取启发，从而克服当前的障碍以通往AGI。

对于AGI的可能实现路径，与会的专家学者也进行了激烈的脑暴。比如，会上有学者认为智能来源于人类的大脑和世界的结构，所以可以通过对人类大脑实施反向工程来实现AGI，这即是所谓的模拟大脑学派。英国的AI权威学者Nick Bostrom分享了他在《超级智能》中提出的一些可能的超级智能的实现路径，包括大脑仿真、生物认知、脑机接口等。

畅想AGI到来后的社会是什么样子的

在《生命3.0》一书中，马克斯·泰格马克畅想了AGI引发的智能爆炸可能给人类社会带来的后果，诸如人类、赛博格、上传者和超级智能和平共处的自由主义乌托邦，人工智能成为善意的独裁者，人类、赛博格、上传者等平等相处的平等主义乌托邦，人工智能成为看门人、守护神、被奴役的神等，人工智能成为人类的征服者，人工智能取代人类成为人类的后裔，等等。

虽然AGI尚未到来，但本次会议前瞻性地讨论的一些涉及AGI的问题同样值得人们思考。我们应当建造超级智能吗？AGI到来之后，人类应当如何存在？谁或什么应当享有控制？我们是否期望AGI具有意识？人类文明为之奋斗的目标应当是什么？未来人类还需要工作吗？如果AGI让所有人都失业，该如何给人们提供后工作时代的收入、目标、意义和人际交往呢？

虽然与会专家对这些问题没有达成共识，但持续思考这些问题才能确保我们将来打造的AGI是我们想要的，是符合全人类的利益的。

初步的十项共识确保AI向善

最后，本次会议的与会专家初步达成了十项共识。这十项共识即是通用人工智能应当追求的十大目标，包括物质充盈、渐进主义、人类福祉、鲁棒性、多样性、可持续性、繁荣、和平、幸福、无疾病等。这十项初步的共识代表了与会专家对未来人工智能发展的期许。

当然，这些目标以及其他目标的实现，依赖于AI领域当前进行的各种研究，包括类似BAGI 2019会议这样的跨学科讨论和研究，从而共同从技术、政策、规范、制度等层面确保将来可能创造出来的AGI和ASI成为人类社会最美好的事物，为人类塑造最美好的未来。

会议官网：https://futureoflife.org/beneficial-agi-2019/