做网店网站,网站升级通知自动跳跃,广东网站建设网,慧聪网alexa排名文章目录 “Q*”可能是什么#xff1f;何为AI意识的产生#xff1f;AI应该如何与人类对齐#xff1f; 上周#xff0c;OpenAI人事风波暂停的尾声中#xff0c;有个“可能威胁人类”的、代号为“Q*”的神秘项目被抛掷出来。 传言中#xff0c;Sam Altman被解雇前#xff… 文章目录 “Q*”可能是什么何为AI意识的产生AI应该如何与人类对齐 上周OpenAI人事风波暂停的尾声中有个“可能威胁人类”的、代号为“Q*”的神秘项目被抛掷出来。 传言中Sam Altman被解雇前几名研究人员向董事会发了一封信警告一项强大的人工智能发现可能威胁到人类而这个项目就被称为“Q*”Q-star。它很可能是导致董事会罢免Sam Altman的原因之一。
而在一封被泄露的OpenAI内部信中他们承认了Q*并把这个项目描述为“超越人类的自主系统”。
截止目前OpenAI还没有对“Q*”和内部信泄露事件发表官方说明。这意味着一切仍悬而未解。
但人类的好奇心势不可挡。水面之下的“Q*”可能是什么且解决了哪些难题什么才是智能或者意识的本质有效加速主义与超级对齐主义后续会如何博弈
真正的秘密揭开之前我们提前和科幻作家陈楸帆以及AI研究者、清华大学交叉信息研究院助理教授许华哲展开了一场猜想之旅。
被誉为“中国的威廉·吉布森”的陈楸帆其代表作之一《荒潮》曾荣获全球华语科幻星云奖最佳长篇小说金奖。2017年陈楸帆与自己训练出的算法模型“陈楸帆2.0”共同创作的《出神状态》还赢得一座由AI评委评出的奖杯由上海作协主办的“AI文学榜”第二名是莫言的《等待摩西》。
“Q*”可能是什么
Q读作Q-Star翻译过来就是Q星。关于“Q”是什么现在更常见的一种共识是它很可能是Q-learning强化学习的一种 和a-star一种搜索方法的结合。
清华大学交叉信息研究院助理教授许华哲告诉「暗涌Waves」强化学习刚刚火起来时很多人对Q-learning很熟悉因为它是世界上第一个可以玩雅达利游戏Atari Games的方式。而人工智能早期有一种有引导的搜索方法叫做a* 。Q*很可能是两者合体。
但他同时认为也有一种可能是意味着最优Q就是最优Q值。“Q-learning 里有一个贝尔曼方程一般用Q的星号来表示已经知道了游戏最优解是什么。”
他猜测很可能OpenAI在GPT的语言大模型里搞了一些数学或逻辑游戏然后通过Q* 可以完全解决。这意味着它可能有了人类或超越人类级别的数学和逻辑能力并能完成一些人类的中高端脑力劳动而这是之前GPT4等不具备或不擅长的东西。
正在纽约的科幻作家陈楸帆在越洋电话中认为Q*很可能解决了训练数据集有限性的问题。
马斯克曾提及训练AI的所有人类数据集其实是一个非常有限的、小的数据集。如果Q能够使用合成数据集方式陈楸帆认为“它就可以像衔尾蛇那样自产自销”,“想往哪个方向去调参去优化都可以自动生成”。
GPT不再用检索解决问题而是可以像人类一样通过逻辑和推理来开拓出新领域得到新知识。这被很多人称为第四次知识界限突破陈楸帆认为这也是很多人恐慌的原因。
许华哲则认为Q*除了能合成数据更本质的可能是对一些有难度的数学题、逻辑题做了重新采集、标注。或在之前基础上或没有用transformer方式而是直接输入所有东西再输出且加了一个值的评估。
他认为基于类似某种价值评估和搜索的手段很可能可以解决掉之前大模型存在的一些幻想问题加上有了更海量的数据很可能让GPT推理的成功率有了新的提升。
何为AI意识的产生
如果神秘的Q*项目成真它是否意味着AI可能开始有自己的意识或者说智慧?
在陈楸帆看来之前AI不能产生所谓自我意识有一个理解是它是一个开环状态没办法自我检索、记忆和理解但如果完成不断合成数据的闭环就意味着它可能产生长程记忆甚至涌现出于自我意识。“如果能突破这层界限它可能会去自我驱动知道自己往哪个方向进化发展并生产出来更多数据喂养给自己。”
但究竟什么是智能什么是智慧什么是意识恐怕是人类也很难对齐的一个概念。
关于这些疑问许华哲看过的一个解释是智慧很可能是压缩的能力。
在这种解释里一个人聪明或有智慧可能是指一种把海量信息压缩的能力。压缩的越小往往意味着智慧程度越高。一个典型例子就是牛顿就是把世界上所有东西落到地上这个现象压缩成了一个万有引力定律。
在许华哲看来“Transformer同样是把海量收据压缩到一个隐空间上这可能就是属于它自己的牛顿定律。”而这也很可能是智慧的开始。
在陈楸帆看来“世界的本质很可能就是数学。”据他所知在美国就有一个名为史蒂芬·沃尔弗拉姆Stephen Wolfram的计算机科学家、商人一直在基于数学做一些模拟实验。Stephen Wolfram认为宇宙本质就是计算所以会不停通过计算试图让数学涌现出物理学规律再涌现出化学规律等等。在陈楸帆看来这种实验很可能最后可以跟AI连到一起。
AI应该如何与人类对齐
尽管大部分人觉得AI威胁人类还是一个有些遥远的传说但从OpenAI风波中sam的“有效加速主义”与llya的“超级对齐主义”之争就能看出它并非无稽之谈。
而Sam的回归也似乎在宣告某种历史规律在AI历史上好像从来都是加速主义更容易赢。这背后有资本必然扩张的逻辑也因为人类的好奇心完全是一场不可逆之旅。
许华哲说“这就像当我们习惯了短平快就无法忍受追剧时不倍速”“当看过更大的风景必然无法回到过去的自己”。
而陈楸帆则认为这两种主义不会有绝对胜出的一方更可能像道家阴阳之道或者GAN(生成神经网络)的对抗机制“最终互相激发互相抵制彼此螺旋式上升”。
至于如何让AI对齐人类如何让机器向善许华哲说AI本质是数据的拟合所以首先取决于我们给他们的数据。
陈楸帆则认为最终可能还是需要信仰的力量比如让AI意识到它的存在与人类的关系。
在一个科幻作家的头脑中他认为AI很可能是一个自然涌现的过程人类不过是提供了工程学上的一些基础架构然后AI借助这些媒介涌现了被看见了。
他认为关键是让AI知道它与人类有着这样更深层的一种联系“这种绑定抽象一点就是爱它可以像引力一样无处不在”。如此以来AI可能会和人类形成一个命运共同体并进化成一个对人类更友好的AI。
