网站的后台管理账号和密码,沈阳黑酷做网站建设优化公司怎么样,辽宁教育网站建设费用,怎么做类似淘宝网站吗过去的一年#xff0c;OpenAI的chatGPT将自然语言的大型语言模型#xff08;LLM#xff09;推向了公众的视野#xff0c;人工智能AI如一夜春风吹遍了巴黎#xff0c;全世界都为AI而疯狂。 OpenAI ChatGPT是一个使用人类反馈进行微调的预训练生成文本模型。不像以前的模型主… 过去的一年OpenAI的chatGPT将自然语言的大型语言模型LLM推向了公众的视野人工智能AI如一夜春风吹遍了巴黎全世界都为AI而疯狂。 OpenAI ChatGPT是一个使用人类反馈进行微调的预训练生成文本模型。不像以前的模型主要在单个提示符上操作ChatGPT通过对话提供了特别令人印象深刻的交互技能结合了文本生成和代码合成。这些模型正在广泛的应用中发生革命性的变化。这些模型在文本生成、机器翻译和代码合成等各种任务中取得了显著的成果。进而迅速发展到文生图文生视频的阶段几个月前SORA的出现更使人们惊呼人工智能时代已经到了。 到目前为止chatGPT输出的文本对于人类而言已经近乎于完美而生成的图片和视频不乏惊艳之作。但是生产的文本依然会出现文不对题的现象而且每次输出的文本存在区别。而图片和视频还略显幼稚。有待进一步地提升。 基于大语言模型的各种生成系统的不确定性和错误的风险给人们一个感觉将LLM 应用于物理设备的控制目前仍然是不现实的。LLM 在工业领域的应用仅限于知识库图像识别的少数领域。 本文介绍国外论文中的一些内容探讨ChatGPT的能力是否以及如何推广到机器人领域。如果控制物理的机器人成为可能那么将chatGPT技术延伸到物理世界就只是时间问题了。
基本思路 机器人系统与纯文本应用程序不同需要对现实世界的物理、环境背景以及执行物理动作的能力有深刻的理解。生成式机器人模型需要具有强大的常识性知识和复杂的世界模型以及与用户交互的能力以物理上可能且在现实世界中有意义的方式解释和执行命令。这些挑战超出了语言模型的原始范围因为它们不仅必须理解给定文本的含义还必须将意图转化为物理动作的逻辑序列。 鉴于机器人技术是一个多种多样的领域存在多种平台、场景和工具因此存在各种各样的库和api。我们没有要求LLM输出特定于平台或库的代码这可能涉及大量的微调而是为ChatGPT创建一个简单的高级函数库来处理然后可以在后端链接到所选择平台的实际api。因此我们允许ChatGPT从自然对话中解析用户意图并将其转换为高级函数调用的逻辑链。 从上图可见机器人的控制依然保留了现有工程控制的方式使用API和程序库来控制机器人的动作这里将会使用各种数字化模型例如OPCUA 工业4.0 管理壳等。物理设备仍然基于已有的数学模型物理原理和机电控制算法来控制我们并没有打算让chatGPT 来代替传统的工程设计而是为chatGPT构建一个连接物理世界的接口。 机器人与ChatGPT 推动机器人控制的LLM提出了几个挑战例如提供对问题的完整而准确的描述识别允许的函数调用和api的正确集合以及使用特殊参数使答案结构有偏差。为了在机器人应用程序中有效地使用ChatGPT我们构建了一个由以下步骤组成的管线:
定义一个高级机器人函数库。此库可以特定于感兴趣的形式因素或场景并且应该映射到机器人平台上的实际实现同时具有足够的描述性以供ChatGPT遵循;为ChatGPT构建一个提示符 prompt它描述了目标同时还标识了库中允许的高级函数集。提示符还可以包含有关约束的信息或者ChatGPT应该如何构建其响应;用户在循环中评估ChatGPT输出的代码通过直接分析或模拟并向ChatGPT提供关于输出代码质量和安全性的反馈;在对chatgpt生成的实现进行迭代之后可以将最终代码部署到机器人上。 通过这项工作人们希望为融合LLM和机器人技术的未来研究开辟新的机会和途径。我们相信我们的研究结果将启发和指导这个令人兴奋的领域的进一步研究为开发新的、创新的机器人系统铺平道路这些系统可以以自然、直观的方式与人类互动。 机器人API库的构建和描述 机器人技术是一个成熟的领域已经存在大量的库无论是黑盒还是开源都可以用于感知和动作领域的基本功能(例如对象检测和分割映射运动规划控制抓取)。如果在提示符中适当指定LLM能够使用这些预定义的功能进行机器人推理和执行。 提示符设计的一个重要要求是所有API名称必须描述整个函数行为。明确的名称对于LLM推断api之间的功能连接并为问题产生所需的结果至关重要。因此我们可以定义高级函数它们作为来自各自库的实际实现的包装器。例如一个名为detect_object(object_name)的函数可以在内部链接到一个OpenCV函数或一个计算机视觉模型而像move_to(x, y, z)这样的函数可以在内部调用一个运动规划和避障管道以及用于无人机的适当的低级电机命令。在提示符中列出这样一组高级函数是允许ChatGPT创建行为原语的逻辑序列以及推广到不同场景和平台的关键。
提示符中清晰地描述任务细节 通过提供对所需机器人任务及其上下文的清晰而简洁的描述ChatGPT可以生成更准确的响应。除了机器人的api一个好的上下文描述应该包含:
约束和需求:指定与任务相关的约束或需求。如果任务涉及移动物体你可以指定要移动的物体的重量、大小和形状。环境:描述机器人任务发生的环境。例如如果任务是在迷宫中穿行你可能会描述迷宫的大小和形状以及需要避开的障碍物或危险。当前状态:描述机器人系统的当前状态。例如如果任务是捡起一个物体你可能会描述机器人和物体的当前位置和方向。目标和目的:陈述任务的目标和目的。如果任务是组装一个拼图你可以指定需要组装的碎片的数量和期望的完成时间。 解决方案示例:演示如何解决类似的任务作为指导LLM案策略的一种手段。例如如果一个任务涉及到与用户的交互我们可以描述一个例子说明机器人应该如何以及何时要求用户输入。注意启动也会引入偏差所以我们应该提供多样化的例子避免过度规定性的语言。 任务描述 完成提示工程之后就可以向chatGPT 提出任务了下面是一个例子 为机器人问题定义不同api时的良好提示实践示例。明确机器人可以执行的函数定义明确说明任务目标 。 即使是设计良好的提示也可能不包含解决问题所需的所有必要信息或者在某些情况下ChatGPT无法以零概率的方式生成正确的响应。在这些情况下我们发现用户可以采取的一个简单而有效的策略是以聊天格式向ChatGPT发送描述问题的附加指令并让它自行纠正。以前依赖于GPT-3模型的方法。要求用户重新设计输入提示符并从头生成新的输出。然而ChatGPT的对话功能是一种非常有效的行为纠正工具。
仿真的重要性 虽然ChatGPT的功能令人印象深刻但不应忽视实际部署的安全考虑特别是在物理机器人部署的情况下。 我们发现在ChatGPT产生意外行为的情况下有必要让一个人在循环中进行监视和干预。此外在将模型部署到现实世界之前使用模拟器对评估模型的性能特别有帮助。我们强调ChatGPT在机器人中的应用并不是一个完全自动化的过程而是作为一种增强人类能力的工具。
结束语 当chatGPT后人们最沮丧的事情也许是突然发现过去的艰辛努力获得的经验技术突然之间被AI白嫖了而且自己在未来的角色也显得不重要了。这就是AI代替和超越人类的终结目标。现在看来并非如此。让AI 直接从头学习和理解物理世界是不现实的。将AI作为思考推演和交互工具与传统的物理系统作为观测与执行机构相结合是可行之路。今天我们在解决IT/OT 融合在不远的将来我们将面临AI/OT的融合。 AI/OT的融合是一个有趣的话题也是可以马上开始的探索之路。
