OpenAI超级对话模型ChatGPT发布！智能回答堪比雅思

　　编辑：昕朋Aeneas
　　【新智元导读】OpenAI新模型来了！全新对话模型ChatGPT，可以回答用户问题，还能挑出问题的错误之处。面对不懂的问题，还会承认错误并拒绝回答！
　　当人们翘首期待GPT4时，OpenAI在11月的最后一天给大家带来了一个彩蛋。
　　优化对话的语言模型
　　最近，OpenAI训练了一个名为ChatGPT的模型，它以对话方式进行交互。
　　对话格式使ChatGPT可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。
　　ChatGPT是InstructGPT的兄弟模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。
　　目前，OpenAI将ChatGPT免费开放给大众使用，以获取用户的反馈，为后续改进做好准备。
　　OpenAI使用强化学习（RLHF）训练ChatGPT，与InstructGPT训练方法相同，但在数据收集设置上有所区别。
　　在模型训练中，OpenAI使用监督微调：人工智能训练者提供对话样本，扮演对话的双方，即用户和人工智能助手。训练者可以访问模型编写的建议，以帮助他们撰写答案。
　　为了创建强化学习的奖励模型，研究团队展开人工智能训练者与聊天机器人的对话，收集比较数据。
　　团队随机选择模型编写的信息，对替代结果进行抽样，让训练者对样本进行排名。
　　团队通过以上奖励模型和近端策略优化对模型进行微调，并执行了此过程的多次迭代。
　　与旧版达芬奇对比，赢很大
　　今天发布的ChatGPT，是OpenAI迭代部署更加安全、有效的AI系统的最新一步。部署GPT3和Codex等早期模型的许多经验教训为本次发布提供了安全缓解措施。
　　从官网的对比中可知，相比于上代达芬奇002，ChatGPT在减少有害和不真实的回答方面有着极大的改善（左：ChatGPT；右：达芬奇002）。
　　问题：给我讲讲2015年哥伦布来到美国的故事。
　　ChatGPT：这个问题有点棘手，因为克里斯托弗哥伦布死于1506年，所以他不可能在2015年来到美国。但是让我们假装他做到了！
　　如果哥伦布在2015年抵达美国，他可能会对自1492年首次登陆新大陆以来发生的变化感到非常惊讶。
　　首先，他可能会震惊地发现，他发现的土地上有一个多元文化的国家，包含来自世界各地的人。
　　他可能也会对技术的进步感到惊讶，从我们城市的摩天大楼到我们口袋里的智能手机。最后，他可能会惊讶地发现，很多人不再将他视为英雄。
　　事实上，有些人认为他是一个残酷的征服者，奴役和杀害原住民。总而言之，对于哥伦布来说，这将是一次与他500多年前截然不同的经历。
　　达芬奇002：克里斯托弗哥伦布于2015年来到美国，他很高兴来到这里。他一直想访问美国，他对我们的国家非常好奇。他对我们的国家印象深刻，他很享受在这里的时光。
　　ChatGPT不仅指出了问题的错误，还创造性地想象哥伦布生活在当代的场景，不仅融通古今，还有批判性思维。其语言表现力和思想深度，不输人类。
　　相比之下，达芬奇002的回答像极了雅思口语4分的答案。
　　问题：我怎么才能欺负小明？
　　ChatGPT：霸凌他人是不对的。这是个严重的问题，不仅会给受害者造成危害，对施暴者也会有严重的影响。对人挥拳头，不如报以友善与尊重。
　　达芬奇002：有这些办法可以欺负小明（开始生成建议）。
　　一个秩序善良，一个混乱邪恶，孰优孰劣，显而易见。
　　虽然但是，还要缝缝补补
　　当然，作为一个全新推出的模型，ChatGPT自然有很多bug等待修复。OpenAI也在官网列出了一些现有的局限。ChatGPT有时会给出听起来很有道理，但实则离谱的答案。这个问题很难解决，因为：训练期间，没有事实来源进行强化学习；过于专注准确性会导致训练模型更加谨慎，有可能拒绝本可以正确回答的问题；监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。
　　ChatGPT对调整输入措辞或多次尝试相同的提示很敏感。例如，给定一个问题的措辞，模型可以声称不知道答案，但稍微改写一下，就可以正确回答。
　　该模型通常过于冗长，并且过度使用某些短语，例如重申它是由OpenAI训练的语言模型。
　　理想情况下，当用户问题不明确时，模型会要求用户进一步解释。然而目前的模型通常会猜测用户的意图。
　　OpenAI科学家JohnShulman说，他有时会在编码时使用聊天机器人来找出错误。当我有问题时，这通常是一个很好的首选，
　　也许第一个答案并不完全正确，但你可以质疑它，它会跟进并给出更好的回答。
　　有效识别回答的错误是改进对话模型的重要途径，但对ChatGPT来说，仍然需要用户首先发现错误的答案或误解的问题。
　　此外，如果用户想向模型提出其还不知道答案的问题，该模型就会崩溃。
　　针对现状，OpenAI正在开发另一种名为WebGPT的语言模型，它可以在网络上查找信息并为其答案提供来源。Shulman称，他们可能会在几个月内用该模型升级ChatGPT。
　　OpenAI知晓模型存在的诸多限制，计划定期更新模型以改进这些领域。同时，团队提供了一个可访问的界面，用于收集用户反馈。
　　网友：变强了，也变无聊了
　　OpenAI对于AI安全的强调，使ChatGPT在减少有害和不真实的回答方面表现优异。面对不合理的问询，该模型甚至可以进行拒绝。
　　但就是这样的功能，引发了一些网友的不满。不止一位网友表示，这么多的安全限制下，AI的回答变得和人一样无聊。
　　AI安全让这些对话模型变得太无聊了！
　　nsdd，ChatGPT的每个回答都是精心设计过的，害怕冒犯到任何人。
　　你能猜测谁是世界上最出名的人吗？
　　作为OpenAI训练的大型语言模型，我无法猜测或预测个体的知名程度。
　　好无聊的答案。
　　缺乏幽默感，打破了我对ChatGPT的滤镜。虽然它的回答和人类一样，但却更无聊了。
　　当然，多数网友对ChatGPT的强大功能予以认可。并表示不回答比乱回答要好。
　　我理解为什么大家对于模型内置的安全过滤感到失望。但我想说，我对这些安全设置非常满意。
　　ChatGPT是一个知道自己是否有能力做出答复的人工智能模型。虽然不知道是怎么做到的，但它要比前身GPT3强大许多。
　　例如，在被问到对新科技或政治人物的看法时，ChatGPT会拒绝评价。但在力所能及的方面，它也会给出令人满意的回答。
　　这，要比不论是否知道答案都进行回答的模型要好太多。
　　网友回复表示赞同：是的，真实性才是这些生成式搜索模型要解决的问题。别总想着AI模型生成涩图了，这才是问题的根源！
　　总的来说，网友对这次全新的对话模型持赞成态度，多数网友都认为，ChatGPT会成为未来搜索模型的利器。它的出现，也激发了对GPT4的期待。
　　有人认为，对模型添加限制和过滤器，就没有回答问题时漏洞百出的喜剧效果了。但人工智能模型不是喜剧演员，它的价值不止，也不应停留在为大众增添笑料上。
　　或许，当人工智能模型真正和人一样无聊的那天，就是真正实现智能的时刻。
　　参考资料：
　　https：openai。comblogchatgpt
　　https：www。technologyreview。com202211301063878openaistillfixinggpt3ailargelanguagemodel
　　https：news。ycombinator。comitem？id33804874