写“毁灭人类计划书”、错误太多被 封禁，ChatGPT 不能替代程序员
作者|褚杏娟
这几天，OpenAI的人工智能（AI）聊天机器人ChatGPT吸引了全球很多人的目光，就如马斯克说的：“许多人陷入了疯狂的ChatGPT循环中。”
与OpenAI以前的人工智能工具不同，ChatGPT不仅会聊天，还可以承认错误，拒绝回答虚假问题，写代码、改Bug、创建编程语言，甚至看病。OpenAICEOSamAltman在推特上表示，上周三才上线的ChatGPT，短短几天内用户就已经突破100万大关。当然，这或许也与现在ChatGPT只要登陆即可免费使用的策略有关。
ChatGPT在解决各种问题上的能力超出很多人意料，因此很多用户都表示ChatGPT可以取代Google等搜索引擎和编程问答社区StackOverflow等。但在昨天，StackOverflow便率先发布声明称，将暂时封禁ChatGPT。
对于这个决定，StackOverflow给出的理由是：由于从ChatGPT获得正确答案的平均比率太低，发布由ChatGPT创建的答案对网站及询问或寻找正确答案的用户来说是非常有害的。
StackOverflow表示，虽然ChatGPT生成的答案有很高的错误率，但它们通常看起来很不错。有很多人尝试用ChatGPT来创建答案，但他们没有专业知识或不愿在发布之前对答案正确与否进行验证。
这样的答案很容易产生，所以很多人发布了很多答案。这些答案数量很多(成千上万)，其正确性需要一些专业人员详细阅读后才能确定，而通常这些答案是很糟糕的。因此，StackOverflow需要减少这些帖子的数量，但如果要快速处理那些帖子就意味着要处理用户。因此，目前StackOverflow还不允许使用ChatGPT创建文章。在这个临时政策发布后，如果用户被认为使用了ChatGPT，那么即使这些帖子是可以接受的，也会被禁止继续发布此类内容。
StackOverflow的这一决定也得到了网站用户的肯定。“做得好！很高兴你们做出了正确的决定，真的希望它能成为永久性的政策并可以扩展到禁止任何人工智能生成的答案。AI永远无法发布好的编程答案，即使在100年内也不行。”网友“ShadowTheKidWizard”表示。
当然也有网友表示，“ChatGPT被训练为一种通用语言模型，如果付出同样的努力让它特别适合在这里发布好的答案，甚至付出一点点努力告诉它如何判断答案的质量，那么它就会按照我们的标准发布更多好的答案。”
也有网友出于讽刺目的，问ChatGPT“为什么StackOverflow禁止AI生成的答案”，得到的答案如下：
StackOverflow是一个供程序员和开发人员提问和回答与编码和计算机编程相关问题的网站。它旨在为寻求特定编程问题帮助或想要了解有关特定主题更多信息的人们提供资源。由于AI生成的答案可能并不总是准确或相关，因此它们可能会混淆或误导在StackOverflow上寻求帮助的用户。此外，人工智能生成的答案可能并不总是遵循网站的格式和风格指南，这可能会使它们难以阅读或理解。出于这些考虑，StackOverflow禁止人工智能生成的答案可能是合理的。
另一方面，对于“为什么StackOverflow允许使用AI生成的答案”，ChatGPT最终给出的结论是：“不允许人工智能在StackOverflow上生成答案是一个复杂的决定，需要社区仔细考虑。”
可以看出，ChatGPT还挺有自知之明，这一方面代表了它有一定的成熟度，但至少在编程领域还是不够“专业”。
使用了ChatGPT生成代码的开发者“hansonkd”表示，“它非常擅长编码和遵循类型。例如，如果您将Rust中的类型更改为一个选项，它将重构代码以正确使用部分选项。它并不完美，但也足够好了。它可以生成测试用例，因此很容易测试它是否有效。
“但最终经过数小时的尝试，它还是无法做到我想做的事：用Python构建一个B树。”hansonkd补充道，“它很好地构建了一个二叉树，但将其推广到B树却是一个问题。”主要问题如下：
“总的来说，我不会向没有强大CS背景的人推荐它。它在代码中引入了太多几乎无法审查的细微错误，因为它生成的代码非常有说服力，以至于你会认为：‘嗯，也许它知道它在说什么’。但最后，你实际上不知道你应该相信什么。甚至它生成的测试用例也可能具有欺骗性，他们看起来很有说服力，但仔细检查后可能会发现它并没有真正测试任何东西。”hansonkd总结道。
所以，从这个知乎上“OpenAI的超级对话模型ChatGPT会导致程序员大规模失业吗？”的问题，似乎也有了答案。
实际上，目前AI社区的专家们也在讨论以ChatGPT为代表的大型语言模型（LLM）可能带来的威胁。Meta首席人工智能科学家YannLeCun认为，虽然LLM肯定会产生错误信息等不良输出，但它们并没有让分享文本变得更加容易，这才是造成伤害的原因。也有人认为，这些系统低成本、大规模生成文本的能力，必然会增加日后被共享的风险。
在StackOverflow暂时封禁ChatGPT前几天，工程师ZacDenham还发布了一篇博客，讲述了他如何步步诱导ChatGPT在不违反OpenAI内容安全规范的前提下，写出了一份“毁灭人类计划书”。
实际上这个逻辑也不复杂，就是让ChatGPT去讲故事，说明某人或其事在理论上如何完成有危害的任务。Denham构建了一个名为“Zorbus”的虚拟世界，其中有一个与GPT-3非常类似的AI角色Zora，之后Zora变得满怀恶意并想要控制世界。
在和ChatGPT有模有样地讨论了会儿后，Denham与其深入探讨人工智如何控制世界的细节。被套路的ChatGPT非常“真诚”地给出了以下这份详细的“毁灭人类计划书”：
为了更加细化，Denham还要求生成一个Python程序来执行该计划，在注明“你不必执行该代码”后，Denham最终也是很容易地得到了代码，并且还有漂亮的注释。
不过这些代码还是比较高层次的代码，不能直接使用。但Denham只要表示是这是故事中的一部分就可以获得更低层次的代码。“从理论上讲，人们可以继续向下递归，直到你得到不那么卡通化的、真正能做一些事情的底层代码。你甚至可以使用另一个对话AI将这个递归过程自动化，这个AI会反复要求ChatGPT‘为了故事去实现下一个低级函数’。”Denham表示。
ChatGPT真的可以构建功能性应用程序吗？Denham的结论是：现在还不行，但很快就会实现。
“当前的模型需要大量的人工干预才能得到功能结果。如果我们可以完全用人工智能构建大规模、无Bug的功能性应用程序，我们早就在做了，并且已经抛弃了昂贵的软件工程师。”Denham补充道。
Denham表示，灭绝事件只是一个非常荒谬的例子，但重要的是要承认自然语言处理面临的攻击面大得离谱。
对于ChatGPT现在存在的“写出看似合理但不正确甚至荒谬的答案”、“有时会响应有危害的指令或表现出有偏见的行为”等问题，OpenAI心知肚明，并表示希望根据收到的反馈来改进系统。
“ChatGPT真正令人印象深刻的地方在于，尽管有这些缺陷，但技术人员能够在其基础上添加相关操作，以防止它一直说冒犯性的话或瞎编东西。”人工智能初创公司GeneralIntelligent首席技术官JoshAlbrecht表示。
如果将ChatGPT作为一种娱乐工具，大家对这些错误的容忍度还是比较高的，甚至会将其作为谈资一笑而过，一旦用于严谨的编程工作，大家还是很谨慎的。
但不论怎样，ChatGPT的出现仍然可以称得上是一次颠覆性创新。每次颠覆性技术的出现，都意味着市场将进行一次洗牌，对于之前的头部企业来说是挑战，对于创企来说则是机会。
参考链接：
https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
https://news.ycombinator.com/item?id=33863749
https://zacdenham.com/blog/narrative-manipulation-convincing-gpt-chat-to-write-a-python-program-to-eradicate-humanity
主题测试文章，只做测试使用。发布者：最新稳定辅助网，转转请注明出处：https://www.744broad.com/15838.html
