8月8日消息，自从ChatGPT等生成式人工智能诞生，就有不少开发者尝试将其作为编程中的辅助工具。

但近日，美国普渡大学的一项研究指出，ChatGPT在回答编程问题时的错误率，出乎预料的高。

据悉，ChatGPT在回答软件编程问题时，错误率超过了50%，并且这些错误很高明，足以骗过三分之一的提问者。

该研究团队分析了ChatGPT对517个Stack Overflow网站上的问题的回答，评估了其正确性、一致性、全面性和简洁性；并对12为志愿参与者进行了问卷调查。

最终的结论是，ChatGPT的回答虽然语言风格良好，但52%的回答是错误的，77%是冗长的。

同时，参与实验的志愿者只有在回答中存在明显错误时，才能发觉问题存在；其他情况下他们会被AI友好且细致的语言风格误导。

这无疑意味着，对于开发者来说，现阶段的生成式AI距离作为编程时的辅助工具还有着较为遥远的距离，甚至可能会起到反作用。

不过，需要注意的是，OpenAI很早之前就在官网告知用户，AI的回答“可能会产生关于人、地点或事实的不准确信息。”