语言不对,AI的能力差一大截。 一个正常的推理问题,用英语和中文分别提问,一

芷卉聊科技生活 2024-12-17 23:10:26

语言不对,AI 的能力差一大截。 一个正常的推理问题,用英语和中文分别提问,一个结果完全对,而另一个意料之外的错了。 在 ChatGPT 4o mini 和 Claude Haiku 上,测试了 N 次,结果都一样:英语提问,推理过程和答案都很完美,中文提问,双双变成了人工智障。 当然,如果在更大的模型,比如 ChatGPT 4o 或者 Claude 3.5 Sonnet 上,不管提问用英语还是中文,都能完全答对。 既然如此,为啥我还要发这个呢,我认为这可以说明,语言对于 AI 来说,非常重要,假如难度提升,更大的模型面对足够复杂的问题时,在不同的语言下,也会表现出不同的性能。 我尝试在国内模型下测试,看是否也有类似规律,没能得出类似结论,因为国内大模型,比如通义千问,kimi 等,提供的都是最新模型,能力都很强,英语中文都能对。而文心一言虽然提供了上一代大模型,在我测试 3.5 版本时,不管中文还是英语,又都错误,也就没法得出结论。 至少可以说,在用 ChatGPT 和 Claude 的模型时,最好用英语写提示词,能够最有效发挥模型的潜能,特别是在用更小的模型时,这一点非常重要,换成英语,性能也许就能提升20%。

0 阅读:0