ChatGPT-4/4o/01 の翻訳能力について
これまで、Claude-3 や Grok、Gemini、また DeepL などの翻訳能力と ChatGPT-4 の翻訳能力を比較するといったことをやってきましたが、先日 ChatGPT-4o というアップデートが出ましたので比較してきました。一覧については【こちら】からご確認ください（2024/5/20追記: リンク先の翻訳に、ChatGPT-40 と ChatGPT-4 を比較してコメントを追加しました）。
結論から言えば、翻訳能力には特に大きな変化はありません（上記の翻訳比較からも、大きな差が生まれていないことが分かります）。ChatGPT-4 の翻訳と比較すると自然な翻訳という感は上がっていますが、機械翻訳ツールとして何をメインにするかと言われれば、未だに DeepL が最も有力だと思います。
ただ一方で、これまで無料版の ChatGPT を用いていた人にとって、今回のアップデートで全体に公開された ChatGPT-4o は革命的な変化に感じられることでしょう。また、マルチモーダルな使い方の精度が上がっているということで、例えば書類を読み込ませて翻訳をさせるなどの使い方の精度や応用可能性が ChatGPT-4 と比較して高まっていると言えます。
したがって総合的には、処理能力の向上によりレスポンスの速さやマルチモーダルな使い方の可能性が高まっている一方、翻訳能力それ自体に大きな変化はなかったので、使い方自体に大きな変化はなかった、と言えます。そのため、DeepL を使用すれば多くの場合は充分であると考えられます。もちろん、セカンドオピニオン、サードオピニオンの位置づけで使う分には、さらに信頼性が高まっているとは言えそうですが、それでも生成AIとしては Claude-3 の方が翻訳力は高そうです。
2024/12/27 追記: ChatGPT o1 の翻訳能力について
ChatGPT o1 の翻訳能力も、翻訳比較ページに追加しました。基本的には ChatGPT-4o を上回る能力で、非常に優れたパフォーマンスを示していますが、翻訳だけに使うにはモデルのコストが大きい印象です。既に ChatGPT o1 を別の方法で利用中であれば、高いパフォーマンスが必要な場合には o1 モデルで翻訳をするとより安心感が増します。ただしこれは、基本的な機械翻訳に対するスタンスが大きく変わるものではありません。
機械翻訳の本質について
機械翻訳（あるいはAI翻訳など）は、人間が入力した翻訳データに基づいています。そのため、そのデータが100%正しいものでない限り、こうした自動翻訳の精度が100%になることはあり得ません。そして人間は間違いを犯すものですから、データにも一定の割合で間違いが含まれることになり、自動翻訳の精度が100%に（漸近することはあっても）完全に達することはおよそないでしょう。
また、『自然である』と感じる感覚は主観的なものも多く含まれます。『自然である』ということを『納得感がある』と言い換えても、「納得感の正体とは期待される順序で情報が並んでいること」と言われる通り、個人が『どのような順序を期待するか』について差異を持つことから、やはり主観的な色は強くなります。
このことから、機械翻訳に『万人にとって自然であり、また100%正しい翻訳』を求めることはできない、というのが私が常々述べていることです。このことは、どれだけ AI が進化したとしても変わらない本質であると考えています。
しかしこのことは、機械翻訳は使い物にならないという意味ではありません。『100%正しいとは限らない必ずしも万人にとって納得感があるとは限らない翻訳』ではありますが、『細かいことに目を瞑ればそれなりに使える翻訳』、あるいは『多少間違っていても良い場面では使える翻訳』ではあります。つまり問題は、『常に最適・正確な翻訳をするわけではない』ことを踏まえた上で、その危うさがあるツールをどう使うか、という使い手の問題であるということになります。
今回、ChatGPT-4o へのアップデートにより、『よりそれっぽい翻訳』が出やすくなりました。これは確かに能力の向上であると言えます。その一方で、一見して自然な文章に見えるということは、翻訳が間違えていた場合にそれを発見することも難しくなったと言えます。
そしてこの現状は、ChatGPT-3 からの進化や、Claude-3 の登場のときと何も変わっていません。つまり今後も、新たなアップデートがあるたびに、『よりそれっぽくなったが、基本的な使い方や注意点は変わらない』と繰り返すことになると思います。
その上で人間の翻訳家がどういった立ち位置になるかについても何度か言及している通り、機械翻訳の『それっぽい翻訳』では駄目なときや、『最高の翻訳』が欲しいとき、『絶対に間違えたくない』ときには、人間の翻訳者に依頼を検討して頂くのが良いかと思います。
