ChatGPTの翻訳力についての最新の所感（2024/12/23）
本サイトでは、ChatGPT や Claude といった生成AIの翻訳能力について詳しく解説をしています。現時点では、使用感などの問題から、基本的には DeepL をメインのツールとして用いて、ChatGPT や Claude といったツールは DeepL に対するセカンドオピニオンとして用いるのが良いのではないか、というのが堂本の考えです。
関連記事としては、【2024年決定版】機械翻訳の正しい使い方 に特に情報がまとまっておりますので、よろしければご笑覧いただければ幸いです。
ただ、この『2024年決定版』と題した記事を書いてから、12月には OpenAI が ChatGPT について12日間に渡ってのアップデート発表を行いました。これを書いている時点ではまだイベントで告知されたアップデートのすべてが利用可能になっているわけではないのですが、そうでなくても最近、純粋な翻訳能力としては、DeepL よりも ChatGPT の方が上回っていると感じることが増えてきました。恐らく、今後も ChatGPT はより翻訳のレベルを高めていくでしょう。
これについて記事をまとめようと思ったのですが、TIPS のページに載せるような記事というほどには厳密な調査などを行っているわけではなく、個人の感想や感覚に頼った雑記に近くなることが予想されるので、一個人のブログとして消費することにします。
ChatGPT は DeepLを越えたか？
前述した通り、ChatGPT の翻訳能力が、DeepL を上回っていると感じることが増えてきました。これまでは両者を比べても ChatGPT が DeepL を『大きく』上回るということはなく、局所的には上回るパフォーマンスを見せるも、総合的な能力では同じくらいで、同じくらいのパフォーマンスなら、アプリやツールとしての使い勝手が良い DeepL をメインに据えるのが良いのではないか、というのが僕の考えでした。
もちろん今でも、機械翻訳というものの精度が手放しで100%になることは有り得なく、人間が必ず目を通して精度を確認しなければいけない以上、『使い勝手が良い』ことを優先して DeepL をメインで使うのが良いだろうとは思っています。しかし、DeepL の訳が腹落ちしなかったときに ChatGPT に翻訳をさせると、非常に良い翻訳をすることが、ここ最近増えているような気がしているのです。
この変化の原因は一概には言えません。ひょっとすると ChatGPT-4o にマイナーアップデートが繰り返されており、それによって DeepL を上回る翻訳をするようになったのかもしれませんし、僕がここ最近翻訳させたものがたまたま ChatGPT が得意とするものだったのかもしれませんし、あるいは最近の ChatGPT の進化に感動した僕が ChatGPT の翻訳を過大評価しているだけなのかもしれません。
ただ、翻訳者の目線から見て、DeepL が誤訳したところを ChatGPT はちゃんと訳出できている、というようなケースが最近は多い気がする、このことは主観的経験としては確かです。
ChatGPT 01の翻訳力
ChatGPT 4o の進化版である ChatGPT o1 の翻訳力は、DeepL を遥かに凌駕しています。ChatGPT 4o と比較すると翻訳に少し時間が掛かっていますが、これも大きな障害となるようなものではなさそうです。とは言え、このモデルを利用することは現状コストが大きく、翻訳のためだけに ChatGPT o1 を用いることは明らかにコストパフォーマンス的に不合理です。またもちろん、ChatGPT o1 の翻訳が完璧というわけでもありません。
過去のモデルやクラウドソーシング（Lancers、Crowdworks、ココナラ）での平均的な翻訳者などとの比較は以下をご確認ください。
ChatGPT は本当に翻訳しているのか？
僕自身がずっと疑問に思っていることとして、「ChatGPT がやっている『翻訳』というのは、DeepL がやっている『翻訳』と同じなのか？」という疑念があります。つまり、ChatGPT が翻訳を行うシステムは、DeepL が翻訳を出力するシステム（プロセス）とは、微妙に異なるのではないか、ということです。
もしも ChatGPT が、翻訳をするようにプロンプトで指示を受けたとき、DeepL と同じように翻訳するなら、その結果は（DeepL がそうであるように）同じ原文なら同じ訳文になることが期待されます。しかし実際には、ChatGPT にある原文を与えて翻訳させると、試行の度に異なる訳が出力されます。
僕が想像する ChatGPT の翻訳とは次のようなものです。ChatGPT は、与えられた原文と『同じ、あるいは近しい解釈になる文』を生成しているに過ぎないのではないか。つまり、原文と訳文を照らし合わせて語義を確認したり語同士の近さを考えたりしているのではなく、原文をそのままプロンプトとして、『近い文』を再生成しているに過ぎないのではないか。
もしもこの想定が正しいなら、ChatGPT が翻訳とされる業務において行っていることは、翻訳ではない文生成とやっていることが本質的には変わらないということになります。そしてこのことは、DeepL とは異なるプロセスで（そして ChatGPT にとってはいつものプロセスで）ハルシネーションが起こり得ることを表しているとも言えます。
もちろん、こうしたプロセスがあるから ChatGPT の翻訳は的を射た翻訳になるのだ、と言うこともできるでしょう。そして DeepL と異なるプロセスで翻訳しているとすれば、DeepL と ChatGPT を併用することでふたつの角度から翻訳を確認できるということにもなります。それは翻訳業務においては大いに役立つとも言えるでしょう。
また、仮に翻訳の精度が概して DeepL よりも高いとすれば、何らかのツールを用いてプロンプトレスに ChatGPT の翻訳を出力できるようになれば、DeepL の強みである使いやすさの優位性がなくなるので、ChatGPT がメインの翻訳ツールになる可能性も出てくるかと思います。
ChatGPT の翻訳業務への貢献
上記のように、ChatGPT は『良い翻訳』をするようになっており、そして DeepL と合わせて用いることでより多角的に翻訳を行うことができると言えます。
その上、最近は ChatGPT が検索能力を持ち、特定の用語を調べることが容易になりました。例えば、『〜という文脈において、XXとはどういう意味ですか？』といった調査がオンライン検索を踏まえて可能になったことは、大いに助けになるアップデートです。
他にも、例えば原文を読解する上で代名詞の指示対象が判然としないようなとき、原文を入力し、「以下の文章において、he が示す人物は誰だと考えられますか？」といった質問をすることで、ひとつの解釈を得ることができるといった使い方などもあります。
このように、翻訳をする中で疑問があるときや、解釈を確かめたいときなどに、ChatGPT は大いに役立つツールとして活用できるものになりました。
ChatGPT の利用言語の影響
ChatGPT が日本語よりも英語の方がより良いパフォーマンスを発揮するということは既に多くの人が知るところですが、その傾向は今も続いているようです。例えば僕自身（堂本秋次）について訊ねるとき、日本語で訊くと全く的外れな回答でしたが、英語で訊くと実際のデータを参照して正確な回答を得ることができました。
日本語で『堂本秋次』について訊ねた場合、翻訳家であることにすら触れられていませんでした。ここの下には京都の美術館が引用されており、どうやら著名な同姓の人物と混同されているようです。
英語の場合はかなり詳しい情報が出てきました。ここの日英での言語差は、ChatGPT に関連したSEO施策においても大きな意味を持つと言えるでしょう。
ChatGPT は大きく進化を遂げ、翻訳業務におけるサブタスクを効率的に行う上で大いに助けになるパートナーとなりました。しかしもちろん、すべては ChatGPT を盲目的に信じて良いということにはなりません。翻訳のセカンドオピニオンとして使う場合はもちろん、解釈を確認したり調査をしたりする場合にも、最終的な生成内容をプロの目で確認し、その妥当性を判断する必要があります。加えて、トランスクリエーションやローカライズ、SEO要素を含む翻訳などについては、まだ人間が担うべき領域が大きいとも言えます。
そうした意味では、やはり ChatGPT を翻訳においてどのように使うべきか、というところはあまり変わっていないと言えるでしょう。
