ChatGPTとGemini の使い分けや翻訳能力の比較

いわゆる文章生成AIとして、ChatGPT はその筆頭としてあげられています。そして、それを追う形で期待されてるのが Google の Bard です。ChatGPT も Bard も生成AIではありますが、果たしてどちらの方が優秀で、どちらの方が使い勝手が良いのでしょうか。あるいは、どのように使い分けるべきなのでしょうか。

ここでは、実際に両方の生成AIを活用している立場から、それぞれの特徴について2024年1月15日現在の情報でまとめておこうと思います。

追記 (2024年2月9日)

2024年2月9日、Bard は Gemini と名称が変わりましたが、以下の記事は Bard の時点での内容となるため、Bard と表記しています。基本的な機能は変わりありませんが、翻訳については新たに Gemini の項目を設けました。

追記 (2024年3月23日)

Gemini が公開されてから時間が経ったので、改めて翻訳させてみました。

追記 (2024年5月20日)

Gemini 1.5 が登場したので再翻訳しましたが、利用したのは無料モデルです。新たなバージョンが出たことにより、無料モデルも改善されたことが期待されたため、改めて翻訳しています。

追記 (2024年8月25日)

アップデートがあり、精度が向上したとされていたので、改めて無料版で翻訳を行いました。

よくある誤解について

最初に Bard についてよくある誤解について触れておくと、以下のような画面で表示される「生成AIによる回答」、これ自体は Bard ではありません。

Bard を使うには、あくまで https://bard.google.com/chat にアクセスする必要があります。上記の生成AIによるテキストは SGE（Generative AI for Search Experience）というもので、検索クエリと関連するWebページの情報から検索結果の概要を生成しているものです。

Bardの強み

個人的に Bard の最も大きな強みと感じているのは、Google との連携、そして検索性です。ChatGPT も Bing を用いて検索をしたり関連URLを表示したりすることができますが、まだURLの取得が上手くいかなかったり、取得しても開けなかったりすることがよくあります。

一方、Bard は Google の検索結果を活用することができ、例えば「以上の内容についてエビデンスを提示してください」などのプロンプトを出すことにより、回答に用いた情報を明らかにできます。この情報を自分でも参照し、ダブルチェックすることで、Bard のレスポンスの内容に間違った点がないか、妥当な回答であるかを判断できます。もちろん、常にそうした情報を確認できるわけではありませんが、ChatGPT と比較するとかなり使いやすいように感じます。

加えて、ChatGPT と比較すると、日本語の自然さもかなり高いようです。ChatGPT を使う場合には英語で利用するのがベストプラクティスのようですが、Bard は日本語でも不自然のない使い方ができると言えます。

Bardの使い道

上記のような長所を踏まえると、Bard を使うときは “Google では直接検索しにくいこと” を調べるのに良いように感じています。例えば、次のような質問をするのに有効です。

ここでは、出典としてネット上に公開されているpdfが参照されていました。そのため、リンクやURLをそのまま表示させることはできなかったのですが、出典を改めて Google 検索したことで、確かに「上手」のことは stage left、「下手」のことは stage right と言うことが分かりました。

ChatGPTとの比較

一方、ChatGPT は何らかの作業をさせたり、コンテンツ（の下地）を作らせたりする点で有用です。僕自身も、ChatGPT を活用して英単語帳を作成しています。もちろん、Dall-E 3 を搭載したことで画像生成もしやすくなりましたし、アイデアの壁打ちなどもできます。

そのため、Bard は Google での検索の延長、あるいは調べ物の第一段階で、ChatGPT はコンテンツの作成や編集などにおいて使うようにするとどうやら良さそうです。

翻訳について

Bard に翻訳をさせる場合、その内容は Google Translate のそれとは異なります。具体的には、Google Translate の方が直訳的、Bard の方が意訳的に翻訳するようです。

例えば、“Any attempt to translate that ends up as a misunderstanding is, if not a mistranslation, definitely a bad translation.” という英文を翻訳させた場合、Google Translate は次のように翻訳します。

一方、Bard に翻訳させると、一度にいくつかのパターンを出してくれます。ちなみに今回のプロンプトは、Translate the following text into Japanese: [英文] というものでした。

もちろん、直訳だから良くない、意訳だから良い、ということではないですし、こうして提出された翻訳が実際に原文と照らし合わせて正しいかどうか、また妥当性が充分であるかをユーザーが判断する（あるいは責任を持つ）ことが重要であることは、DeepL を使う場合や ChatGPT を使う場合と同じと言えます。

この3つの意訳で言えば、Option 1はそれなりに素直な翻訳です（「どのような翻訳も」の後に読点を入れるとなお良さそうです）が、Option 2は「翻訳によって誤解が生じるものは」の部分がやや不自然です。また、Option 3の「真意が伝わらない翻訳」の部分は「誤解を招く」の言い換えとしてやや意味の変質が強いため、妥当性は慎重に判断する必要があると言えます。

そのため、翻訳については今のところ変わらず DeepL が最も使いやすいツールであり、ChatGPT や Bard、そして Google Translate はセカンドオピニオン（あるいはサードオピニオン、フォースオピニオン）として用いることで、それぞれの翻訳を比較して最も妥当性や適切性が高い翻訳を選ぶことがベストプラクティスであることには変わりないと言えるでしょう。

Gemini の翻訳能力

上記と同じ条件で Gemini に英日翻訳をさせたところ、2024年2月9日の時点では次のような結果が返ってきました。

どういうわけか、Option 1と2、どちらも誤訳になってしまっています。自然な翻訳にしようとして意訳を優先した結果、原文とは異なるメッセージになってしまう（結果として誤訳になる）というのは皮肉にも人間の翻訳者にもありがちな間違いです。

この結果から、どうやら Gemini は直接的に翻訳をしているのではなく、「翻訳らしい何か」をしているようだということが分かります。少なくとも当面の間、Gemini に翻訳を出力させるのは控えた方が良さそうです。

フィードバックをしておきました。
追記: 2024年3月23日時点でのGeminiの翻訳
前回から時間を置いて同じ翻訳を行ったところ、次のような返答になっていました。

回答案がいくつか出てくるところは同じですが、使い物になりそうな回答はひとつだけでした。この回答はやや直訳的ですが、意味を取りたいという場合には充分そうです。ただそれでも、敢えて Google Translate や DeepL ではなく Gemini を用いなければいけない理由がないため、翻訳的には使う動機が見当たりません。訳のバリエーションとしても、ChatGPT や Claude 3 などを用いる方が良いでしょう。

また、恐らくは英語圏の人の発音理解のための書き起こしと思われる部分が、正しい内容ではありませんでした。回答案2および3は内容自体が翻訳の体を為しておらず、やはり Gemini は（少なくとも英日翻訳が）苦手であると言えそうです。