アリババ発の機械翻訳モデル: 他の機械翻訳ツールとの比較検証
中国を代表する世界的テクノロジー企業、アリババグループが、独自の翻訳モデルである Marco MT を発表しました。この翻訳モデルは既に利用可能となっており、主にEコマースなどの分野で用いられるものであるということです。
マッキンゼー（McKinsey）のレポートによれば、今後成長が見込まれる業界のトップとしてEコマースが期待できるとされています。これはスマートフォンなどのデバイスが広く用いられるようになったこと、また食品をネットで買うことが一般化してきたことが傾向として見られるためであるとされ、これを踏まえると、このタイミングでの Marco MT の発表は見過ごせるものではありません。
そこで以下では、非常に簡易的ながら、既存の機械翻訳ツールである DeepL、また生成AIである ChatGPT や Claude、Gemini との、英日翻訳の比較をメインとして、Marco MT の利用可能性について検討します。日英翻訳の比較を行わないのは、2024/10/30 現在、Marco MT が日英翻訳に対応していないためです。
Marco MT の翻訳能力について
Marco MT は複数の言語に対応していますが、翻訳元の言語でインプットできるのは英語、中国語、トルコ語、スペイン語の4種類のみです（2024/10/30現在）。アウトプット先としては、日本語を含む20ヶ国語に対応しています。DeepL が30ヶ国語に対応しているところを見ると、特別に多いわけではなさそうです。
ただし、Marco MT の強みは『学習元のデータが少ない言語』の翻訳能力であるとされています。こうしたクオリティを図る上で Meta 社が提唱している FloRes 基準では Google 翻訳や DeepL、ChatGPT を上回るスコアを得ているとされています。FloRes 基準では英語版 Wikipedia から様々な分野の3001のセンテンスを抽出し、これをプロの翻訳家が条件を揃えて101ヶ国語に翻訳したデータセットが用いられています。すべての翻訳が足並みを揃えていることから、多対多の言語翻訳システムの評価も可能であるとのことです。
実際の翻訳能力の比較
Marco MT はEコマースで用いられることを想定しているモデルなので、架空の商品の商品説明を英日翻訳させることを試みました。原文は、実際の商品を参考に ChatGPT に架空の商品説明を英語で作成させたものを用いています。
比較対象は DeepL（新モデル）、ChatGPT-4o、Claude 3.5、Gemini（いずれも2024年10月末時点の性能）となっております。その比較結果が【こちら】です。
結論から言えば、英日翻訳を見る限り、有意に Marco MT が優れているような印象は受けません。ある程度の粗さは（機械翻訳であることを鑑みて）目を瞑るとしても、Wireless Charging Friendly を『ワイヤレス充電に優しい』と翻訳するのは商品説明としては頂けないところです。『携帯電話のデザインを披露するための透明な背面が付属しています』という説明も要領を得ません。単純に『背面が透明なので携帯電話のデザインを損ないません』のような日本語にするのが自然でしょう。特に気になるこの2点について、他の翻訳を見てみると、ある程度自然に訳されていることが分かります。
このように比較してみると、少なくとも英日翻訳において、必ずしも Marco MT の翻訳が他と比べて優れているとは言えないことが分かります。もちろん、こうした商品説明の翻訳についてはSEOなどを想定して特定のキーワードを入れたり、ターゲットとなるコンシューマの属性に合わせた言葉使いに調整したりすることも重要ですから、そもそもどの程度まで機械翻訳がこれを担えるか（また、担うべきか）という点については慎重な判断が求められるでしょう。Eコマースにおける翻訳では、ローカライズやトランスクリエーションの要素が含まれることも珍しくありませんが、こうした翻訳については慎重な判断が求められます。
Marco MT の利用価値の検討
純粋な翻訳においては特に抜きんでたクオリティではない様子の Marco MT ですが、画像翻訳やライブチャットの翻訳、画像エディタ、バーチャルモデル、コンテンツ生成といった機能にも対応しています。Aidge（Alibaba International AI Platform）でテストできるこれらの機能をまとめて利用できるとすれば、それには利便性が認められるかもしれません（とは言え、一部日本語対応していない部分もあります）。
また、FloRes 基準は学習データが少ない言語の機械翻訳のクオリティを判定するものなので、Marco MT が今後よりマイナーな言語を取り入れていく場合、これのクオリティは既存のツールを上回ることもあるかもしれません。ただしその場合、現状のソース言語が4種類しかないことを鑑みると、英語や中国語で原文を用意して、それを他言語展開する、という形にするのが良い可能性もあります。
ちなみにこの『英語で原文を用意する』というのは、日本語の言語的ユニークさを考慮すると、他言語展開の上で有効な施策でもあります。例えば日本語の原文をプロの翻訳家に英語翻訳させ、この英語の文を他言語展開の軸とする、というやり方もあります。
