機械翻訳らしさを軽減するための手法の妥当性とMTPEの効率化の条件について

昨年末、AAMTという機械翻訳と翻訳業界の未来を考えるイベントに参加してきまして、そちらで「原文を与えられない場合、人は機械翻訳かどうかを判断できるのか」ということについて調査を行った研究結果を発表しました。

*イベント参加後のVlogについてはこちらから。

結果として得られたデータは膨大で、色々な示唆が得られそうではあったのですが、中でも機械翻訳らしさの軽減、翻訳者が執るべき手法や方略（あるいは翻案の採択）、MTPEの効率化の条件といったことについてまとめたのが、主な発表内容となっておりました。

さて、そのような名誉ある場に参加させて頂いたのですが、今回、そのAAMTのジャーナルに寄稿をすることになり、当時の研究発表内容を簡単にまとめることになりました。その原稿自体は既に送付済みであり、発表の許可も頂けているため、以下、ブログの記事としても公開します。

　・・・

1.   概要

昨今、機械翻訳の進化が目覚ましいことから、機械翻訳と人間翻訳の差分や棲み分け、あるいは共存について取り沙汰されています。しかし、翻訳する側や発注側の立場からの言及が多く、読み手としての立場から機械翻訳と人間翻訳の差分を比較したり、その有効性について議論をしたりする場面は多くない印象です。

そこで今回は、原文を伏せた状態で機械翻訳かまたは人間翻訳かを読み手に判断してもらい、原文を与えられていない場合でも読み手は機械翻訳と人間翻訳を区別できるのか、区別するとすれば、何を基準に区別しているのかを考察すると共に、従来言われている機械翻訳ツールの活用によるMTPE業務の効率性についても一考しました。

結論として、読み手の機械翻訳か人間の翻訳かの判断は恣意的であり、その正答率はおよそ50%であること、翻訳者は原文に対する工夫ではなく読み手に対するアプローチとしての工夫を行うことで読み手に狙った効果を与えたり評価を得たりできる可能性があること、またMTPE業務における効率化には作業内容の限定やプレエディットの活用が有効である可能性があることが示唆されました。

以下、本記事では、機械翻訳に対して人間が行った翻訳を「人間翻訳」と呼称します。

2.   調査手法と主な分析

本調査では、読み手に対して原文を与えず、訳文のみからそれが機械翻訳（今回はDeepLを用いています）であるか、または人間翻訳（今回は本記事執筆者、つまり堂本が翻訳しています）であるかを判断させています。調査方法はオンラインクラウドソーシングサービスであるLancersのタスク方式での依頼により、1ユーザーにつき1回の回答を行わせることで450近い回答を集め、Twitterなどを通じてさらに30近い回答を集めました。結果として、一般にも機械翻訳と人間翻訳を原文から区別することは非常に難しいらしいことから、すべての訳文を正しく機械翻訳か人間翻訳か判断できた回答者（全問正解者）は出ませんでした。その上で、この回答や同時実施したアンケートなどをもとに、機械翻訳かどうかをどのように判断したか、また読み手が良い訳文を判断する基準および翻訳者のアプローチと読み手の判断基準の一致について検討しました。

分析の中では、読み手は原文と訳文を一般に比較しないため、原文に対する工夫（原文の言葉遊びや表現のユニークさの訳出、原文の語順の維持など）は、一概に読み手に評価されないことが確認されています。一方、例えば読み手に「小難しい印象を与えたい」や「意図的に読みにくさを演出したい」といったような場合に、適切なレトリックやアプローチを用いることは効果があり、読み手の読書体験においてポジティブに受け入れられるものであれば、読み手にも「良い翻訳である」や「人間的な翻訳である」というように受け入れられる傾向があることが理解されました。

このことから、人間翻訳に対しては、「読みやすさ」「理解しやすさ」「直感的な語順」が期待されているとされますが、「人間翻訳らしい工夫」は特に求められていないと考えられます。また、内容自体の難しさによっても、人間翻訳への評価が下がることがありますが、これは「読みにくい」ことや「理解しにくい」ことの原因が翻訳へと帰結されてしまうことによるものです。

こうしたことから、機械翻訳らしさを軽減する（読みやすく、理解しやすく、語順が直感的である文にする）には、「一文を短くする」や「ディスコースマーカーを用いる」といった方略が一般に有効です。また、意外性のある語彙を用いることが機械翻訳らしくないという印象になることもあるようです。しかし、「機械翻訳らしさ」は最終的に読み手の主観的判断によって決まるため、翻訳時には原文に対してではなく、読み手に対して工夫を行うことが重要であることを強調しておきます。

3.   MTPEの限定的有効性

また、今回は機械翻訳の訳例の中に敢えて間違いが含まれているものを紛れ込ませることで、これを文脈などから判断して指摘し、機械翻訳であることの証拠（あるいは人間翻訳であることの証拠）とする回答があるかを確認しました。しかし、こうした指摘は全体を通して見られず、訳文のみから訳出上のエラーを発見し、これを修正することは困難であることが理解されました。これは、機械翻訳ツールによって翻訳された出力結果を与えられ、それに適宜修正を加えるというやり方が一般的であるMTPEの効率性に疑問を呈するものです。原文からエラーを発見することは非常に困難であることから、「誤訳判定」までポストエディットで行う場合、原文との比較が必要になるため、効率化が限定的になると言えるでしょう。このため、ポストエディットにおいての修正は限定的なものであるべきであり、そのスコープの合意が効率化の鍵となります。ただしこの修正範囲の合意は、翻訳者とエージェント間のみならず、エージェントとエンドクライアントとの間といった場面でも必要になることをつけ加えておきます。

一方、原文との比較が必要であるような場合、プレエディットを行い、出力に対するエラー修正にあたることで、機械翻訳を用いた効率化が可能になる可能性もあります。もちろんこの場合にも、プレエディット後の機械翻訳の出力に対してどの程度の編集が必要であるかの合意が必要であり、基本的にその程度は最低限であるべきと考えられます。

4.   まとめ

今回の調査結果から、翻訳者は読み手の視点に立って翻訳の妥当性を判断し、機械翻訳を用いてプロジェクトに関わる場合には、その出力結果のクオリティを鑑みてどの程度の修正を行うべきかのスコープをエージェントやクライアントとの間に明らかにすることで、効率化を実現していくことが求められると言えます。もちろん、機械翻訳の使用が推奨されない分野を明らかにすること、そうした分野における翻訳のやり方や手法の継承についても、今後の課題として一考の価値があります。これについては翻訳者のみならず、翻訳業務の第一受注先となっているエージェントの協力が不可欠であり、またクライアントの翻訳に対するリテラシーを高めていくことも長期的には必要と考えられます。