人間は生成AIの文かどうかを判断できるのか？
ChatGPT や Claude などの生成AIが広く使われるようになり、それで生成されたテキストが日常的にも用いられることが多くなってきました。そうした中で、例えば記事を量産するために生成AIを用いた後にそれの『生成AIによるテキストっぽさ』を軽減するというサービスもあるようです。
これに関連して、以前、AAMT という機械翻訳に関するカンファレンスにて、『人間はある訳文を機械翻訳かどうか判断できるのか』という発表を行ったことがあり、これがそれなりに好評であったことを思い出しました。該当のスライドは【こちらから】見ることができます。
また、この調査の前段階の調査についての動画と、このスライドを見ながら解説していった内容の配信アーカイブが残っています。ただ、これはあまりにも内容がニッチであったため、YouTube チャンネル全体のアルゴリズムへの影響を意識した結果、現在はメンバー限定公開の動画となっております。ただ、スライドを見ていただければ大体の内容はご理解いただけるかと思います。
以下では、前述の『機械翻訳か人間の翻訳かを区別できるか』の調査を元に、生成AIのテキストを後からの編集で人間らしくすることにどれほどの意味があるかについて考えます。
この調査では、『原文を与えず、訳文のみを与えたとき、それが人間の翻訳であるかどうか、人は判断できるのか』を調査しています。ここでの訳文はすべて堂本が翻訳したものですが、一部には敢えて『恐らく機械翻訳だと思われるだろう』という訳調で翻訳したものもあります。また、機械翻訳の出力結果は DeepL のものであり、堂本が確認して『人間の翻訳に誤解されるだろう』と思われたものを一切編集せず選んでいますが、中にはエラーが含まれているものも敢えて含まれています。
結論から言えば、人間には機械翻訳かどうかを訳文だけから判断することは難しいと言えそうでした。ちなみに翻訳者の属性がある参加者の正答率とそうでない人の正答率を比較してみると、やや翻訳者は機械翻訳を見抜くのが上手な傾向にありますが、人間の翻訳と機械翻訳を誤解する観点に有意な差はありませんでした。
このように見ていくと、生成AIの文章を人間らしくすることにどれだけの意味があるのかは疑問に思えるところがあると言えるかもしれません。一方では『SEO対策として人間らしくする』という面もあるかもしれませんが、SEO対策としては『生成AIで書かれたかどうか』よりも、あくまでそのコンテンツが読者にとって役立つかどうかの方が重要であるとされています。もちろん、生成AIのコンテンツの多くは独自性に乏しく、いわゆるEEATの原則に則らないものですので、人間が書いた方が良いということになりますが、それは『AIで書いたものを人間らしくすれば良い』という話とはまったく違う話です。
このような事情を鑑みるに、AIで書かれた内容を人間らしい文にすることの有効性や妥当性は低いと考えられます。一方、前述の翻訳チューリングテストで示唆されている通り、『自分にとって魅力的に感じられる文章を、人は人間が書いた文だと思う』のだとすれば、必要なのは『人間らしい文』ではなく『魅力的な文』なのであり、それは校正や推敲の段階で生まれるものではなく、白紙に書かれた時点で生まれ得るものであるとも言えるでしょう。
そう考えるなら、AIが書いたものを人間らしく見せようとするくらいなら、最初から人間が書いた方が良いということになりますし、同じように、機械翻訳らしさが残ることが気になるなら人間が最初から翻訳した方が良いということになります。同様に、マシンによるテキスト生成に対して人間が加える手直しは、生成AIや機械翻訳による明らかなエラーの訂正に留まるのが合理的だと思われます。
一方、AIの文章で良い、あるいは機械翻訳で良いと判断し、割り切ることや、前述の『人間の手直しの範囲』を明確に定めることができれば、生成AIや機械翻訳が有効なツールであることは確かです。この辺りを上手く棲み分け、時に共存できるかは、今も課題として多くの業界で議論されているところでもあります。
ちなみに、機械翻訳を上手く使うコツについてはUdemyでも解説しております。特にビジネスなどで機械翻訳を使うことが多い方向けに、翻訳に関するリテラシーを高めつつ効果的な使い方を考える講座となっております。よろしければご参考ください。
