AIを育てる人がAIに丸投げしてクビ？OpenAI関連の訓練現場で起きた皮肉

AIを賢くするために雇われた人が、仕事をAIにやらせていた。

コントのような出来事が、実際にAI訓練の現場で起きました。

OpenAI向けのモデル改善に関わる外部契約者の一部が、禁止されたAIを業務に使い、解雇や案件からの除外に至りました。

なぜ「AIを使って効率化」したらダメだったのでしょうか。

AIの先生役が、AIに答えを聞いていた

契約者の仕事の一つは、AIが書いた二つの回答を読み比べ、「どちらが自然か」「危険な答えではないか」と判断することです。ChatGPTの利用者との会話を読み、応答を評価する業務もあります。

いわばAIの答案に丸を付ける先生役。その先生が、採点を別のAIへ丸投げしていたらどうでしょう。発注側が集めたいのは人間の判断なのに、提出されるのはAIの判断になってしまいます。

取材を受けた契約者の一人は、仕事を助けてもらおうとAIを使ったことを認め、仕事を失ったと語っています。

契約者を仲介したMercorも、案件での大規模言語モデルの使用を契約で禁じ、違反を確認した人はプロジェクトから外すと説明しています。

普段の仕事でAIに文章の下書きを頼むのは珍しくありません。私も、AIをうまく使えば面倒な作業を減らせると思います。ただ、今回の商品は文章ではなく「人間がどう感じたか」という判断そのものです。

たとえば二つの接客文を見せて「お客さんにはどちらが親切に聞こえる？」と尋ねたのに、回答者がAIへその質問を転送していたら、アンケートの意味が変わります。人間には冷たく感じる表現でも、AIには整った文章として高く評価されるかもしれません。

OpenAI自身も、人間の評価をモデルの振る舞いに反映させる手法を説明しています。だからこそ、人間の評価として集めたデータにAIの判断が紛れ込むと困るのです。

もっとも、今回の違反が実際に訓練データへどれほど入り込んだか、モデルにどんな影響を与えたかは分かっていません。

この話には、もう一段おかしな展開があります。AIを使った契約者を調べる担当者にも「AIを使うな」と指示されていたのです。

内部リーク情報によると、GPTZeroなどのAI文章判定ツールは信頼できないとして使用を禁じていました。

監査担当者は、同じような言葉の繰り返し、不自然に速い作業、提出物全体の傾向を見て判断するよう求められていたといいます。AI利用を見破る仕事まで、人が担っていたわけです。

もちろん文章の癖だけで犯人探しをするのは危険です。手際のよい人が速く終えただけかもしれませんし、AIの文章を手直しすれば見逃すかもしれません。便利な判定ボタン一つで解決できないところに、この問題の厄介さがあります。

今回の報道から「ChatGPTが劣化した」とは言えません。契約違反とモデルへの実害は別の話です。

むしろ私が気になるのは、AI企業が「AIで仕事を速くしよう」と社会に勧める一方、品質の最後の砦では人間にAIを使わせられないという現実です。

少し意地悪に言えば、AIを売る会社ほど「ここだけは人間の答えが欲しい」と知っているのでしょう。

もう一つ、禁止を徹底するだけで十分なのかも考えたいところです。短時間で大量の評価を求められる現場なら、近道を探したくなる人は出てきます。

ただし、今回の違反が報酬やノルマに起因したと確認されたわけではありません。発注側は、違反を調べると同時に、人が考えて判断できる作業量と時間を確保する必要があると私は思います。

今回のニュースは、AI利用そのものを悪者にする話ではありません。「人間が評価した」と説明するなら、その判断を本当に人間が行い、どう確かめたかまで問われるという話です。

AIが作った答えを人が評価し、その評価をまたAIが手伝う。どこで人間の判断が入ったのか分からなくなれば、最後に残るのは「誰が責任を持って丸を付けたの？」という素朴な疑問です。

この皮肉な事件は、AIの性能より先に、AIを育てる仕事の作り方を問いかけています。