生成AIでの代替化?
生成AIの普及によって多くの産業、多くの仕事が変化することは間違いありません。
リサーチ業務に関しても生成AIの活用が進むことは、10月のJMRAカンファレンスに参加して明確に感じることが出来ました。
このカンファレンスのあるセッションでは、生成AIによってリサーチ業務は
1)効率化が進む → 2)高度化が進む → 3)代替化が進む
という説明があり腹落ちしました。
現在は「1)効率化が進む」の段階で調査票作成や集計、レポート作成のAI活用が進みつつあり、次いで人間では分からない「2)高度化が進む」にも何らかの形で進むと思われます。
しかし、リサーチの「3)代替化が進む」まで行くのかどうかは懐疑的です。
代替化とはある分野で大規模なアンケートを行って、その結果をもとにAIパネルを構築して、そのAIパネルにその分野のアンケートに回答させるという考え方です。
こちらについて、石田さんが下記の実験を行ったので1部を共有します。
私の現時点での認識も石田さんと同じです。
=====
ChatGPTのDeep researchで、AIや大規模言語モデル(LLM)を用いて「人間の調査回答を模擬や代替する可能性」について2025年に執筆された論文を3つほどピックアップしてもらい、それぞれの趣旨と要約をまとめたファイルを添付します。
(ChatGPTに出力させたものをDeep researchに修正させたファイルなので、完成度は高いと思いますが細かなニュアンスで間違いはあるかもしれません)
■ 3論文を総合した、結論のまとめも出してもらいました。
---------------------------------------------------------------------------------------------
・LLMは平均的な傾向や多数派の意見分布を一定程度再現できるが、個人差(分散)を十分に再現できず、多様性が不足する。
・質問文や選択肢のわずかな変更で回答が大きく揺らぎ、プロンプト依存性が非常に高い。
・人間が示すようなバイアス(例:後順バイアス)をLLM自身も示しており、“人間に似た”ゆがみを持つ。
・インタビュー情報など文脈を与えると整合性は向上するが、それでも心理測定学的構造(因子構造など)の再現は難しい。
・国・文化レベルの分布シミュレーションも部分的には可能だが、未知の質問・国では精度が落ち、調査の代替にはまだ不十分。
*総合すると、LLMは“補助的ツール”としては有望だが、
現状では“人間調査データの完全な代替”にはならないという結論で一致している。*
---------------------------------------------------------------------------------------------
上記は、おおよそ石田の認識とも合致しています。
=====
コメント