インターネット調査の世界をご紹介します。: CotoELとChatGPTの比較検証

昨年度１年間をかけて開発し、４月にリリースした「ＡＩ分析ツール(CotoEL)」を多くの企業にデモ紹介をして高い評価を頂いています。

その中でChatGPTでもペルソナが作れるけど、それとCotoELではどの程度信頼性が違うのか、上司を説得するために検証した資料が欲しい、、というリクエストをいただきました。

発言の“人間らしさ”については以下のような疑問がよく聞かれます。

① AIはどれくらい“人間のように”思考や感情を語れるか（＝模倣性）

→例えば「迷い」「葛藤」「弱音」といった発言に、リアリティがあるかどうか

② 生成された言語に“AIらしい不自然さ”が残っていないか（＝自然性）

→「整いすぎた語尾」「説明的すぎる話し方」「感情が乏しい」など

・

CotoELは、実在のモニターが持つ18項目の属性情報（年齢・職業・家族構成など）と過去に回答した数十件から数百件のアンケート回答をもとに実在する個人の「n=1ペルソナ」を生成します。

そのため、背景情報が豊富で、「まるで実在する人物と対話しているかのような」自然な発言が得られるのが特長です。

とはいえ、CotoELのデモの場では「本当に人間っぽいのか？」「無料の生成AIでもペルソナ分析は可能だが、そこと比較してどれくらい違うのか？」という声をいただくことがありました。

そこで今回、ChatGPTで作成したペルソナとCotoELのペルソナ発言を同一テーマ・同一質問で比較し、その違いを生成ＡＩ（ChatGPT）で検証する実験を行いました。

その結果、ChatGPTのペルソナより、実際にモニター個人が発言した数十件～数百件のアンケートデータをもとにCotoELが構築した「実在する個人のＮ＝１ペルソナ」の方が信頼性が高いという結果が得られました。

生成ＡＩでの評価で、ChatGPTが６９点に対して、CotoELは９１点という結果です。

やはり実際に人が答えた実データをもとに作成したペルソナの方が信頼性は高くなるようです。

・

この検証実験に興味がある方は、下記のURLから検証レポートを見て下さい。

〇ペルソナ分析の発言比較

～ CotoEL とChatGPT の比較検証～

インターネット調査の世界をご紹介します。