CotoELとChatGPTの比較検証
昨年度１年間をかけて開発し、４月にリリースした「ＡＩ分析ツール(CotoEL)」を多くの企業にデモ紹介をして高い評価を頂いています。
その中でChatGPTでもペルソナが作れるけど、それとCotoELではどの程度信頼性が違うのか、上司を説得するために検証した資料が欲しい、、というリクエストをいただきました。
発言の“人間らしさ”については以下のような疑問がよく聞かれます。
① AIはどれくらい“人間のように”思考や感情を語れるか（＝模倣性）
→例えば「迷い」「葛藤」「弱音」といった発言に、リアリティがあるかどうか
② 生成された言語に“AIらしい不自然さ”が残っていないか（＝自然性）
→「整いすぎた語尾」「説明的すぎる話し方」「感情が乏しい」など
・
CotoELは、実在のモニターが持つ18項目の属性情報（年齢・職業・家族構成など）と過去に回答した数十件から数百件のアンケート回答をもとに実在する個人の「n=1ペルソナ」を生成します。
そのため、背景情報が豊富で、「まるで実在する人物と対話しているかのような」自然な発言が得られるのが特長です。
とはいえ、CotoELのデモの場では「本当に人間っぽいのか？」「無料の生成AIでもペルソナ分析は可能だが、そこと比較してどれくらい違うのか？」という声をいただくことがありました。
そこで今回、ChatGPTで作成したペルソナとCotoELのペルソナ発言を同一テーマ・同一質問で比較し、その違いを生成ＡＩ（ChatGPT）で検証する実験を行いました。
その結果、ChatGPTのペルソナより、実際にモニター個人が発言した数十件～数百件のアンケートデータをもとにCotoELが構築した「実在する個人のＮ＝１ペルソナ」の方が信頼性が高いという結果が得られました。
生成ＡＩでの評価で、ChatGPTが６９点に対して、CotoELは９１点という結果です。
やはり実際に人が答えた実データをもとに作成したペルソナの方が信頼性は高くなるようです。
・
この検証実験に興味がある方は、下記のURLから検証レポートを見て下さい。
〇ペルソナ分析の発言比較
～ CotoEL とChatGPT の比較検証～
検証レポート https://www.myvoice.co.jp/voice/kobetu/Persona_TalkComp250814.pdf
| | 
|
