英フィンテック企業サターンによると、市販の主要AIモデルは個人金融に関する問いの57％に誤答し、難易度が高く複数の手順を必要とする質問では失敗率が88％に達した。
消費者がマネー関連の質問でチャットボットに頼る傾向は急速に強まっている。
難易度が高い質問でほぼ全てのモデルが誤答
この調査では、ChatGPT、ジェミニ、クロード、コパイロットなど18種類の無料・有料モデルに121問を出題。それぞれの質問を最大5回繰り返し、計1万回以上の回答を分析した。
回答が事実誤認や重要情報の見落とし、または必要な警告の欠落を含む場合は「失敗」として採点した。
無料モデルの誤答率は63％と有料モデルの49％を上回った。最も難しい質問では、無料モデルが93％の割合で失敗した。
クロード・オーパス5のリースニングモードはトップの成績となったが、それでも誤答率は39％だった。主な誤りは計算ミス、税制改正の見落とし、存在しない規則の案内などだった。
年金税に関するある誤答は、利用者に1万7500ポンド（約330万円）の追加課税リスクを与えかねなかった。
「数百万人がAIモデルをお金のアドバイスに頼っているが、誤った回答によって損失を被ることがある」とサターンのアマル・ジョリーCEOは述べた。
AIチャットボットへの信頼はなおも上昇
一方で、利用は市場や年齢層を問わず拡大している。EYが世界1万8000人を対象に実施した調査によると、49％が貯蓄や投資判断にAIを活用した経験があると回答した。
英金融規制当局は8月、投資経験の浅い投資家の5人に4人がAIを活用していると発表した。調査回答者のうち、56％がこうしたツールを「信頼している」とし、テレビやラジオ（47％）を上回った。
また、同調査では44％がAI生成の金融情報を「規制対象」と誤認していることが明らかになった。
PensionBeeが米国成人1000人を対象に行った調査では、6割近くが内容を自分で確認せずにAIの指示に従うと回答。既に4人に1人は、チャットボットが自分の資産について誤った情報を伝えた経験があった。
ジョリーCEOは「AIによる金融アドバイスは規制対象外であり、消費者は人間アドバイザーのような補償も受けられない」と指摘し、FCAに迅速な対応を求めた。
当社YouTubeチャンネルではリーダーや記者による専門解説を配信中
