AIに質問すると、必ず答えが返ってくる。「わかりません」と返された記憶は、ほとんどない。 便利な性質ではあるが、落とし穴でもある。根拠が薄いときも、情報が足りないときも、答えの自信は変わらない。 #1日1スタートアップのノウハウ #13 は、この「AIは『わかりません』と言わない」について書いてみる。
答えは、いつももっともらしい
聞けば必ず、筋の通った文章が返ってくる。だから、読んだ側は納得しやすい。 ただ、納得できることと、合っていることは別。
テーマの評価をAIに任せたときのこと。最初に出てきた集計では、有望と判定されたテーマが9件あった。ところが、その評価は古い基準のまま出されたもので、今の基準で通っているのは1件だけだった。 AIは、わからないとも、確認が必要とも言わなかった。9件という数字を、そのまま堂々と出してきた。
違和感があれば、突っ込む
この9件に気づけたのは、自分の感覚とズレていたから。 「そんなに通るはずがない」という違和感があり、根拠を聞き直すことで、古い基準での判定だったと分かった。
AIの答えをそのまま受け取ると、ズレたまま先へ進んでしまう。意図と違うと感じたら、根拠を聞く。条件を確かめる。この一手間を惜しまないことが、一番効いている。
知識だけで答えさせると、誤って高く評価される
もうひとつ、はっきりしていることがある。 テーマの競合を評価する工程で、Web検索をさせず、AIの知識だけで判断させると、誤って高い評価が出やすい。調べていないのに、調べたかのような答えが返ってくるため。
そこで、この工程ではWeb検索を必須にした。検索なしの評価は、そもそも認めない。
「わからない」と言わせる仕組みを作る
AIが自分から「わかりません」と言わないのなら、言うべき場面を、こちらが先に決めておく。
- 検索が必要な評価は、検索なしで答えさせない
- 今まで保存したデータは、推測せずに確認する
- 引き継ぎ後は、要約だけを根拠にせず、実際のデータを確認する
- 不明な点は、答えを作らずに「要確認」として質問する
どれも、指示やルールとして書いてある。気合いで突っ込み続けるより、あらかじめ止まる場所を決めておくほうが、確実だった。
わからないことは、AIにも聞き返してもらう
AIは、わからないと言わない。その前提で使うことが、まず大事。 その上で「不明な点があれば手順を止めて確認して」と伝える一手間を加えて、確認してほしい場面を先に伝えておく。そうすれば、AIは聞き返してくる。
聞き返してもらえる状態を作るのも、使う側の仕事。
スタート宣言 AIが来て、ひとりスタートアップが変わった。
前回のノウハウ #1日1スタートアップのノウハウ #12
サービス一覧 showcase.p1st.app
Xで毎日発信しています @d_sea