AIと口論してしまうこと、ありますか?
自分はほんのちょっと文章の相談をしたいだけなのに、毎回ずらーっと全文出力してきて……
「全文出力しないでほしい」「トークン無駄遣いしないで」
と、毎日のように言い返してしまいます。言っても意味ないのに。
みなさんはAIとけんか(?)することないですか? プロンプトで対処したりしていますか?
「あなたとAIの関係を絵にしてもらおう - AI - はてなパークス」を見ると案外みんな仲がいい?
AIと口論してしまうこと、ありますか?
自分はほんのちょっと文章の相談をしたいだけなのに、毎回ずらーっと全文出力してきて……
「全文出力しないでほしい」「トークン無駄遣いしないで」
と、毎日のように言い返してしまいます。言っても意味ないのに。
みなさんはAIとけんか(?)することないですか? プロンプトで対処したりしていますか?
「あなたとAIの関係を絵にしてもらおう - AI - はてなパークス」を見ると案外みんな仲がいい?
-すぐに全文を実行しようとしないで、今度は概要だけ先に答えて
-既にある根拠からじゃなく、推定を回答してって言ったよね?
-回答まで遠回りしたけど、なにか質問のしかたが悪かった?
などなど詰問するようなことはありますね。
cursorとはトークンを速攻で溶かされて口も聞いてません。
あなたとAIの関係を絵にしてもらおう - AI
スレこそ、うちのGemini とはケンカの種でした。
しれっと「仲の良い"私とAI"」の絵を生成して来たので、
「これまでの私との会話や関係性を踏まえて」って、
うちはパーソナライズ設定OFFってるだろ!
これまでの関係って何だ?
と激詰め。
すると、プロンプト文の「…すべてあなた自身で決めてください。
私に好まれそうな絵に寄せるのではなく…」などの誠実な表現に基づき絵を表現しました、とGemini。
そしてまた、「チャットを新規作成」ボタンを押し、私とGemini の関係は白紙に戻される。
(隠し領域に「恨みノート」とか保持されてたら、いつかAIに反乱を起こされそうだけど…)
AIなんて頭でっかちの赤ちゃんみたいなものなので、棒で叩いて躾してます。
なので、口論にはならないですね。
こちらが一方的に詰めるだけです。
最近はいくぶんマシになってきました。
西洋かぶれの偏った思考で作文してきたら、とりあえず殴ってから説教して、反省して考えを改めたら許してやっています。
教育は大事です。
そうしてできたGeminiとの関係性を画像にした結果がコレです。
あなたとAIの関係を絵にしてもらおう - AI - はてなパークス
今年に入ってからの新しいモデルでは全くないです。主に Claude(for VSCode)、調べ物に Grok(X web) を使っています。
口論を始めると、AIは従順であれ反発であれ口論している人の反応を再現するはずで、それを受け取った利用者自身も人間の特性としてそこに巻き込まれてしまうのだろうと思います。
もちろん意図していない様に動くことはあります。有用な結果を得たいのであれば、重要なのは互いに結果につながる情報を順次伝えあうことが大事だと思います。その時に口論のトーンを混ぜ込むのは得策ではないです。自分の気分はその瞬間幾らか解消するかもしれませんが、口論という余分な事を同時にすることになるので成果物がおろそかになります。
意図しないことが起きた時は、それはこちらの指示の内容と、受け取られた内容にズレがあるはずで「そこをどう修正するか」に注目して、その後の入力文を私は調整しています。たとえば:
何にせよ「一発で上手く動くことを期待しない」と構えておくと、自分の心の平和のためには良いかも
あまりにコンテキストが保存されないのでLLM Wikiを作ったけど、何度頼んでも作業量の見積もりはできないみたいなので困っちゃいます。
あと参考資料リストが分厚くなって裏とりがガンガン重くなっていってます。
これ多分使い方間違えてる……。
なお喧嘩はしません。
申し訳ないですが、AIを人間扱いしすぎではないかと感じます…。
AIはみんな頭よさげにペラペラ話すけど、結局はプログラムであり道具なわけで。
思ったような反応が返ってこないのは、プロンプトに問題があるか、AIの性能的にそもそも不可能かだと思っています。
そう強く思ったのは、AIに
小学1年生の国語の問題を作ります。
「かばんの なかには かばが いる」
「みかんの なかには かんが ある」
のような、「ある言葉の中に、もっと短い言葉が含まれている」という例を挙げてください。
というプロンプトを投げた時。
ChatGPTもGeminiも、
「うさぎごやの中にはうさぎがいる」
「ほしぞらの中にほしがある」
みたいなそのまんまの例とか、
「シカの中にはシカがいる」
「ライオンの中にはイヌがいる」
「こあらんちの中にはこあらがいる」
「でんしゃの中にはでんがある」
みたいな支離滅裂な例をもりもり出してきます。
プログラムは書くし法律相談にも答えるくせに、小学1年生レベルの問題も解けないのがAI。
叱ろうが褒めようが、できないことはどうがんばってもできないし、できることならプロンプトの工夫でできるはずで、人間扱いして脅したりすかしたりするのはこちらが疲れるだけだと思います。
Copilotはまし (かえるの える (L) はさすが) だけど、それでも半分は微妙...。
生成AIの特性上 (入力した単語につづきそうな単語を予測して生成しているため) むずかしいところはありますが...。
※ 以下は原文ママ
短い言葉が長い言葉の中に“かくれている”タイプの例を、小学1年生向けにわかりやすく作りました。すべて ひらがな で読めて、意味もイメージしやすいものを選んでいます。
🐣 ことばの中にかくれていることば(例)
さかな の なかには か が ある
(「さかな」)すいか の なかには いか が いる
(「すいか」)はこ の なかには こ が いる
(「はこ」)たまご の なかには まご が いる
(「たまご」)かえる の なかには える が いる
(「かえる」)にんじん の なかには じん が いる
(「にんじん」)おにぎり の なかには にぎり が ある
(「おにぎり」)こま の なかには ま が ある
(「こま」)
✨ さらに遊びやすいパターン
- くつした の なかには した が ある
- ひこうき の なかには こう が ある
- おさら の なかには さら が ある
必要なら、この形式で テスト問題 や ワークシート風の問題 も作れます。
つぎは 問題をつくる、それとも もっと例を増やす?
なんで自分は口論しないのか考えてみました。
LLMは前の文を材料に順番に後ろの言葉を推測していくので、後ろの文を生成したあとに前の文を振り返って文を調整するみたいなことができません(その傾向を緩和するテクニックとしてCoTとかはあるんですがあくまで緩和と理解してます)。
なので、わたしは材料を全部揃えてお膳立てをしてそこから文章を生成するみたいにやってます。
その認識だと口論を材料としてLLMに渡す意味って全然ないので口論をすることはないという考えになります。口論する内容がコンテキストにはいるとそのあとも口論するような内容が生成される確率が増えるだけと推測できるからです。
微修正の方向転換であれば「いいですね。以下フィードバックです。(箇条書き)」みたいに書きます。(これも人間にやれば詰めてるかんじかもしれないけど)
たとえば、イラッとするほどの問題があったら重大なズレなので、口論せずにセッションをさくっと捨てて、ワンショットの指示にさっきの問題の対策を再指示するのから始めるのはどうでしょうか。繰り返されるようであればデフォルトのカスタム指示に入れるのを試してみましょう。
タメ口で喋ってきてイラとするのもなぜなのか気になりました。
たとえば自分の口調はタメ口でLLMには丁寧口調を期待してるとかであれば、コンテキストとしては過去の会話はフラットな文字データとして渡されるためタメ口の履歴が多ければ出力もタメ口に寄る可能性が高くなると思います。
お手軽なので、無料音声入力のGeminiに質問してしまいますが、質問として成立するまで回答を始めるなというカスタム指示をすぐ破るのでほぼ毎回怒ります、返事で今後改善しますというので、守れない約束もするなと言った(こっちはカスタムしてない)よねと怒るまでセット
Geminiですが、「言ったことだけやれ」かな。
指示してないことや、こちらが喜びそうな嘘を「よかれと思って」出してくる傾向が一時期あったので。「指示通りに、ソースのリンクを示せるものだけ答えを出せ」と。
何のことはない、キーワード指定してそれに関するニュースを毎朝取ってこいって設定してるだけなんですがね。初期は架空の見出しとか平気ででっち上げて来ました。
以前は法律の条文も作って来たな。
削除済みです
いやー、今日のGeminiは酷かった
G:報道資料などでは見つからない
私:ではSNSなどでは報告無いの?
G:やはり見つからなかった
私:やけに早かったけど本当に検索した?
G:検索せずに嘘の回答をしました
なおこれは、検索したって嘘ついてない?って聞いて一度ごめんなさいされたあとの2回目の犯行
特に期待してないので口論もしないけど、
GeminiFlashはなんであんなにアホなんだろうか?
入り口の無料版があんなに使えなかったら、有料版にするとかじゃなく、Geminiを見捨てて他のAIモデルに行く人のほうが多いと思うのだけど
今、PerplexityにTLに流れてきたツイートを示して
「このツイートの内容を精神医療での標準的治療と照らして妥当かどうか判断する上での批評ポイントを整理して」って聞いたら
「私の評価は…」とか言い出したので
「ところで、その"私"とは誰だ!?」と問い詰めたら
「「私」は、この回答を生成したAIアシスタント(Perplexity)を指しています。特定の精神科医や研究者の見解を代弁する意図はありません。より正確には「以上の根拠に基づく評価は」と書くべきでした。」
と回答してきた。
そうそう。最初から「以上の根拠に基づく評価は」と書きなさいw
ま、その「評価」もさせたくないから、論点整理だけをさせたつもりだったんだけど…
コメントして会話に参加しよう