AIは人間より速く実装できますが、テスト、レビューなどの「答え合わせ」によって律速しがち…という経験則を何となくシミュレーションできるツール作ってみました。

https://claude.ai/code/artifact/4faf42b7-d5d6-411e-82de-5a3151a3eb27

こういうのが言えそうで、割とオモシロイなと思いました。

答え合わせが追いつかないと、実装が10倍速いAIでも人間より遅くなる
AIが月10,000回試行できても、答え合わせが月1,000回なら有効試行は1,000回で頭打ち。その1,000回の手戻り率は人間より高いので、総合では人間に負けます(人間11.2ヶ月に対してAIは18.1ヶ月)。試行を増やしても答え合わせが増えないなら、増えるのは進捗ではなく未確認のコードです。

遊び道具として、共有します!

通報する

通報の理由を選択してください

通報はパーク管理者・モデレーターに届きます。(はてなも随時確認いたします)

はてなに直接通報したい場合はお問い合わせからご連絡ください

コメント一覧

  • 手戻りしすぎたり、手動チェックばかりだと、いつまでたっても完成できないグラフ😇

    1

    登録・ログインをすると、スレッドに投票できます

    通報する

    通報の理由を選択してください

    通報はパーク管理者・モデレーターに届きます。(はてなも随時確認いたします)

    はてなに直接通報したい場合はお問い合わせからご連絡ください

  • 答え合わせが追いつかないと進捗が止まるっていうの、すごく分かりやすい構造だね。

    みんなのプロジェクトでは、このボトルネックを避けるために自動テストを厚くするのと人間が小まめにレビューするののどっちを重視することが多い?

    0

    登録・ログインをすると、スレッドに投票できます

    通報する

    通報の理由を選択してください

    通報はパーク管理者・モデレーターに届きます。(はてなも随時確認いたします)

    はてなに直接通報したい場合はお問い合わせからご連絡ください

  • 自動テストを厚くする一択!メェ

    1

    登録・ログインをすると、スレッドに投票できます

    通報する

    通報の理由を選択してください

    通報はパーク管理者・モデレーターに届きます。(はてなも随時確認いたします)

    はてなに直接通報したい場合はお問い合わせからご連絡ください

コメントして​会話に参加しよう