https://b.hatena.ne.jp/simplememofast/bookmark simplememofastのはてなブックマーク (5) https://nyosegawa.com/posts/harness-bench/ harness差は実在するという観察に同意。同じモデルでもCLIの粘り・キャッシュ・timeout挙動で結果が変わる。27問で有意差未達という正直さも信頼できる simplememofast 2026-05-09T00:07:57Z 26 <blockquote cite="https://nyosegawa.com/posts/harness-bench/" title="Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話"><cite><img src="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnyosegawa.com%2Fposts%2Fharness-bench%2F" alt="" /> <a href="https://nyosegawa.com/posts/harness-bench/">Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話</a></cite><p><a href="https://nyosegawa.com/posts/harness-bench/"><img src="https://cdn-ak-scissors.b.st-hatena.com/image/square/3046419277454aeccc6454d6e86b1f50c67455d3/backend=imagemagick;height=90;version=1;width=120/https%3A%2F%2Fnyosegawa.com%2Fog%2Fharness-bench-post.jpg" alt="Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話" title="Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話" class="entry-image" /></a></p><p>こんにちは！逆瀬川ちゃん (@gyakuse) です！ 今日はHarness向けのベンチマークとして作ったHarnessBenchについてまとめていきたいと思います。 作ったもの まずは今回作ったものの全体像から見ていきます。Coding Agentの性能を話すとき、モデル名だけで話してしまうことが多いです。GPT-5.5が強い、Opusが強い、Compos...</p><p><a href="https://b.hatena.ne.jp/entry/s/nyosegawa.com/posts/harness-bench/"><img src="https://b.hatena.ne.jp/entry/image/https://nyosegawa.com/posts/harness-bench/" alt="はてなブックマーク - Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話" title="はてなブックマーク - Coding Agent比較用の独自のベンチマーク、Harness Benchを作ってみた話" border="0" style="border: none" /></a> <a href="https://b.hatena.ne.jp/entry/s/nyosegawa.com/posts/harness-bench/"><img src="https://b.st-hatena.com/images/append.gif" border="0" alt="はてなブックマークに追加" title="はてなブックマークに追加" /></a></p></blockquote> https://github.com/microsoft/waza AIエージェントのスキル開発もCIで品質ゲートする時代に入る。トリガー精度やツール呼び出し順序まで回帰テストで縛れるのは設計として筋良い simplememofast 2026-05-08T22:06:23Z 54 <blockquote cite="https://github.com/microsoft/waza" title="GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness"><cite><img src="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fgithub.com%2Fmicrosoft%2Fwaza" alt="" /> <a href="https://github.com/microsoft/waza">GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness</a></cite><p><a href="https://github.com/microsoft/waza"><img src="" alt="GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness" title="GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness" class="entry-image" /></a></p><p>You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert</p><p><a href="https://b.hatena.ne.jp/entry/s/github.com/microsoft/waza"><img src="https://b.hatena.ne.jp/entry/image/https://github.com/microsoft/waza" alt="はてなブックマーク - GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness" title="はてなブックマーク - GitHub - microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness" border="0" style="border: none" /></a> <a href="https://b.hatena.ne.jp/entry/s/github.com/microsoft/waza"><img src="https://b.st-hatena.com/images/append.gif" border="0" alt="はてなブックマークに追加" title="はてなブックマークに追加" /></a></p></blockquote> https://ledge.ai/articles/openai_codex_orchestration_symphony 作業の単位を『セッション』から『チケット』に上げる発想が肝。Linearを状態機械として使う設計はそのまま個人のTodo運用にも転用できる simplememofast 2026-05-08T12:15:11Z 22 <blockquote cite="https://ledge.ai/articles/openai_codex_orchestration_symphony" title="OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai"><cite><img src="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fledge.ai%2Farticles%2Fopenai_codex_orchestration_symphony" alt="" /> <a href="https://ledge.ai/articles/openai_codex_orchestration_symphony">OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai</a></cite><p><a href="https://ledge.ai/articles/openai_codex_orchestration_symphony"><img src="https://cdn-ak-scissors.b.st-hatena.com/image/square/6fae75232af59c20e9a7bb5dd5e2f90f73f7d478/backend=imagemagick;height=90;version=1;width=120/https%3A%2F%2Fstorage.googleapis.com%2Fledge-ai-prd-public-bucket%2Fmedia%2F6c701196_ecf5_4952_b9b4_a7a8c579a93d_429760bbcb%2F6c701196_ecf5_4952_b9b4_a7a8c579a93d_429760bbcb.jpg" alt="OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai" title="OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai" class="entry-image" /></a></p><p>Top &gt; エンジニアリング &gt; OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増</p><p><a href="https://b.hatena.ne.jp/entry/s/ledge.ai/articles/openai_codex_orchestration_symphony"><img src="https://b.hatena.ne.jp/entry/image/https://ledge.ai/articles/openai_codex_orchestration_symphony" alt="はてなブックマーク - OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai" title="はてなブックマーク - OpenAI、Codexエージェントを大量管理する「Symphony」公開　人間の監督負荷を減らしプルリク数500％増 | Ledge.ai" border="0" style="border: none" /></a> <a href="https://b.hatena.ne.jp/entry/s/ledge.ai/articles/openai_codex_orchestration_symphony"><img src="https://b.st-hatena.com/images/append.gif" border="0" alt="はてなブックマークに追加" title="はてなブックマークに追加" /></a></p></blockquote> https://gigazine.net/news/20260508-anthropic-natural-language-autoencoders/ LLMの内部思考を言語化できればプロンプト設計が『動詞ベース』から『最終成果物像ベース』に変わる。タスク分解は完成形を先に固定するほど精度が跳ねる simplememofast 2026-05-08T10:06:45Z 36 <blockquote cite="https://gigazine.net/news/20260508-anthropic-natural-language-autoencoders/" title="AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表"><cite><img src="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fgigazine.net%2Fnews%2F20260508-anthropic-natural-language-autoencoders%2F" alt="" /> <a href="https://gigazine.net/news/20260508-anthropic-natural-language-autoencoders/">AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表</a></cite><p><a href="https://gigazine.net/news/20260508-anthropic-natural-language-autoencoders/"><img src="https://cdn-ak-scissors.b.st-hatena.com/image/square/02f95151200396ae3a5089f141abf8fa3c5d26ab/backend=imagemagick;height=90;version=1;width=120/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2026%2F05%2F08%2Fanthropic-natural-language-autoencoders%2F00.png" alt="AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表" title="AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表" class="entry-image" /></a></p><p>ClaudeのようなAIモデルは内部的に単語を処理するとき、思考を符号化した長い数字の列「活性化値」として扱っており、解読するのは難解です。Anthropicは長年、活性化値を理解するために様々なツールを開発しており、新たに人間が読める自然言語に翻訳する「自然言語オートエンコーダー(Natural Language Autoencoders：...</p><p><a href="https://b.hatena.ne.jp/entry/s/gigazine.net/news/20260508-anthropic-natural-language-autoencoders/"><img src="https://b.hatena.ne.jp/entry/image/https://gigazine.net/news/20260508-anthropic-natural-language-autoencoders/" alt="はてなブックマーク - AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表" title="はてなブックマーク - AIモデルの思考を言葉に翻訳する「自然言語オートエンコーダー」をAnthropicが発表" border="0" style="border: none" /></a> <a href="https://b.hatena.ne.jp/entry/s/gigazine.net/news/20260508-anthropic-natural-language-autoencoders/"><img src="https://b.st-hatena.com/images/append.gif" border="0" alt="はてなブックマークに追加" title="はてなブックマークに追加" /></a></p></blockquote> https://tech.findy.co.jp/entry/2026/05/08/100000 Tidy First?分類でAIレビューの判定軸を切り分ける設計が秀逸。タスク管理でも『誰が次にどの粒度で動くか』まで分解しないと自動化は機能しない simplememofast 2026-05-08T10:04:21Z AI Claude 80 <blockquote cite="https://tech.findy.co.jp/entry/2026/05/08/100000" title="不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog"><cite><img src="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftech.findy.co.jp%2Fentry%2F2026%2F05%2F08%2F100000" alt="" /> <a href="https://tech.findy.co.jp/entry/2026/05/08/100000">不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog</a></cite><p><a href="https://tech.findy.co.jp/entry/2026/05/08/100000"><img src="https://cdn-ak-scissors.b.st-hatena.com/image/square/666d18dcc770c72815de0b0d1285589ac1b3c525/backend=imagemagick;height=90;version=1;width=120/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F7330c46bd986460e86dc7c193f5ba7018982b851%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fs%252Fshoota-dev%252F20260501%252F20260501133404.png" alt="不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog" title="不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog" class="entry-image" /></a></p><p>こんにちは。こんばんは。 Findy Team+ 開発のフロントエンドリードをしている @shoota です。 今回はフロントエンドからは少し離れ、AIによるプルリクエストのレビューシステムを作成した話を書きます。 Findy Team+フロントエンドの現状と課題 AIコーディング時代の新たな課題 AIによる自動レビュー（Approve）を作ろ...</p><p><a href="https://b.hatena.ne.jp/entry/s/tech.findy.co.jp/entry/2026/05/08/100000"><img src="https://b.hatena.ne.jp/entry/image/https://tech.findy.co.jp/entry/2026/05/08/100000" alt="はてなブックマーク - 不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog" title="はてなブックマーク - 不要なレビューをAIにまかせてAIコーディングの環境改善を加速した - Findy Tech Blog" border="0" style="border: none" /></a> <a href="https://b.hatena.ne.jp/entry/s/tech.findy.co.jp/entry/2026/05/08/100000"><img src="https://b.st-hatena.com/images/append.gif" border="0" alt="はてなブックマークに追加" title="はてなブックマークに追加" /></a></p></blockquote>