LLMチューニングのための強化学習：GRPO（Group Relative Policy Optimization） - どこから見てもメンダコ
DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法：TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①： アドバンテージAの算出方法 REINFORCE： 価値関数近似なし方策勾配法 PPO（Actor-Critic）： 価値関数近似あり方策勾配法 GRPO： スケーリングされたREINFORCE 変更点 ②： 参照モデル（SFTモデル）からのKL距離制約 従来は参照モデル制約は
Geminiが変える企業調査：AIエージェントで調査費用を100分の1以下に
TL;DR (要約) AI Agent Hackathon with Google Cloud に応募するため、Geminiを用いたAIエージェントによる企業調査Webサービスを開発しました。 約500万社の企業に対応。法人向けサービスに比べ1/100のコストでデータ取得 企業調査を、AIエージェントがわずか3分で完了させます。人力に比べて97%の時間削減。 実例: トヨタ自動車株式会社 で、精度と網羅性を確認できます。 サイトでスグに試せる: 3分で企業調査 にアクセス 技術詳細: GitHub で実装を公開 はじめに Zenn初のオンラインハッカソン、テーマは「AIエージェント」。GeminiのAIエージェントによる企業調査Webサービスを開発しました。このサービスは、仕事で不可欠な企業調査を、AIエージェントで革新的に効率化します。さらに、他サービスと比較して低コスト、同等以上の価値
最強神器「Cursor」の本当に使い方を徹底解説【知らないとヤバいレベルです】
筆者自信、個人開発を長い間やってきた＆toB含め多くの開発に携わってきました。もともと開発速度に自信があり力でねじ伏せるタイプでしたが、それでもこのCursorを使い始めて世界が変わりました。具体的には、よくあるAI驚き屋の「3分でLPが作れた」「24時間AIが自動で」とかではなく、実践的な開発で6~10倍程度のスピードが出せるようになりました。序盤は10倍どころかとんでもない速度で仕上がっていきます。 筆者はAI駆動開発にハマり、1500時間くらいCursorを使い込んできたので、その経験を踏まえて現状をしっかり解説します。 この記事を読むとわかるCursorの持つ可能性 「コードを書く」から「AIがコードを書き、開発者が補助する」すべての機能 基本はProプラン$20で何でもできる 0→1開発から複雑な大規模プロジェクトまで、Composer Agent がマジでやばい ここ数年でGi
はじめに | OS in 1,000 Lines
1000行でOSを作ってみよう 本書では、小さなOSをゼロから少しずつ作っていきます。 OSと聞くと腰が引けるかもしれませんが、OS (特にカーネル) の基本機能は案外単純です。巨大なオープンソースソフトウェアとしてよく挙げられるLinuxでさえ、バージョン0.01はたった8413行でした。様々な要求に応えるために次第に肥大化していっただけで、当初は大変素朴な実装になっていました。 本書ではコンテキストスイッチ、ページング、ユーザーモード、コマンドラインシェル、ディスクデバイスドライバ、ファイルの読み書きをC言語で実装します。これだけ様々な機能が詰め込まれているのに、コードは合計でたった1000行未満です。 「1000行なら1日でできそう」と思うかもしれませんが、初学者には少なくとも3日はかかるでしょう。OS自作のハマりポイントは「デバッグ」です。アプリケーション開発とは違うデバッグ手法
そのLambda、本当に必要ですか…？Step Functionsのすゝめ
本記事はANGEL Dojo 2024参加者によるアドベントカレンダー「ANGEL Calendar」の最終日の記事になっております。 他のみなさんが書かれた記事はこちらからご覧ください！ ※…ANGEL Dojo 2024に関しましてはAWS JAPAN APNブログをご覧ください。 こんにちは、ひるたんぬです。 今日で2024年度上半期が終わりますね。これを書いてふと思ったのですが、なぜ「YYYY年度」は4月始まりなのでしょうか？ 1月から始めてくれていれば色々スッキリするのに…と思い、なぜ4月からになったのか調べてみました。 （前略）当初から4月始まりだったわけでなく、明治政府により会計年度が初めて制度化された明治2年（1869）は、10月始まり。続いて、西暦を採用した明治6年からは、1月始まりになりました。つまり、暦年と年度の始まりが同じ時代があったのです。明治8年からは、地租の納
チャットAI「Claude」人気機能「Artifacts」が誰でも使えるようになった
sponsored CORSAIR「iCUE LINK TITAN RX RGB」をチェック iCUE LINKで面倒な取り付けやRGB設定が超簡単、冷却性能もバッチリ高いCPUクーラーが3万円強！ sponsored ASUSの新ケース「TUF Gaming GT502 Horizon」にCore Ultra 9 285Kを採用 あれもこれもASUS！ 新ピラーレスケースも渋カッコいいBTOPCのコダワリを聞く sponsored 基調講演には総務省 CISOの山内智生氏が登壇、サイバー空間をめぐる脅威動向や政策を紹介 ランサム感染の実体験からMDR導入事例までが語られた「Canon Security Days 2024」 sponsored 「LEVEL-15FXA61-R7-RM4X」を試す、重さは2.26kg、144Hzにも対応 実家・ホテル・コタツでゲームしたいなら、Ryzen
JavaScriptで100行で作る！数式言語のインタプリタ
はじめに 皆さんはプログラミング言語を作ったことがあるでしょうか？ おそらく大抵の方は「ない」というのが正直なところなのではないかと思います。背景には、おそらく「プログラミング言語を作るって難しそう」という先入観があるのではと筆者は踏んでいます。 プログラミング言語とは、コンピューターに指示を与えるための特別な言語です。私たちが日常で使う言語と同じように、プログラミング言語にも文法やルールがあります。そして、この言語を理解し実行するのが「処理系」と呼ばれるプログラムです。 しかし、実はプログラミング言語の処理系（インタプリタ）を作ることは非常に簡単なことです。小さなOSを作ることに比べても、ちゃんと動くWebサービスを作ることに比べても本当に簡単です。 というわけで、この記事では「プログラミング言語」を作るための導入として「数式言語」のインタプリタを作ってみます。数式言語とは、数学の式を扱
JavaScript で then を使うのは避けよう（await / async の初級者まとめ）
JavaScript において、特に苦手とする人が多い印象のある Promise ですが、await と async の文法が導入されたことで、Promise の仕様を深く理解しなくても非同期処理を自然に書けるようになってきたのではないかと思います。 極論ですが、JavaScript の非同期処理は async await new Promise のみで、（ほぼ）全て表現可能です。特別な理由がない限り then を使わないようにしましょう、ということを周知するのがこの記事の目的です。 なお本記事では Promise の rejected の状態についてほとんど解説しておりません。基本を理解したら、別記事でぜひ学んでみてください。 Promise とは？ Promise は、少し乱暴に説明すると「実行が終わっていないかもしれない何らかの関数」を包んだオブジェクトです。 普通の関数とは違って、
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
【ソフトウェア設計】例外処理を考える
はじめに 最近書いてるソフトウェア設計シリーズです。今回は例外に関して。以前、以下のような記事を書いたのですが、もう少し深堀して書いてみました。 ちなみにソフトウェア設計シリーズは他には以下を書いています。 モジュールになぜ分けるのか？ モジュール、依存、そしてカプセル化 モジュールをどう分割するのか？ 簡潔さは力なり？ 予測可能な振る舞いと簡潔さについて ドキュメントとしてのコメント TL;DR 例外は「原則」キャッチしない 業務例外や必ずハンドリングさせたい例外はOptionalなど戻り値の方が便利 だいたい以下の図が言いたい事のすべて 例外処理とは？ 「例外処理(Exception Handling)」は言語に依らず普遍的な関心事です。端的に言えば例外処理は異常やシステムの動作に不備が発生した際の特別な分岐処理です。リカバリやリソースの解放、あるいはユーザへの通知などがありますね。
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
僕の考えた最強の Python 開発環境 (2024)
はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
なぜタスク管理すらできないのか？考えて、実践して、振り返ってみた -
＜この記事の著者＞ ヨス - Tech Team Journal 業務効率を改善し、タイムパフォーマンスを高める時間最適化の専門家。「単語登録」の便利さを伝える「単語登録エバンジェリスト」。 「タスク管理」という言葉は知っている人が多いかもしれません。では「タスク管理について説明してください」と言われたらどう答えますか。 おそらく「やるべきことを書き出し、タスクを細分化し、いつやるかの期限を決め、その日に必ず遂行する」のような定義が思い浮かぶでしょう。 効率化の書籍を出版しているほど「タイムパフォーマンス」にこだわるわたしですが、実はタスク管理は苦手でした。 なぜなら、一般的にいわれる「タスク管理」の手法がわたしには向いていなかったからです。 【目次】 なぜタスク管理ができないのか？ その日だけにフォーカスし「着手」を目的とする 実績はウソをつかない なぜタスク管理ができないのか？ タスク
社内ナレッジ共有GPTの作り方を動画で徹底解説【GPTsハッカソン＠GMO Yours最優秀賞作品】｜ChatGPT研究所
前書き本記事では、2/27に開催されたGPTsハッカソン @GMO Yours で優勝した社内ナレッジ共有GPT『Share Knowledge In Your Company』と『FAQ collector』の作り方をご紹介します。 ※本記事は、本GPT作成者のArai Motokiさんに寄稿していただきました 2024/02/27 に行われたGPTsハッカソン＠GMO Yoursの最優秀賞作品です。 私（製作者自身）が動画で解説し、作り方も全文公開します。できる限りみなさまのお役に立てるように解説をいたします。 長文なので大変だと思いますが、解説動画までを見るだけでも学びはあると思います! 想定している読者申し訳ございませんが、すべてを説明するにはかなりの長文になってしまうため、想定している読者は何度かGPTsを作ったことがあり、より深くGPTsを理解したい人、GPTsの精度を上げてい
RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
納期がなぜ生産性をぶち壊しにしているのか？｜牛尾 剛
昨年NewsPicks さんに取り上げてもらって最近動画が公開されました。そこでもお話させてもらっていることなのですが、アメリカで働きはじめると日本人からすると「納期が無い」感覚が物凄く衝撃的だった。 最近、納期が無いことと生産性について頭の中で整理がついてきたのでシェアしておこうと思う。ちなみに、動画も含めて、私の発言は私の体験と意見であり、所属会社には全く関係が無いことを改めてお断りしておきます。 日米納期の感覚の違い アメリカで働いていると、日本人からすると納期がほとんどないという感じを受ける。もちろん納期があるものもあるが「本当に必要なもの」に限られる。例えば、大きなカンファレンスで何かの製品を発表するとかそんなのだと納期はもちろんある。そうでなれけばほとんど無いという感覚だ。私の所属会社だけではなく、北米の他の会社の人も同じような感覚らしいので文化によるものだと思う。 常に納期が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JavaScriptのthisもこれで完璧！呼び出し方で変わる5つのパターン - Qiita
「GPT-4o with canvas」がスゴい! 文章作成やコーディング生産性が爆上がり
「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ Google DeepMindとミシガン大学の研究 | Ledge.ai
SOLID原則完全に理解した！になるための本
