LLMチューニングのための強化学習：GRPO（Group Relative Policy Optimization） - どこから見てもメンダコ
DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法：TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①： アドバンテージAの算出方法 REINFORCE： 価値関数近似なし方策勾配法 PPO（Actor-Critic）： 価値関数近似あり方策勾配法 GRPO： スケーリングされたREINFORCE 変更点 ②： 参照モデル（SFTモデル）からのKL距離制約 従来は参照モデル制約は
Go Optimization Guide
Patterns and Techniques for Writing High-Performance Applications with Go¶ The Go App Optimization Guide is a collection of technical articles aimed at helping developers write faster, more efficient Go applications. Whether you're building high-throughput APIs, microservices, or distributed systems, this series offers practical patterns, real-world use cases, and low-level performance insights to
サーバーレスファーストで考えるクレジットカードビジネスの最適化 / Business Optimization for Credit Card by Serverless
サーバーレスファーストで考えるクレジットカードビジネスの最適化 / Business Optimization for Credit Card by Serverless
Optimizing Node.js Performance: V8 Memory Management & GC Tuning Prevent Crashes and Improve Latency by Understanding and Tuning V8's Garbage Collection for Your Node.js Application A common observation for Node.js developers is the seemingly continuous growth of their application's memory footprint, often measured by the Resident Set Size (RSS) reported by the operating system. This increasing RS
It’s the end of search as we know it, and marketers feel fine. Sort of. For over two decades, SEO was the default playbook for visibility online. It spawned an entire industry of keyword stuffers, backlink brokers, content optimizers, and auditing tools, along with the professionals and agencies to operate them. But in 2025, search has been shifting away from traditional browsers toward LLM platfo
The Ultimate Guide to Font Performance Optimization | DebugBear
Track page speed over time and get the data you need to optimize it. Font performance optimization is a set of web development techniques that make fonts load faster and render more smoothly. They involve practices such as thoughtful font selection, the use of performant font formats, self-hosting, optimized @font-face declarations, font display strategies, and more. Optimizing the fonts displayed
GitHub - langwatch/langwatch: The ultimate LLM Ops platform - Monitoring, Analytics, Evaluations, Datasets and Prompt Optimization ✨
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
車両の効率的なルートを計画: Route Optimization API の一般提供を開始 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 10 日に、Google Maps Platform blog に投稿されたものの抄訳です。 車両を使用するビジネスでは、迅速な到着や確実な配送に対する顧客の高まる期待に応えるために、直前の変更、予期せぬ遅延、その他避けられないさまざまな状況変化に対処する必要があります。このような課題に対処するには、規制を遵守し、車両の効率を最大化し、ドライバーの仕事に対する満足度を維持できるようにするルーティング ソリューションが必要です。 このたび、Google Maps Platform の Route Optimization API の一般提供が開始されました。Route Optimization（旧称 Cloud Fleet Routing）は、デベロッパーが運用効率を改善し、お客様とドライバーの満足度を高め、事業継続可能な組織の目標を達成できるよう
An Optimization That’s Impossible in Rust! 2024/08/30 data structure #dynamically sized type #german string #optimization #reference counting #shared ownership #short string #small string #umbra string #unsafe TL;DR Here’s the link to the crate. As I’m studying database systems for my Master’s degree in Germany, this article Why German Strings are Everywhere immediately caught my attention. I was
New LLM optimization technique slashes memory costs up to 75%
Join our daily and weekly newsletters for the latest updates and exclusive content on industry-leading AI coverage. Learn More Researchers at the Tokyo-based startup Sakana AI have developed a new technique that enables language models to use memory more efficiently, helping enterprises cut the costs of building applications on top of large language models (LLMs) and other Transformer-based models
By Krish Maniar and William Fu-Hinthorn If you are interested in beta-testing more prompt optimization techniques, fill out interest form here. When we write prompts, we attempt to communicate our intent for LLMs to apply on messy data, but it's hard to effectively communicate every nuance in one go. Prompting is typically done through manual trial and error, testing and tweaking until things work
オーディオ関係の記事です。 昨年 LINN MAJIK DSM/4 から入れ替えた LINN Selekt DSM-KA とても気に入ってます。 価格が価格なので気に入らなければとても購入できないけど、ほんとに良い音で音楽を聴かせてくれます。 先日オーディオ関係でよく見ている SOUND CREATE さんのブログに Space Optimization の設定情報が新しく掲載。 Absorption の項目について触れていて、記事の最後の方に TVを入力しない方がいいと記載しておりましたが、 素材を[Single Glass]で「Absorption」を0%で入力していたので、こちらもプラスの値にしたら良くなるかもしれません。 と書かれていて自分のオーディオ環境に合うかもしれないかも？！と思い試してみました。 オーディオの設置は前面にガラス扉があるオーディオラックに諸々の機器を入れ、オー
I've always been told that caching is a tool to make software faster. That, given some careful considerations to consistency, caching makes it so that when you want to read a given piece of data, you don't have to go all the way back to some backend database or API server or SSD and can instead just read from some faster location like memory for the same data. Caching is thus a tool to improve per
Answer engine optimization：最適化すべき6つのAIモデル - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
AIモデルとリアルタイム検索 本題に入る前に、AIプラットフォームがどのように動作しているかを簡単に見ておきましょう。AIモデルは、それぞれ特定の時点までに収集されたデータをもとに学習されています。 たとえば、GoogleのGemini 2.0 Proは、2024年8月までの知識で学習されており、一方、OpenAIのGPT-4oは2024年6月まで延長したデータでトレーニングされています。こうした情報は日々更新される可能性があります。 したがって、最近の出来事やトレンドに関する質問では、モデル内部の情報だけでは足りません。AIはリアルタイムにウェブからデータを取得し直し、その場で要約を生成します。 つまり、AIがどれだけ正確かつ最新の情報を提示できるかは、ウェブから新しいデータを取得し、それを適切に処理する能力にかかっているのです。ここが非常に重要なポイントです。 また注目すべき点として、
SRv6-mobile VPP plugin Performance Optimization
インテル森さんの2019年発表資料。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Boost Node.js with V8 GC Optimization
How Generative Engine Optimization (GEO) Rewrites the Rules of Search | Andreessen Horowitz
An Optimization That's Impossible in Rust!
Exploring Prompt Optimization
Space Optimization で Absorption の値を変えてみた結果 - ある日の写真
Caching is an Abstraction, not an Optimization