SRE2.0: LLMサービスの信頼性を測る新しい評価指標の紹介 | メルカリエンジニアリング
こんにちは。Fintech SREの佐藤隆広(@T)です。 この記事は、Merpay & Mercoin Tech Openness Month 2025 の11日目の記事です。 Google社が提唱し、Site Reliability Engineering Bookによって広く知られるようになったSREの信頼性マネジメントは、開発と運用の関係性を再定義し、SLI/SLOとエラーバジェットに始まり、Availability・Latency・エラーレート・トラフィック・リソース飽和度・耐久性といったような指標で補強されてきました。 ところが近年、大規模言語モデル（LLM）の進歩が著しく、サービスにLLMを利用する機会が増えることによって、 プロンプトを数行変えただけで回答品質が変動する Latencyやエラーレートが良好でも幻覚（ハルシネーション）が急増する モデルの軽微なアップデートで回
SREの仕事をAI Agentに任せてみてお手なみ拝見
こうした領域の相当部分は「観察 → 判断 → アクション」であり、人間が実施すると非常に技術力と経験が求められ、各社 SRE を担当する方に業務が属人化するという現象が発生します。 ここで考えられているのが、AI Agent による支援・自動化と親和性が極めて高いということです。 AI Agent 活用の潮流と SRE 昨今の AI エージェントは、運用データ（メトリック／ログ／イベント）を LLM ベースで要約・推論し、自然言語で対話しながら修復アクションを提案・実行する方向に急速進化しています。Microsoft は Build 2025 で Azure SRE Agent を発表し、インシデント検出から診断、協働復旧に至るプロセスの高速化を狙うソリューションを提示しました。 この発表を見た筆者は、「これでトイルが減る」「SRE の仕事が変わる」「AI が SRE を全部やる時代？」と
Datadog + OpenAI: Codex CLI integration for AI‑assisted DevOps | Datadog
30; }, handleResize() { if (window.innerWidth >= 1024) { this.mobileOpen = false; this.dropdownOpen = 'none'; } }, checkAnnouncementBanner() { const announcementBanner = document.querySelector('.announcement-banner') || document.querySelector('.announcement-banner--large'); if (announcementBanner) { this.hasAnnouncementBanner = true; } else { this.hasAnnouncementBanner = false; } } }" x-init="chec
Introducing Bits AI SRE, your AI on-call teammate | Datadog
30; }, handleResize() { if (window.innerWidth >= 1024) { this.mobileOpen = false; this.dropdownOpen = 'none'; } }, checkAnnouncementBanner() { const announcementBanner = document.querySelector('.announcement-banner') || document.querySelector('.announcement-banner--large'); if (announcementBanner) { this.hasAnnouncementBanner = true; } else { this.hasAnnouncementBanner = false; } } }" x-init="chec
Moving Past Shallow Incident Data
Here is some data: the last incident your company experienced lasted 54 minutes. What insight does this data reveal besides a) an incident happened, and b) it lasted 54 minutes (at least according to someone interpreting an event as an incident)? What else could we glean from this data? Hrm. What if we found that someone marked down when this incident was “detected”? Now we have more data! Given t
RAGエージェントを10倍速くする「REAPER」
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「REAPER」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGを活用したAIエージェントの回答速度を10倍速くする「REAPER」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー REAPER は、ユーザーからの複雑な質問に対して、高速で回答できるようにするためのRAGの手法です。Amazonの研究者らによって2024年7月に提案されました。AmazonのようなECサイトのチャットボットでは、まさに、REAPERのようなRAG手法が大活躍します。「複雑な質問がくる上に
インナーソース入門
インナーソース入門 Author: Andy Oram Publication Date: 2015年7月 Publisher: O’Reilly Media Read the book Read the book (日本語) インナーソースの世界へようこそ。インナーソースは、閉じた組織におけるオープンソースソフトウェアを開発するための原動力であり、プロジェクトの “オープン性” を企業内のチームを超えて広げるものです。この本では、オライリーの編集者兼著者である Andy Oram が、オープンソース開発を成功させる原則を確認するとともに、大手 EC の PayPal でインナーソースがどのように機能したのかを説明することによって、皆様をインナーソースの世界に導きます。 PayPal がインナーソースを採用するまでの過程には企業としての意思決定の積み重ねがあり、その中にはツールと文化の意識
オープンソースの開発スタイルを企業内で実践するインナーソースとは？ メリットとポイントを理解する
オープンソースの開発スタイルを企業内で実践するInnerSource（以下、インナーソース）は、ソフトウェア開発のスピードや品質が向上するだけでなく、縦割りの仕組みを抱える企業でサイロ化してしまった開発チームが、開発文化を変革することにも繋がります。本連載では、ソフトウェア開発に関わるそれぞれの立場の人が、インナーソースに必要な考え方や行動の価値を理解し、実践できるようになることを目標としています。第1回となる今回は、インナーソースが有効な場面を例に、その概要と、開発に関わる人が得られるメリットについて紹介します。 本文書のライセンスについて 本記事は、InnerSourceCommons.orgが提供するInnerSource Learning Pathを元に再編集したもので、CC BY-SA 4.0（表示 - 継承 4.0 国際）ライセンスに従い提供されています。 こんな経験ありません
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MTTR: When sample means and power laws combine, trouble follows
https://www.usenix.org/system/files/srecon24emea_slides-de-vesine.pdf
https://www.usenix.org/system/files/srecon24emea_slides-newman.pdf
Training Site Reliability Engineers
FireHydrant Documentation
インナーソースで始める組織内オープンソース開発入門 - InnerSource Commons Japan Meetup #5
Observability Cloud documentation
GitHub - ai4sre/metricsifter: The AIOps library for automatic reduction of failure-unrelated metrics in Python
https://docs.blameless.com/hc/en-us/articles/9656288945431-Reliability-Insights
ameba-incident-management
障害復旧計画ガイド | Cloud Architecture Center | Google Cloud
