5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬から移動し、新規立ち上げのインフラ環境の構築からCI/CDの整備などに取り組み、リリースを行いました。 業務外では来年開催の「SRE Kaigi」のコアスタ
@Hiroki__IT が目の前にやってきて私にIstioのこと教えてくれた。- Istio in Action の読書感想文 - じゃあ、おうちで学べる
はじめに マイクロサービスアーキテクチャの台頭により、サービスメッシュ技術は現代のクラウドネイティブ環境において外せない選択肢の一つとなっています。 その理由は明確です。マイクロサービスに求められる非機能要件の多くは類似しており、これをアプリケーション側で個別に実装すると、開発者やインフラエンジニアの負担が増大するからです。 ここで登場するのがサービスメッシュです。サービスメッシュの採用により、これらの非機能要件をインフラ層で一元管理することが可能となり、アプリケーション開発者とインフラエンジニアの責務を明確に分離できます。つまり、各エンジニアが自身の専門領域にフォーカスできるのです。これは単なる効率化ではなく、イノベーションを加速させるためサービス開発する上での労苦をなくします。 そして、サービスメッシュの世界で圧倒的な存在感を放っているのがIstioです。その包括的な機能と広範な採用で
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
はじめに こんにちは。enechainのPlatform EngineeringチームSoftware Engineerの soma00333 です。 enechainは電力の卸取引や環境価値の取引の機会を提供するマーケットプレイスを運営する会社で、インフラ基盤としてGKEを採用しています。信頼性が非常に大切なドメインで、SREの力が欠かせないビジネスを展開しています。 この度、enechainはSREチームのさらなる強化を目指し、SRE as a Serviceを提供する 株式会社Topotal様 にご支援いただいて新たに2名のエンジニアを迎えました。 SREチームを強化するにあたり、「採用を頑張る」「内部で育てる」など手段は様々です。 本記事では、「外部会社（Topotal様）との協力」という手段がSREチーム・開発チーム全体にどのような効果をもたらしているかを紹介します。 SREチー
REST API Common Spec としての HTTP Status Code と Error の提案 - Affamative Way
この記事は Timee Advent Calendar 2023 シリーズ 2 の14日目の記事です。 qiita.com はじめに TL;DR API HTTP Response Code Definition 2xx 4xx 5xx Errors Problem Details まとめ We’re Hiring! はじめに CTO室に10月に入社した id:cos31 です。 色々とやり始めたばかりで、ネタに苦しいので仕事にもタイミーには全く関係のないネタになります！*1 TL;DR RFC 9457 - Problem Details for HTTP APIs と RFC 9205 - Building Protocols with HTTP をあわせて使うとすっきりする インフラレイヤーとアプリレイヤー HTTP Status code が棲み分けできるステキ感 エラーメッセージ
はじめに こんにちは。株式会社ZOZOのSRE部プラットフォームSREチームに所属しているはっちーと申します。 本記事では、Kubernetesクラスター上で自動カナリアリリース機能を提供するFlaggerが導入済みのマイクロサービスにおいて、手動カナリアリリースを実施する方法について紹介します。一見、矛盾するように思えるかもしれません。しかし、時にはそのような要件も発生することがあります。また、手動カナリアリリースで運用している状態からFlaggerの導入を検討している場合、導入後も念のために現行の手動カナリアリリースができるのか、という点は気になるかと思います。すでにFlaggerを導入している、これからの導入を検討している、という方の参考になりましたら幸いです。 目次 はじめに 目次 前提知識（Flagger） Manual Gatingの基本 Manual Gatingとは Man
NVIDIAがデスクトップPC向けGPU「GeForce RTX 40 SUPER」を発表。ハイエンド〜ミドルハイGPUを強化
NVIDIAがデスクトップPC向けGPU「GeForce RTX 40 SUPER」を発表。ハイエンド〜ミドルハイGPUを強化 ライター：米田 聡 米国時間2024年1月8日，NVIDIAは，米国・ラスベガスで行われる大規模展示会「CES 2024」に合わせて特別講演を行った。その中で，デスクトップPC向け新型GPU「GeForce RTX 4080 SUPER」「GeForce RTX 4070 Ti SUPER」「GeForce RTX 4070 SUPER」の3製品を発表した。 本稿では，3製品の概要に加えて，ゲーマーに関連した発表をざっくりとまとめてみたい。 「SUPER」の登場でGeForce RTX 40シリーズは合計7モデルへ 今回，発表となったGeForce RTX 40 SUPERシリーズは，GeForce RTX 40シリーズGPUのバリーションとして追加される3製品に
Tiny but mighty: The Phi-3 small language models with big potential
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
Migrating from AWS App Mesh to Amazon ECS Service Connect | Amazon Web Services
Containers Migrating from AWS App Mesh to Amazon ECS Service Connect After careful consideration, we have made the decision to discontinue AWS App Mesh, effective September 30th, 2026. Until this date, existing AWS App Mesh customers will be able to use the service as normal, including creating new resources and onboarding new accounts via the AWS CLI and AWS CloudFormation. Additionally, AWS will
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models Nemotron-4 340B, a family of models optimized for NVIDIA NeMo and NVIDIA TensorRT-LLM, includes cutting-edge instruct and reward models, and a dataset for generative AI training. NVIDIA today announced Nemotron-4 340B, a family of open models that developers can use to generate synthetic data for training la
概要 この記事は、OpenTelemetryについて全く知らない人に向けた入門記事です。前半でOpenTelemetryとは何か解説し、後半でデモアプリケーションを動かしながら、理解を深めていきます。 この記事の執筆時点のOpenTelemetryの最新バージョンは、1.8.0です。参照する公式ドキュメントや動作確認するデモアプリケーションのバージョンも1.8.0です。 OpenTelemetryとは OpenTelemetryは、マイクロサービスアーキテクチャーで分散されたサービス（アプリケーション）の健全性や性能を示す「テレメトリーデータ」を生成、収集、管理、エクスポートするためのOSSです。 大規模な分散システムでは、健全性や性能を把握することが極めて困難なため、迅速なトラブルシューティングのためにはテレメトリーデータの収集が求められます。分散されたサービス（アプリケーション）からテ
Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう！ - asoview! Tech Blog
アソビューでふるさと納税事業・ギフト事業の開発責任者をしております、川又です。 アソビューでは「アソビュー！」「ウラカタ」に次ぐ第3の主要サービスを目指し、 新規事業として「アソビュー！ふるさと納税」「アソビュー！ギフト」を展開しております。 furusato.asoview.com store.asoview.com これら新規事業の開発責任者とは名ばかりで、少数精鋭な開発チームなので私も第一線で様々なシステムの開発を行っています。 学生の頃からパソコンを駆使して身の回りの課題を解決することが好きだったため、これからも開発を続けて行きたいものです。 さて、今回はそんな私がプライベートで「とあるサイトでの予約を自動化したい」という怠惰願望から 自動でブラウザを操作し予約ボタンをポチッと押してくれるbotを開発しましたので、botを構築・デプロイするまでの流れをご紹介したいと思います。 ※今
Pkl, a Programming Language for Configuration | Hacker News
Ah sorry - that was an unintended side-effect of re-upping the original submission. I must have done some of the steps in the wrong order. You mean you don’t have a distributed merge post microservice that emits post migration events, which are then consumed by a post owner conversion service using your existing event-driven architecture to facilitate seamless data synchronization and user notific
How Netflix Really Uses Java
Transcript Bakker: I'm going to talk about how Netflix is really using Java. You probably know that Netflix is really just about RxJava microservices, with Hystrix and Spring Cloud. Really, Chaos Monkeys are just running the show. I'm only half getting here because a few years ago, this was actually mostly true, maybe except the Chaos Monkeys. This stack was something that we were building on in t
Best practices for scaling AWS CDK adoption within your organization | Amazon Web Services
AWS DevOps Blog Best practices for scaling AWS CDK adoption within your organization Enterprises are constantly seeking ways to accelerate their journey to the cloud. Infrastructure as code (IaC) is crucial for automating and managing cloud resources efficiently. The AWS Cloud Development Kit (AWS CDK) lets you define your cloud infrastructure as code in your favorite programming language and depl
Introducing advanced logging controls for AWS Lambda functions | Amazon Web Services
AWS Compute Blog Introducing advanced logging controls for AWS Lambda functions This post is written by Nati Goldberg, Senior Solutions Architect and Shridhar Pandey, Senior Product Manager, AWS Lambda Today, AWS is launching advanced logging controls for AWS Lambda, giving developers and operators greater control over how function logs are captured, processed, and consumed. This launch introduces
Sometimes debuggers and profilers are obviously broken, sometimes it's subtle and hard to spot. From my flame graphs page: (Click for original SVG.) This is pretty common and usually goes unnoticed as the flame graph looks ok at first glance. But there are 15% of samples on the left, above "[unknown]", that are in the wrong place and missing frames. The problem is that this system has a default li
Top 10 Microservices Design Patterns you should know
Earlier I presented one useful design pattern to migrate to a monolithic application to microservices. This pattern is the Strangler Fig pattern and the article can be found here. Here some other specific microservices design patterns will be presented. What is a Microservice?As a reminder and before going into details on the design patterns, let’s review what is a microservice, and the challenges
Rails Scales!
About This Title Pages: 250 Published: September 2025 ISBN: 9798888651025 In Beta Rails Scales! Practical Techniques for Performance and Growth by Cristian Planas Rails doesn’t scale. So say the naysayers. They’re wrong. Ruby on Rails runs some of the biggest sites in the world, impacting the lives of millions of users while efficiently crunching petabytes of data. This book reveals how they do it
GenOps: Learnings From Microservices and Traditional DevOps | Google Cloud Blog
GenOps: learning from the world of microservices and traditional DevOps Who is supposed to manage generative AI applications? While AI-related ownership often lands with data teams, we're seeing requirements specific to generative AI applications that have distinct differences from those of a data and AI team, and at times more similarities with a DevOps team. This blog post explores these similar
Should you use a Lambda Monolith, aka Lambdalith, for your API?
Should you use a Lambda Monolith, aka Lambdalith, for your API? This post looks at some arguments for and against a monolith Lambda API function (aka Lambdalith) compared to single-purpose Lambda functions per API route. It challenges “best practices” and argues that a monolith Lambda function is better in many cases when it comes to an API. IMPORTANT. This post is only applicable to the API facin
はじめに こんにちは。技術本部ECプラットフォーム部マイグレーションブロックの小原です。 本記事では、Spring BootのApplicationRunnerインタフェースを活用したバッチアプリケーション（CLIアプリケーション）の構築方法について解説します。 バッチ処理の実装において、SpringフレームワークはSpring Batchという強力なツールを提供しています。しかし、比較的単純なバッチ処理の場合、Spring Batchの使用はオーバーエンジニアリングとなる可能性があります。 そこで、軽量なアプローチとしてApplicationRunnerを利用した実装方法を説明します。この方法は、シンプルなバッチ処理に適しており、Spring Bootの機能を活用しつつ、必要最小限の実装で効率的なバッチアプリケーションを構築できます。 なお、本記事は下記の環境にて検証しました。 Java
Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB | Amazon Web Services
AWS Compute Blog Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB This post is written by Alan Oberto Jimenez, Senior Cloud Application Architect, and Tobias Drees, Cloud Application Architect. Modern software systems frequently rely on remote calls to other systems across networks. When failures occur, they can cascade across multiple services causing service disru
Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB | Amazon Web Services
AWS Database Blog Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB This post is co-authored with Neha Gupta & Kanica Mandhania from Zomato. Zomato, an India-based restaurant aggregator, food delivery, and dining-out company, operates in over 1,000 cities and lists more than 350,000 restaurants. Since its inception in 2008, Zoma
Managing global AWS Local Zones applications with Amazon Route 53 Geoproximity routing | Amazon Web Services
Networking & Content Delivery Managing global AWS Local Zones applications with Amazon Route 53 Geoproximity routing In an earlier post, we discussed how the hub-and-spoke architecture introduced by Local Zones unlocks more choices than ever for geographies where lower latency access can be introduced. Through workload placement techniques offered by service mesh technology for “east-west traffic”
はじめに 弊社で開発中のマーケティングSaaS NeX-Rayのバックエンド開発ではgRPCを採用しています。 gRPCは、Googleによって開発されたリモートプロシージャコール（RPC）システムで、HTTP/2を使用した効率的な通信の実現や、スキーマ駆動開発が可能であることがメリットとなっています。 本記事では、Nex-RayにおけるgRPCのスキーマ設計を解説します。 スキーマ設計 gRPCのスキーマ定義は、Protocol Buffers（protobuf）と呼ばれるインタフェース定義言語（IDL）によって記述されます。 例えば、protobufは、以下のように定義されます。 service GatewayService { rpc Register(SampleRequest) returns (SampleResponse) {} } message RegisterReque
Technology Trends for 2024
What O’Reilly Learning Platform Usage Tells Us About Where the Industry Is Headed This has been a strange year. While we like to talk about how fast technology moves, internet time, and all that, in reality the last major new idea in software architecture was microservices, which dates to roughly 2015. Before that, cloud computing itself took off in roughly 2010 (AWS was founded in 2006); and Agil
こんにちは、ホシイです 👋 今回は、記事タイトルを見てもぱっとイメージしにくい話題です。ちょっと複雑で、うまく説明できるか自信がないですが、ひとつずつ順を追って書いてみます。 ちなみに (いつもそうですが) 記事の内容は弊社すべてのシステムで採用している技術・ポリシーではなく、ひとつの解決案としてお考えください。 外部 API 呼び出しをするサーバーでのよくある悩み web アプリケーションなどで、リクエストを受けたサーバーがさらに外部の API 呼び出しをすることってよくありますよね。そして、このインターネット時代、そういった API 呼び出しは失敗することもあればタイムアウトすることもよくあります。エラーが返ってきたならまだしも、うまくいったかどうかもわからない場合は、どうしたらいいでしょうか? 今回はここをスタート地点にして、どういった解決が考えられるかを見ていきます。 ちなみに今
The API database architecture - Stop writing HTTP-GET endpoints
The API database architecture - Stop writing HTTP-GET endpoints Table of contents Introduction Data retrieval via PostgREST, data modification in the existing backend Compatibility with REST, CQRS and GraphQL Strategies for adapting existing architectures Adapting a monolithic system with a single backend Adapting (domain-driven) microservices with one or more databases Benefits of the API databas
Zonal autoshift – Automatically shift your traffic away from Availability Zones when we detect potential issues | Amazon Web Services
AWS News Blog Zonal autoshift – Automatically shift your traffic away from Availability Zones when we detect potential issues Today we’re launching zonal autoshift, a new capability of Amazon Route 53 Application Recovery Controller that you can enable to automatically and safely shift your workload’s traffic away from an Availability Zone when AWS identifies a potential failure affecting that Ava
Rebuilding Netflix Video Processing Pipeline with Microservices
Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan Zhu This is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and st
This article explains what event sourcing is, common use cases, considerations and examples. This document discusses an approach to building event sourced systems. The use cases, architecture patterns and implementation details using both AWS native services and open source options. Event Sourcing is an architecture pattern that stores an application’s state as an append-only log of events. As wel
Alibabaのマイクロサービスアーキテクチャで設計された巨大なシステムを分析した論文を読んだ | koyama's blog
はじめに マイクロサービスアーキテクチャは注目されている．例えば，Netflixやebay, AmazonをはじめとするBig Techで採用されている．また，マイクロサービスアーキテクチャで設計されたシステムも研究のトピックとして注目されている．アカデミックな研究ではマイクロサービスアーキテクチャで設計されたシステムやデータセットの収集が難しく，そうした研究の多くが実験用のアプリケーションやデータセットを使っている． この記事では，Alibabaで動作するマイクロサービスアーキテクチャで設計されたシステムを分析した論文を紹介する．特にマイクロサービスアーキテクチャのシステムの規模や構造を主に扱う． 概要 Characterizing Microservice Dependency and Performance | Proceedings of the ACM Symposium on
ナレッジグラフ(Neo4j) を活用してLangChainアプリケーションを強化｜鈴木いっぺい (Ippei Suzuki)
ナレッジグラフ関係の技術記事が多くなってきてますが、この記事は、Neo4jとLangChainを組み合わせて実際にRAGを作ってみた、という内容でステップ毎に紹介してくれています。ナレッジグラフをRAG向けのデータストアとして使うと、構造型のデータと非構造型のデータをミックスしてRAGに提供できる、っという点が強みです。一緒にできるってことは運用管理が楽になる、ということです。ベクトルデータも作る必要はありますが、これもナレッジグラフの中に入れちゃいます。 企業向けのRAGの開発にグラフデータベースとRAGの組み合わせはこれからもっと広がっていくのでは、と期待してます。 Using a Knowledge Graph to implement a DevOps RAG applicationClip source: devops_rag.ipynb - Colaboratory RAGアプ
iOSDC2023で発表した「メルカリ10年間のiOS開発の歩み」のトークスクリプトを公開します | メルカリエンジニアリング
はじめに こんにちは。メルカリ Director of Engineering の @motokiee です。この記事は、Mercari Advent Calendar 2023 の21日目の記事です。 メルカリのサービス開始から10周年ということで、2023年9月にiOSDC Japan 2023 カンファレンスで「メルカリ10年間のiOS開発の歩み」について発表を行いました。 この発表は、10年間のiOS開発の歴史を40分のトークにまとめたものです。メルカリはこの10年多くの技術的なチャレンジをして断続的にアプリケーションをアップデートしてきました。自分が見てきた歴史と、見ていない歴史については git log を手繰りながら調査した集大成となっています。 サービスの歴史が長くなると、アプリケーションのリファクタリングはもちろん、作り直す話も出てくると思いますが、そういった意思決定の際
Mistral NeMo
Mistral NeMoMistral NeMo: our new best small model. A state-of-the-art 12B model with 128k context length, built in collaboration with NVIDIA, and released under the Apache 2.0 license. Today, we are excited to release Mistral NeMo, a 12B model built in collaboration with NVIDIA. Mistral NeMo offers a large context window of up to 128k tokens. Its reasoning, world knowledge, and coding accuracy ar
The excessive use of microservices is still widespread, and this is bad for the earth! I assumed it was common knowledge by now, but I was very wrong. This article aims to clearly explain why you should minimize or eliminate the use of microservices and opt for properly structured modular systems (or any better alternative) instead. Table of Contents Open Table of Contents Importance What Are Micr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
Why is observability so expensive?
SREチーム強化の新たな手段 ~協業で実現する信頼性向上~ - enechain Tech Blog
Flaggerでも手動カナリアリリースがしたい！ - ZOZO TECH BLOG
OpenTelemetry超入門 - Qiita
The Return of the Frame Pointers
ApplicationRunnerを活用した軽量バッチアプリケーションの構築 - ZOZO TECH BLOG
フロントエンドとの連携が最大限ラクになる gRPCのスキーマ設計
外部機能に依存する処理を非同期イベント機構とリトライで解決する
Event Sourcing | Event-driven Architecture on AWS
Don't Microservice, Do Module | Ali Khaleqi Yekta