先月あたりからこんな事象に悩まされていた。 before この画像は、Kubernetes 上の Deployment に対して一定の負荷 (50 req/s) をかけながら、レプリカ数を変化させたときのグラフである。 Deployment がどのくらいの負荷を受けているのかを見たかったのだが、グラフ化したときに意図した通りにならずモヤモヤしていた。この実験は一定負荷なのでレプリカ数を変えても Deployment 全体で受けている負荷は変わらないはず。それなのにレプリカ数を増やすとなぜか負荷が減っているように表示されてしまう。どうして。 TL;DR Datadog Agent の環境変数 DD_CHECKS_TAG_CARDINALITY に orchestrator を設定すれば解決する。 続き これを最初見たとき、Aggregator 設定をミスっているのかと疑ったが、ちゃんと su
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 つい先日、スタディサプリENGLISHの基盤をECSからEKSへの移行をしました。移行の経緯や理由などは先日公開された大島のスタディサプリENGLISHの基盤をECSからEKSに移行しました という記事で紹介しております。 今回は私たちがKubernetesのCDに利用したArgo CDをなぜ選んだのか？どのよう導入したのかという部分を説明していきたいと思います。 Argo CDについて Argo CDはGitOps1)Gitをアプリケーションとインフラのsingle source of truthとして扱い、Gitにある情報(ここではKubernetesのmanifest)をあるべき姿とし、同期を行いアプリケーションの変更を行う手法。GitOpsを提唱しているweaveworksのGitOpsにページに詳細が書いてあ
節目となる 10 回目のニュースレター配信です。 今回のイチオシ記事は ABEJA さんの「GPT モデルへの道のり」とメルカリさんの「お手軽な検索 API 構築」記事です。 Search#How we’re improving search results when you use quotes - GoogleGoogle、引用符による完全一致検索結果をフレーズを中心に表示するよう改善 - PC Watchダブルクォートを使った完全一致検索を行う際に、web ページのヘッダーや URL などは検索対象外になることで、Google の Web 検索体験を改善した。 厳格なテスト – Google 検索の仕組み Google 検索がどのようにテスト・評価を行っているか。 2021 年に、約 4000 件の変更、約 11000 件の AB テストを行っているらしく驚き。 簡単に逆算しても月間
VM execute hookThe PHP virtual machine (VM) is responsible for handling the PHP runtime. There is a function pointer that extensions can override within the VM called zend_execute_ex. If an extension uses this hook, all calls to functions or methods that are defined in PHP run through this hook. Although this was one of the most popular function-call-interception hooks prior to PHP 8, it had a num
インターン参加記 ～GPUクラスタ管理者への道～ - NTT Communications Engineers' Blog
はじめに こんにちは！イノベーションセンターテクノロジー部門 GPU-K8s Projectに二週間、インターン参加させていただいた石本直也と申します。 大学院では、WebAssemblyに関するObservabilityについて研究をしています。 今回の職場体験型インターンシップでは「モダンなICTインフラを支える技術の検証・開発（クラウド, コンテナ or データ基盤領域）」をテーマとして以下のことに取り組みました。 GPU ServerのWorker Nodeとしての設定(cuda,containerd,NVIDIA Container Toolkit) K8sクラスタへのGPU Worker Node追加 Ansibleでのセッティングの自動化 参考：職場体験型インターンシップとは？ ドコモが仕掛ける数多くの事業の中から厳選したポストにて、実務を体験していただきます。 業務体験を通
スタディプラス SREチームの2019年の取り組みまとめ - Studyplus Engineering Blog
SREチームの栗山(id:shepherdMaster)と菅原(id:ksugahara08)です。 年末ということもあり、弊社SREチームが2019年に行ってきた取り組みの中で大きめのトピックを紹介したいと思います。 本来ならもっともっと書きたいことがあるのですが、今回はスタディプラスのSREチームが何をやってきたのか概要がわかるように書いていきたいと思いますのでぜひ最後まで読んで頂けるとありがたいです。 SREチーム発足 SREという職種の共有会 ポストモーテム導入 脱AWS Elastic BeanstalkとKubernetes移行 Terraform移行 ログ収集基盤改善 Rubyバージョンアップ jemallocの導入 勉強会開催 Kubernetesハンズオン Kubernetetsの各機能の勉強会 コンテナ監視ツール勉強会 サービスメッシュ勉強会 CI/CD勉強会 AWS
Istio で実現する A/B テスト基盤
本記事は リクルートライフスタイル Advent Calendar 2019 1日目の記事です。 CETチーム の寺下です。 本日は 2019 年 12 月 1 日ですが、12 月といえば Advent Calendar ですね。 リクルートライフスタイルも Advent Calendar をやっていきます。 さて、初日となる本日は Istio 検証で得られた知見について書いていきます。 我々のチームでは 2015 年頃から基盤開発に Kubernetes を利用しており、 最近では Observability や Traffic Management のために Kubernetes 上に Istio の導入も行っています。 Istio は Kubernetes 上のトラフィック管理やテレメトリを行ってくれる Service Mesh であり、 例えば Istio の Traffic Ma
Introducing Foundations - our open source Rust service foundation library
Introducing Foundations - our open source Rust service foundation library01/24/2024 In this blog post, we're excited to present Foundations, our foundational library for Rust services, now released as open source on GitHub. Foundations is a foundational Rust library, designed to help scale programs for distributed, production-grade systems. It enables engineers to concentrate on the core business
AWS Open Source Blog Introducing OpenSearch Today, we are introducing the OpenSearch project, a community-driven, open source fork of Elasticsearch and Kibana. We are making a long-term investment in OpenSearch to ensure users continue to have a secure, high-quality, fully open source search and analytics suite with a rich roadmap of new and innovative functionality. This project includes OpenSear
実践 Pub/Sub Messaging - Cloud Pub/Sub を活用するための開発基盤を作った話 | Wantedly Engineer Blog
はじめにこんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（@south37）です。 先日、Wantedly では「システム全体の信頼性向上」と「開発生産性の向上」を両立するために Event-Driven Architecture を採用しているというブログを書かせて頂きました。 開発生産性と信頼性の両立を目指すための Event-Driven Architecture - より良いマイクロサービスアーキテクチャを求めて | Wantedly Engineer Blog こんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（ south37 ）です。 Wantedly では、マイクロサービスアーキテクチャを採用しています。 マイクロサービスで開発を進める上で、重要な関心ごとの1つが「多数のマイク
オブザーバビリティ再入門 - 大切さと高め方を知ろう！を開催しました！ - Mackerel ブログ #mackerelio
こんにちは！ Mackerel CREチームでカスタマーサクセスマネージャー（CSM）をやっているid:chizniiです。 2024年6月5日(水)に「オブザーバビリティ再入門 - 大切さと高め方を知ろう！」をはてな 東京オフィスにて開催しました。本記事ではイベントのレポートを行いつつ、発表資料や配信動画のアーカイブを掲載いたします。 オブザーバビリティ再入門 - 大切さと高め方を知ろう！ オブザーバビリティ再入門 - 大切さと高め方を知ろう！とは 今回もイベントのライブ配信を行いました コミュニケーションを促進するための仕組みとして名札を用意 盛りだくさんのトーク内容 可観測性ガイダンス by @nwiizoさん メトリクス、ログ、トレースをうまく使い分けて可観測性を高めよう！ by id:masayoshi OpenTelemetry デモを使って Mackerel のメトリック探索
ZOZOのMLOpsチームにおける監視への取り組み / Observability in 10 mins at ZOZO MLOps
社内の勉強会資料を公開します
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Securing, observing, and troubleshooting containerized workloads on Kubernetes can be daunting. It requires a range of considerations, from infrastructure choices and cluster configura
Systems Performance: Enterprise and the Cloud, 2nd Edition
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
Elastic and Amazon Reach Agreement on Trademark Infringement Lawsuit
Observability, security, and search solutions — powered by the Elasticsearch Platform.
Kuma 2.4.0 has been released! — sidecar lifecycle, metrics TLS and multi-zone improvements, and much more on the Kuma 2.4.0 release blog post. We chose Kuma in large part because we needed a solution that would allow our customers to support both Kubernetes and virtual machines, while providing an easier path to migrating between the two.
AWS Fargate launches platform version 1.4.0 | Amazon Web Services
Containers AWS Fargate launches platform version 1.4.0 AWS Fargate is a managed service to run containers. Fargate allows customers to use Amazon Elastic Container Service (ECS) and Amazon Elastic Kubernetes Service (EKS) to launch applications without the burden of having to deal with the undifferentiated heavy lifting of maintaining, patching, scaling, securing, life-cycling the infrastructure.
Rust's Unsafe Pointer Types Need An Overhaul I think about unsafe pointers in Rust a lot. I literally wrote the book on unsafe Rust. And the book on pointers in Rust. And redesigned the Rust’s pointer APIs. And designed the standard library’s abstraction for unsafe heap-allocated buffers. And maintain the alternative Vec layout. I think about unsafe pointers in Rust a lot, and I absolutely hate th
GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to p
Dify Cloud · Self-hosting · Documentation · Enterprise inquiry Dify is an open-source LLM app development platform. Its intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production. Here's a list of the core features: 1. Workflow: Build and test powerful AI workflows on a visual ca
株式会社MIXIで「家族アルバム みてね」（以下みてね）のSREグループに所属している清水と申します。 みてねのインフラはAWSを全面的に利用しています。サービスがリリースされた2015年から2021年ごろまではAWS OpsWorksというAmazon EC2のオーケストレーションサービスの利用をしておりました。その後Amazon EKSに移行し、AWSのインフラにおける大きな変化となりましたが、同様にモニタリングやオブザーバビリティに関わるツール、サービスについても大きく変化してきました。 本記事ではオブザーバビリティにまつわるツールやサービスの変遷、工夫点などについて紹介します。 オブザーバビリティとは何か 開発したソフトウェアをシステムにデプロイして運用を始めた後、システムが正常に動作し、良いパフォーマンスが出ているのかをモニタリングするというのは開発者にとってよくある習慣です。
Clickhouse as an alternative to ElasticSearch and MySQL, for log storage and analysis, in 2021
In 2018, I've written an article about Clickhouse, this piece of content is still pretty popular across the internet, and even was translated a few times. More than two years have passed since, and the pace of Clickhouse development is not slowing down: 800 merged PRs just during last month! This didn't blow your mind? Check out the full changelog, for example for 2020: https://clickhouse.tech/doc
MLOps guide
A collection of materials from introductory to advanced. This is roughly the path I’d follow if I were to start my MLOps journey again. Table of contents ML + engineering fundamentals MLOps …. Overview …. Intermediate …. Advanced Career Case studies Bonus ML + engineering fundamentals While it’s tempting to want to get straight to ChatGPT, it’s important to have a good grasp of machine learning, d
Modern applications at AWSAugust 28, 2019 • 2269 words Innovation has always been part of the Amazon DNA, but about 20 years ago, we went through a radical transformation with the goal of making our iterative process—"invent, launch, reinvent, relaunch, start over, rinse, repeat, again and again"—even faster. The changes we made affected both how we built applications and how we organized our comp
歴史・年表でみるAWS全サービス一覧(参考資料編) －アナウンス日、General Availability(GA)の参考URL－ - NRIネットコムBlog
小西秀和です。 歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめの記事で参考にしたURLが多すぎるため、こちらに別記事としてまとめました。 AWSサービスの概要など「歴史・年表でみるAWS全サービス一覧」のメインコンテンツは本編を御覧ください。 ただ、見方によってはこの記事の方が面白いかもしれません。 [English Edition] AWS History and Timeline - Almost All AWS Services List, Announcements, General Availability(GA) AWS全サービスの歴史年表に記載したアナウンス日・GA日(一般提供開始日)の参考URL 「What's New」のURL(例：https://aws.amazon.com/about-
Elastic continues to innovate and grow through AWS partnership
Observability, security, and search solutions — powered by the Elasticsearch Platform.
GitHub - lucky-sideburn/kubeinvaders: Gamified Chaos Engineering Tool for Kubernetes
Gamified Chaos Engineering Tool for K8s This project is part of landscape of Cloud Native Computing Foudation in the Observability and Analysis - Chaos Engineering section. Backed by the teams at platformengineering.it and devopstribe.it, which provides enterprise-grade features and certified resilience services for your Kubernetes infrastructure. We have embedded a demo on the DevOpsTRibe blog fo
Next.js Weekly #29: Next.js 14, Geist, Why I’m (not) using Next.js, Oslo, Security in Next.js, React Forget
#29: Next.js 14, Geist, Why I’m (not) using Next.js, Oslo, Security in Next.js, React Forget Next.js Conf 2023 – This year’s Next.js Conf primarily focused on stabilizing existing features rather than introducing new ones. I recommend checking out the VoD. Here’s a quick summary of all the announcements: Next.js 14: No new APIs – As mentioned, it’s all about stability. So Next.js 14 comes with no
Tetragon - eBPF-based Security Observability & Runtime Enforcement - Isovalent
News: Tetragon has reached 1.0! Tetragon 1.0 is here! Read the announcement to learn about the overhead benchmarks, default observability policy library, and tracing process execs! Read the blog We are excited to announce the Tetragon open source project. Tetragon is a powerful eBPF-based security observability and runtime enforcement platform that has been part of Isovalent Cilium Enterprise for
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年12月号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 明日からre:Invent2023が始まります！ ということで、今回は re:Invent2023 が始まる11/27までのアップデートを紹介します。今年のre:Invent2023 アナリティクス関連のセッションについて、事前にチェックすることをおすすめします！ Amazon Redshift 新機能・アップデート 2023/11/01 - Amazon Redshift マルチ AZ が RA3 クラスター向けに一般提供開始 昨年のre:Invent2022に発表された Amazon Redshift RA3 クラスターのマルチ AZ 配置がついに一般提供（GA）になりました。Redshiftを複数のア
Istioを活用したObservability基盤の構築と運用 / Constructing and operating the observability platform using Istio
CloudNative Days Spring 2021 Online Istioと各種監視系OSS（Prometheus, Loki, Jaeger, Grafana）を連携させたObservability基盤を構築し、運用する中で得た知見を紹介します。 References John Porcaro, "Observability (re)defined", 2019 Betsy Beyer, Chris Jones, Niall Richard Murphy, Jennifer Petoff, "Site Reliability Engineering", O'Reilly Media, Inc., 2017 Mike Julian, 松浦 隼人, "入門 監視 ―モダンなモニタリングのためのデザインパターン", O'Reilly Media, Inc., 2019 Cindy Sr
Nov 19, 2019Announcing Hubble - Network, Service & Security Observability for Kubernetes Hubble is a fully distributed networking and security observability platform for cloud native workloads. Hubble is open source software and built on top of Cilium and eBPF to enable deep visibility into the communication and behavior of services as well as the networking infrastructure in a completely transpar
Life of a Request — envoy 1.31.0-dev-d1e955 documentation
Life of a Request Below we describe the events in the life of a request passing through an Envoy proxy. We first describe how Envoy fits into the request path for a request and then the internal events that take place following the arrival of a request at the Envoy proxy from downstream. We follow the request until the corresponding dispatch upstream and the response path. Terminology Envoy uses
オープンソースのKubernetesネットワーク可観測性プラットフォーム「Retina」をリリース Microsoft
Microsoftは2024年3月19日（米国時間）、特定のクラウドに依存しないオープンソースのKubernetesネットワークオブザーバビリティ（可観測性）プラットフォーム「Retina」をリリースした。Retinaは、コンテナネットワークインタフェース（CNI）、OS、クラウドにかかわらず、Kubernetesのワークロードトラフィックを可視化、観測、デバッグ、分析できる。 Microsoftによると、Retinaはアプリケーションとネットワークの健全性とセキュリティを監視するための一元化されたハブとして機能するという。また、DevOps、SecOps、コンプライアンスのユースケースに取り組むクラスタネットワーク管理者、クラスタセキュリティ管理者、DevOpsエンジニアに、実用的な洞察を提供できるとしている。 関連記事 非同期マルチスレッドフレームワーク「Pingora」をオープンソー
ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみた - Qiita
ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみたECSSSMecspresso はじめに コンテナデプロイツールであるecspressoですが、ecspresso v2が昨年末にリリースされました！ ecspresso handbookでも紹介されているecspresso v1とv2の変更点の中でも、今回はSSMパラメータストア参照を利用しました。 https://zenn.dev/fujiwara/books/ecspresso-handbook-v2/viewer/v1-v2 何のために利用したか？ ECSのログコンテナ用fluent-bitのイメージですが、 検証環境でstableタグ指定で運用し、ログ転送に問題が無いかをテスト 具体的にはpublic.ecr.aws/aws-observability/aws-for-fluen
本日RubyKaigiでお話ししてきました。BPFのObservability関連の機能を紹介しながら実際にサンプルをRubyで書いていくみたいな流れでした。以下に資料を。 docs.google.com 一番見せたかった「RubyのGC関係USDTを用いてレイテンシを可視化する」というツールのデモが...流せなかったので*1、心残りを洗い流すべく補足記事を書きます。 USDT？ Rubyを特定のオプション --enable-dtrace でconfigureしてビルドすると、USDTと呼ばれる情報がRubyのバイナリに付与されます。この情報を使うとRubyの生きているプログラムに対して、さまざまな細かい情報を取得できるようになります。例えば以下のタイミングでイベントがフックされます。 オブジェクト一般、シンボル、文字列、配列、ハッシュの作成 C定義のメソッドの呼び出し、リターン GCの開
今年もbuildersconに参加してきました。 builderscon.io 参加したセッション内容のメモと簡単な所感、全体所感を書き残しておきます。資料が公開されているものはリンクを張っておきました。 ※一部、私個人の解釈でメモしているものもあり、発表者の方の本来の意図とズレているものがあるかもしれませんがご了承下さい。 昨年と一昨年の参加レポートのリンク。 builderscon 2018に参加してきた - braitom's Tech Memo builderscon tokyo 2017 1日目 ~アウトラインメモ~ - braitom's Tech Memo builderscon tokyo 2017 2日目 ~アウトラインメモ~ - braitom's Tech Memo 本編1日目 Open SKT: メルペイ開発の裏側 - builderscon tokyo 2019
JJUG CCC 2024 Spring ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2024 Spring に参加しました！ JJUG CCC への登壇も3回目。今回は、なんと桜庭さんと二人でのセッションでした。1 登壇中は、だんだん余裕がなくなってだいぶテンパってしまい、会場の反応を見れていなかったのですが、その後の反応を伺う限り二人での話が良かったということを聞いて安心しました。また次も登壇できるようにネタを考えます！ セッションは色々聞いた中でも、FFMでJITコンパイラを作ってみたがとても面白かったです。アセンブラはほとんど理解できなかったのですが、わからないけどやってみたいと思ったそんな内容でした。Java 関連のセッションなのに機械語やアセンブラの話がメインになるなんて、本当にすごい…。 さて、最後にいつものを。 今回、残念ながら時間がかぶってしまって参加できなかったセッションがいっぱいあったので、あとで読むために現時点で発表者の方が公開され
本連載では、「オブザーバビリティ」という言葉を聞いたことはあるが具体的なイメージを持っていないエンジニア向けに、オープンソースのツールキット「OpenTelemetry」とともにオブザーバビリティの実現方法を紹介します。OpenTelemetryの概要理解から導入方法まで、まとまった知識を得ていただける連載となります。第1回目はOpenTelemetryの基本と概要について解説します。 対象読者 この連載では以下の読者を想定しています。 オブザーバビリティ というキーワードを聞いたことはあるが、触ったことはない人 OpenTelemetryに興味がある人 DevOps・プラットフォームエンジニアリングに取り組もうとしている人 バックエンド開発者・SRE・インフラエンジニア 最近よく聞く「オブザーバビリティ」って？ 「可観測性」とは違うの？ 「可観測性」という言葉は制御工学の領域で1960年
The CNCF Technical Oversight Committee (TOC) has voted to accept KubeVirt as a CNCF incubating project. KubeVirt enables users to run virtual machine workloads on top of Kubernetes in a Kubernetes-native way. It allows the migration of legacy applications and supports building new applications with virtualization requirements, ultimately strengthening Kubernetes as the tool of choice for running c
公開日 2024/01/24更新日 2024/02/15あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 前回の監視・オブザーバビリティ特集では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティをご紹介しました。 今回後編では、Chatwork株式会社、株式会社カカクコム、株式会社LayerX、株式会社リンクアンドモチベーション、株式会社タップルのアーキテクチャをご紹介します。 各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてぜひ参考にしてみてください。 Chatwork株式会社 アーキテ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Datadog を Kubernetes 上で運用するときのカーディナリティ設定 - たんぶろぐ
Amazon EKSでのArgoCDを使ったGitOps CD | Recruit Tech Blog
Search Engineering Newsletter vol.10
PHP 8: Observability Baked Right In
Introducing OpenSearch | Amazon Web Services
Kubernetes Security and Observability
Kuma
Rust's Unsafe Pointer Types Need An Overhaul - Faultlore
「家族アルバム みてね」におけるオブザーバビリティの取り組み | gihyo.jp
Modern applications at AWS
Announcing Hubble - Network, Service & Security Observability for Kubernetes
RubyKaigi 後日譚: GC のレイテンシを可視化する人の補足 - ローファイ日記
#builderscon 2019 参加レポート - braitom's Tech Memo
将来は標準に？ オブザーバビリティと可観測性のこれまでと「OpenTelemetry」の概要
KubeVirt becomes a CNCF incubating project
あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 - Findy Tools