クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでアイレット株式会社の古屋氏が登壇。「うんうん、それ（EC2+ASG）もまたCloudNativeだね」をテーマにCloudNativeについて紹介します。 みなさん、CloudNativeしていますか？ 古屋啓介氏（以下、古屋）：それでは「うんうん、それ（EC2+ASG）もまたCloudNativeだね」ということでお話しします。私は古屋と言います。アイレット株式会社のcloudpackに所属していて、ふだんはAWSやGoogle Cloudとイチャイチャするのが仕事です。 さてみなさん、CloudNativeしてますか？ CloudNativeとは。CLOUDNATIVE DAYSに参加したことがある方なら、何回か見ていると思いますが、これはC
HashiCorpが、「Terraformによるインフラストラクチャのセキュリティ強化に関する6つの手法」というブログ記事を公開しました。この記事では、クラウド環境への移行に伴うセキュリティ上の課題に対処する方法が具体的に述べられています。 HashiCorpが、Terraformによるインフラストラクチャのセキュリティ強化に関する6つの手法を公開しました。 この記事では、クラウド環境への移行に伴うセキュリティ上の課題に対処する方法が具体的に述べられています。 HashiCorpの調査によれば、セキュリティはマルチクラウド環境の成功に不可欠な要素として挙げられており、Terraformを活用することでセキュリティとコンプライアンスを重視したインフラストラクチャのプロビジョニングプロセスを実現することができます。 1. プロビジョニングスキルのギャップを埋める 調査によると、スキルギャップが
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
本連載では、「オブザーバビリティ」という言葉を聞いたことはあるが具体的なイメージを持っていないエンジニア向けに、オープンソースのツールキット「OpenTelemetry」とともにオブザーバビリティの実現方法を紹介します。OpenTelemetryの概要理解から導入方法まで、まとまった知識を得ていただける連載となります。第1回目はOpenTelemetryの基本と概要について解説します。 対象読者 この連載では以下の読者を想定しています。 オブザーバビリティ というキーワードを聞いたことはあるが、触ったことはない人 OpenTelemetryに興味がある人 DevOps・プラットフォームエンジニアリングに取り組もうとしている人 バックエンド開発者・SRE・インフラエンジニア 最近よく聞く「オブザーバビリティ」って？ 「可観測性」とは違うの？ 「可観測性」という言葉は制御工学の領域で1960年
はじめてのNew Relic - 社内オンボーディングを開催いただきました - BASEプロダクトチームブログ
はじめに CTOの川口 (id:dmnlk) です。 BASEは現在140万ショップを超え、サービスの安定性・信頼性を維持することは非常に重要になっています。 その中で去年、New Relicを本格的に導入しました。 https://newrelic.com/jp/press-release/20201217 しかしNew Relicを導入しただけで安定性が獲得できるわけではありません。得られるのは可観測性のための武器であり、その使い方を適切に学ばなければ無駄になってしまいます。 今回、New Relic社のご提案もあり社内メンバー向けにオンボーディング会を開いていただけることになりました。 オンボーディングを行うことでまずNew Relic Oneのオブザーバビリティプラットフォーム で何が出来るのか、どのように使うことでBASEシステムの可観測性を得ていくことが出来るのかを開発チームが
O'REILLY Velocity 2015 Santa Claraが2015年5月27日から29日まで開催しています。ハートビーツからも松鵜と滝澤の二人が参加しています。 5月27日にチュートリアルに参加してきたのでその一部を紹介します。 後編も公開しました。（6月4日追記） なお、内容については紹介している資料を確認してください。聞き間違えたり、認識が違っているかもしれないためです。 ※写真は初日のチュートリアル終了後のパーティー会場に使われたLevi's Stadiumです。 Best practices for MySQL High Availability このチュートリアルではMariaDB FoundationのColin Charles氏がMySQLおよびその派生の高可用性（High Availability）についてベストプラクティスを紹介してくれました。 高可用性を実現
UbieでのBI民主化の振り返り
こんにちは。Ubie Discoveryのおきゆきです。アナリティクスエンジニア/データアナリストとして働いています。自己紹介ページはこちらです。 Ubieでは、各チームが適切にデータを利活用できるようにするためのBI民主化活動を行っています。この記事では、昨年行ったBI民主化の取り組みの一部を紹介します。 BI民主化が必要なわけ データチームが依頼の窓口となり、各チームの依頼に対応するというやり方は、ナレッジが独人化しがちで、チケット管理などの運用コストが増し、中長期的にみてもデータチームの生産性が低下しがちです。結果、本質的なデータ基盤改善や攻めの分析活動が後手になりやすいです。また、ドメインに詳しい依頼元が分析実施できたほうが良い示唆を得られることが多々あります。 一方、データチームを介さずに各チームで分析の実施までできている以下のケースではどうでしょうか。 「あるデータが欲しいプロ
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
Microservices Pattern: Microservice Architecture pattern
Want to learn how to design a microservice architecture? Take a look at Assemblage, a microservice architecture definition process. In my workshop, you will learn about to use Assemblage to design a microsevice architecture for your application. Context You are developing a business-critical enterprise application. You need to deliver changes rapidly, frequently and reliably - as measured by the D
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
Website Monitoring Service - Availability and Performance | Pingdom
Get unified visibility and intelligent insights with SolarWinds Observability LEARN MORE Synthetic Monitoring Simulate visitor interaction with your site to monitor the end user experience. View Product Info FEATURES
Opens in a new windowOpens an external siteOpens an external site in a new window On February 24, 2021, Shipit!, our monthly event series, presented Making Commerce Extensible with WebAssembly. The video is now available. At Shopify we aim to make what most merchants need easy, and the rest possible. We make the rest possible by exposing interfaces to query, extend and alter our Platform. These in
Opens in a new windowOpens an external siteOpens an external site in a new window By Jay Lim and Gannon McGibbon At Shopify, we believe in highly aligned, loosely coupled teams to help us move fast. Since we have many teams working independently on a large monolithic Rails application, inefficiencies in code are sometimes inadvertently added to our codebase. Over time, these problems can add up to
GitHub - quickwit-oss/quickwit: Cloud-native search engine for observability. An open-source alternative to Datadog, Elasticsearch, Loki, and Tempo.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Seeing through hardware counters: a journey to threefold performance increase | by Netflix Technology Blog | Nov, 2022 | Netflix TechBlog
By Vadim Filanovsky and Harshad Sane In one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger lev
martinfowler.com
Software development is a young profession, and we are still learning the techniques and building the tools to do it effectively. I've been involved in this activity for over three decades and in the last two I've been writing on this website about patterns and practices that make it easier to build useful software. The site began as a place to put my own writing, but I also use it to publish arti
// By Ruslan Nigmatullin and Alexey Ivanov • Jan 08, 2019 Dropbox runs hundreds of services, written in different languages, which exchange millions of requests per second. At the core of our Service Oriented Architecture is Courier, our gRPC-based Remote Procedure Call (RPC) framework. While developing Courier, we learned a lot about extending gRPC, optimizing performance for scale, and providing
OpenTelemetry Casual Talk - コンセプトのおさらいと実践入門！を開催しました！ - Mackerel ブログ #mackerelio
こんにちは！Mackerel CRE の id:KGA です。 2024年3月25日（月） に「OpenTelemetry Casual Talk - コンセプトのおさらいと実践入門！」を はてな 東京オフィスにて開催し、盛況を博しました！本記事では発表資料や配信動画のアーカイブとともに、イベントのレポートします。 OpenTelemetry Casual Talk - コンセプトのおさらいと実践入門！ OpenTelemetry Casual Talk とは Mackerel のイベント初！ライブ配信を行いました 盛りだくさんのトーク内容 OpenTelemetry実践 はじめの一歩 by id:taxintt サービスメッシュ環境における OpenTelemetry 活用 by 逆井さん、柏原さん OpenTelemetry のサービスという概念について by id:azukiazus
Cloud observability made for devs Use logs, metrics and distributed tracing to detect, diagnose and resolve issues before they impact your users.
Building Netflix’s Distributed Tracing Infrastructure
“@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t
この記事は @hatappi によって提供される Developer Productivity Engineering Camp blog series の１つです。 序論 私達 Microservices Network team の管理するコンポーネントの1つに Istio があります。 メルカリでは2017年から既存のシステムを Microservices におきかえるプロジェクトが始まり、Microservice の数は今も増え続けています。Microservice の数が増えるにつれて起きる問題に対処するために Service Mesh の実装の１つである Istio を私達は導入しました。 この記事ではどのような問題があり、それを Istio がどのように解決するのかを紹介します。 Microservice Architecture におけるネットワークの課題 Microser
なんでもやるがなんでもはやらない？CADDi の Platform チームは、何をするチームなのか？ - CADDi Tech Blog
こんにちは。SWE の飯迫 (@minato128) です。 7月1日、CADDi で初めての Tech 組織横断チームとして、山田(@kei711_) と一緒に Platform チームを立ち上げました。一般的に Platform チーム/エンジニアの役割は、SRE ほど型化されておらず会社によってやることが異なりますが、過去 2 社の経験や他社事例をみると大きな技術的投資が必要になってくるタイミングで組成されることが多いようです。そこで、CADDi の Platform チームがどういう目的で何をやるチームなのか紹介します。 背景 現在開発チームは 5 つあり、各チームが責任を持ってプロダクトを開発運用しています。これまでは、SRE チームも Platform チームもなく、開発チーム間でよしなに連携して進めてきました。それでも一定なんとかなってはいたのですが、片手間で取り組むには大き
Author’s Note: I’m greatly indebted to Marc McBride for reading a draft of this post and offering some excellent suggestions. This is the second installment in my series on testing distributed systems. The posts in this series are the following: Testing Microservices, the sane way (published December 2017) Testing in Production, the safe way (published March 2018) Testing in Production: the hard p
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
今日、多くの人がノートパソコン、タブレット、スマートフォンでアプリケーションを使用しています。デバイスに電源が入っているかどうか、Wi-Fi ネットワークが接続されているか、簡単に確認できます。画面には、空き容量不足の警告といった重要な通知が表示されます。実際に、ユーザーインターフェイス (UI) の全般的な速度や応答性は、アプリケーションにメモリや CPU などの十分なリソースがデバイスにあるかどうかを示す良い指標となります。 家族をリモートで技術的に手助けしたことのある人なら誰でも、デバイスを見ながら直接操作できないと、問題の検出や診断が少々難しいことをご存知でしょう。クラウドベースのサービスを実行する場合、同様の問題に直面します。これらのリモートサービスをどうモニタリングすればいいか? お客様が満足しているかを確認するにはどうすればよいか? 単一ホストサービスを監視するには、そのホス
Post-Incident Review on the Atlassian April 2022 outage - Atlassian Engineering
This PIR is available in the following languages:日本語 | 简体中文 | 繁體中文 | Deutsch | English | Español | Français | Italiano | 한국어 | Polski | Português | русский. Letter from our co-founders & co-CEOs We want to acknowledge the outage that disrupted service for customers earlier this month. We understand that our products are mission critical to your business, and we don't take that responsibility light
既存GoプロジェクトにOpenTelemetryを計装する機会がありました。eBPFによる自動計装ではなく、手動計装を選んだ理由を説明します。 GoアプリケーションへのOpenTelemetry計装手段 Goにおいては、OpenTelemetryの自動計装が公式で用意されていません。公式サイトにAutomaticの章がないことからわかります。おそらく、ランタイムの制約で実行時にアプリケーションの挙動を変えることが難しいのでしょう。 トレースに十分なスパンを含めるために、現状では以下の2つの計装手段があります。既存のGoアプリケーションに導入する手間や影響範囲をイメージいただくために、概要に絞って解説します。 手動計装 eBPFによる自動計装（Work In Progres） 1. 手動計装 まず、OpenTelemetryのSDKをインストールし、セットアップをします。 func main
Debugging Incidents in Google’s Distributed Systems - ACM Queue
June 6, 2020 Volume 18, issue 2 PDF Debugging Incidents in Google's Distributed Systems How experts debug production issues in complex distributed systems Charisma Chan and Beth Cooper Google has published two books about SRE (Site Reliability Engineering) principles, best practices, and practical applications.1,2 In the heat of the moment when handling a production incident, however, a team's act
製品 { this.openCategory = category; }, 160); }, clearCategory() { clearTimeout(this.timeoutID); } }" x-init=" const menu = document.querySelector('.product-menu'); var observer = new MutationObserver(function(mutations) { mutations.forEach(function(mutation) { if (mutation.attributeName === 'class' && !mutation.target.classList.contains('show')) { openCategory = 'observability'; } }); }); observer.
Kubernetesに無限の可能性を生み出す「Operator」「CRD」「カスタムコントローラー」とは
Kubernetesに無限の可能性を生み出す「Operator」「CRD」「カスタムコントローラー」とは：Cloud Nativeチートシート（8） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Kubernetesの機能を拡張する「Operator」「CRD」「カスタムコントローラー」について解説します。 ヤフーやサイボウズも使っている、Kubernetesの「Operator」とは Kubernetesでは、「Pod」「ReplicaSet」「Deployment」「Service」などの標準のリソースが用意されていますが、「Operator」を利用すると、独自のリソースを追加してKubernetesを拡張することができます。 Operatorは既に広く利用されています。 世の中の先進企業の例を見ると、ヤフーのKu
Welcome to Wildebeest: the Fediverse on Cloudflare2023-02-08 The Fediverse has been a hot topic of discussion lately, with thousands, if not millions, of new users creating accounts on platforms like Mastodon to either move entirely to "the other side" or experiment and learn about this new social network. Today we're introducing Wildebeest, an open-source, easy-to-deploy ActivityPub and Mastodon-
この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform DX Teamの@micnncimがお届けします。 はじめに メルカリでは社内エンジニアの多くがマイクロサービスを開発に携わっているため、Platform Developer Experience（DX）チームは、Platform Engineeringをもって、エンジニアがビジネスロジックなどのバックエンド開発に集中できるよう、さまざまな社内プロダクトを提供しています（その概要については、前回の記事「Developer Experience at Mercari」で紹介しています） この記事では、私たちが開発してきたCUEによるKubernetesマニフェストの抽象化について紹介します。 これはKubernetesマニフェストの構成に関する多くの問題を解
シスコシステムズは、ログの収集解析ツール大手として知られるSplunkの買収を発表しました。 買収金額は280億ドル（1ドル145円換算で4兆600億円）。ブルームバーグの報道によると、これは同社の歴史上最大規模の買収とのこと。 シスコはネットワーク機器大手として知られていますが、現在ではサーバ分野でも存在感を示し、2017年にはモニタリングツールベンダのAppDynamicsを買収するなど、データセンターにおけるネットワーキングとサーバ、セキュリティ、そしてそれらを統合し運用管理するソフトウェアや基盤となるソフトウェアなどを提供するベンダとなっています。 参考：シスコ、AppDynamicsの買収を完了。アプリケーションやビジネスレイヤのモニタリングにも取り組みをはじめるシスコ Splunkは、サーバやネットワーク機器などあらゆるマシンやセンサー、ソフトウェアなどから生成されるログデータ
第8回Web System Architecture研究会に参加して「システムの変化に追従可能でかつ理解し易いドキュメントシステムのモデル化」について発表した #wsa研 - Copy/Cut/Paste/Hatena
wsa.connpass.com オンライン開催に参加してきました。 予稿 github.com 発表資料 システムの変化に追従可能でかつ理解し易いドキュメントシステム 発表内容はドキュメントシステム（ドキュメンテーションツール）についてです。 私は、システムを理解するためにかかる時間（いわゆる「オンボーディングまでのコスト」。私は「開発開始までのオーバーヘッド」と呼んでいます）をいかに継続的に削減できるかに興味をもっています。 それはなぜかというと「私がシステムの理解のセンスがないからそれをなんとか技術で解決したい」という個人的欲求に他ならないのですが、「まあオンボーディングのコストが小さくなればそれはエンジニア全員にも良いことだろうな」と勝手に思い込んでいろいろ作ったりしています。 実は今回の発表にいたるまでには過程があって、July Tech Festa 2021 winter では
実践！OpenTelemetry と OSS を使った Observability 基盤の構築（CloudNative Days Tokyo 2022 発...
クラウドネイティブの注目動向、eBPFとWebAssemblyの利用が広がる、Appleが人材のブラックホールに。CNCFアンバサダー ＠_inductor_氏に聞いた
クラウドネイティブの注目動向、eBPFとWebAssemblyの利用が広がる、Appleが人材のブラックホールに。CNCFアンバサダー ＠_inductor_氏に聞いた Kubernetesの開発をホストするなどクラウドネイティブ関連のテクノロジーやソフトウェアを主導するCloud Native Computing Foundation（以下CNCF）は、2021年を総括するレポート「CNCF 2021 ANNUAL REPORT」を公開しました。 CNCFは2021年末現在でKubernetes、Prometheus、Envoy、ContainerDなどを始めとする120以上の開発プロジェクトをホスト。エンドユーザー数も順調に伸びています。 内容の詳細はぜひレポートをご参照ください。 合わせてPublickeyでは、この1年のCNCFやクラウドネイティブの動向について、CNCFアンバサダ
おうち電力の Observability: parser combinator をガリガリ書いてスマートメーターとおしゃべりする - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2023 6日目の記事です。 こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は Observability まわりを取り組んでいます。 この記事では、以前私が Tech-Night という社内 LT 会で発表した以下のプロジェクトのご紹介します。 Tech-Night については以下の記事をご覧ください。 きっかけ 今年は不安定な世界情勢と円安、猛暑により電気代を気にする機会が多かったのではないでしょうか。 私もあるとき 7-9 月の電気代を確認したところ、電力使用量が 330 kWh、電気代が 10,000 円を超えていました。これは私のチームの 4 人家族のご家庭と比べても多い値でした。 なぜ私の家では
近年注目を集めるSRE（Site Reliability Engineering）。その実践には、Observability（可観測性）や設計の他、組織づくりや文化の醸成などが重要なカギを握るとされ、各々の組織に合う形で導入・運用されることが望ましいとされる。株式会社はてなでも、サーバー監視サービス「Mackerel」の開発チームで2019年より実践が開始され、組織全体に展開されてきた。その導入の背景や、DevOpsを達成するためのチーム編成などの経緯について、Mackerelチーム リードSREの古川雅大氏が経験を踏まえつつ紹介した。 株式会社はてな Mackerelチーム リードSRE 古川雅大氏 SREの第一歩は非エンジニアも含めた「SREの理解」から Googleが提唱した「SRE」は、いわばDevOpsの実践法であり、ツールや考え方の共通化、チーム構成などによって組織のサイロを減
Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions (e.g., cre
Adopting Istio for a multi-tenant kubernetes cluster in Production
This is the 3rd blog post for Mercari’s bold challenge month. At Mercari, while migrating our monolithic backend to microservices architecture, we felt the need to have a service mesh and understood its importance in the long run. Most of the incident post-mortem reports had actionable items such as — implement rate-limit, implement a better canary release flow, better network policies… and this i
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
うんうん、AWSのEC2+ASGもCloudNativeだね 人が考える余地を減らすことこそ“CloudNative”だ
Terraformが考える、インフラセキュリティを強化する6つのポイント
🔭 RustでOpenTelemetryをはじめよう | Happy developing
将来は標準に？ オブザーバビリティと可観測性のこれまでと「OpenTelemetry」の概要
O'REILLY Velocity 2015 Santa Clara参加レポート - 前編
Fargate Spotを本番運用するための監視の実践 - KAYAC Engineers' Blog
Netflix End of Series 1
How Shopify Uses WebAssembly Outside of the Browser
How to Fix Slow Code in Ruby
Courier: Dropbox migration to gRPC
Baselime - Observability and Error-tracking Platform
Istio が解決する私達の問題 | メルカリエンジニアリング
Testing in Production, the safe way
運用を可視化するためのダッシュボードの構築 | Amazon Builders' Library
GoプロジェクトへのOpenTelemetry計装でeBPF自動計装を採用しなかった話
Monitoring Kubernetes with Datadog
Welcome to Wildebeest: the Fediverse on Cloudflare
CUEを使用したKubernetesマニフェスト管理 - メルカリエンジニアリング
シスコがSplunkの買収を発表、約4兆円で。同社の歴史上最大規模の買収
eBPFを用いたトレーシングについて
はてな「Mackerel」のSREに学ぶ、開発パフォーマンスと信頼性のベストバランスとは？【デブサミ2021夏】