Mizu - API Traffic viewer for Kubernetes
A simple-yet-powerful API traffic viewer for Kubernetes to help youtroubleshoot and debug your APIs. Think of TCPDump and Wireshark reinvented for Kuberneteswith multi-protocol and TLS support.
A simple-yet-powerful API traffic viewer for Kubernetes to help youtroubleshoot and debug your APIs. Think of TCPDump and Wireshark reinvented for Kuberneteswith multi-protocol and TLS support.
今日から始めるPrometheusによるシステム監視(1) 〜Prometheusの特徴とアーキテクチャ〜 | さくらのナレッジ
この記事は2021年3月6日に行われたオープンソースカンファレンス 2021 Online/Springにおける発表を文章化したものです。 今回は「今日から始めるPrometheusによるシステム監視」ということで、Prometheusというツールについてご紹介をしていこうかなと思います。皆さんに「Prometheus完全に理解した」と言えるようになっていただきたい、というのが今回の目標です。 本連載は3本で構成されていて、それぞれ以下の内容を扱います。 Prometheusの特徴とアーキテクチャ(この記事) PrometheusとCNCF、Observability Prometheusを使ってみよう Prometheusとは Prometheus（プロメテウス）は、SoundCloudという海外の音楽系サービスのエンジニアによって開発された監視システムです。もともと、Kubernete
何が違う？ 何が必要？ マイクロサービス／サーバレス時代のセキュリティ：Oracle Code Tokyo 2019 従来のモノリシックなアーキテクチャに代わって着目されている「マイクロサービス」や「サーバレス」。これらの新しいアーキテクチャについて、セキュリティの観点からどのようなことに留意すべきなのだろうか。 ハードウェアはもちろん、OSとミドルウェア、その上で動作するアプリケーションを自力でデプロイしてようやくサービスを展開し、さまざまな依存関係に悩みながら運用していく……。そのような従来のアーキテクチャに代わって着目されているのが、「マイクロサービス」や「サーバレス」だ。 互換性はもちろん、拡張性や可用性、チューニングにアップデートといった、従来、考慮しなければならなかったさまざまな「面倒ごと」から解放されてコードをすぐに展開できる利点を評価し、先端を行く企業の中には、これまでのモ
LINEが定期的に開催する、Kotlinをテーマにした技術者向けのミートアップ「LINE Developer Meetup for Kotlin」。ここで、開発3センターの岩谷氏が登壇。「LIVEBUY」の開発でKotlin Coroutineを利用した知見を紹介します。 自己紹介とセッションの概要 岩谷明氏：みなさんこんにちは。LINEの岩谷と申します。LINE Developers Meetup for Kotlinにご参加いただき、誠にありがとうございます。本日最初のセッションですが、「LINEでKotlinを活用してサービスを作っていく話」と題して、発表します。よろしくお願いいたします。 簡単に自己紹介します。私は2016年にLINE株式会社に入社しました。今までは「LINE LIVE」や「LINEノベル」などのiOSやAndroidのエンジニアをしていましたが、2019年から、本
マイクロサービスにおける技術と組織の衝突に向き合う / Manage the Conflict between Microservices Architecture and Organization Structure
Developers Summit 2019 Summer [C-9] 「本気で実践している人たちにしかできない話が聞きたい」の中の Lightning Talk です。 より詳細な内容は https://scrapbox.io/qsona/devsumi_LT_2019-07-02 を参照ください。
マイクロサービスからモノリシックへ。チャットサーバ移行の道のり - Timee Product Team Blog
はじめに はじめまして、バックエンドエンジニアのぽこひで (@pokohide) です。 最近の日課はゲーム実況者「兄者弟者」の「DYING LIGHT 2 STAY HUMAN」と「エルデンリング」を見る事です。 本記事ではタイミーで長年使われていた、マイクロサービスとして切り出されたチャットサーバ（以降、旧チャットサーバと呼びます）をタイミーの中核を担うモノリシックなRuby on Railsサービス（以降、タイミー本体と呼びます）に移行した話です。 今回は移行した経緯、気にした点などを紹介します。 対象にしている読者は以下の方々です。 レガシーなシステムと向き合っている人 無人化システム ※1 に疲弊している人 ※1 : 無人化システムとは この記事 に出てくる造語で「誰も詳細は知らないが、なぜか動いているシステム」を意味する はじめに チャット機能とは 旧チャットサーバとは なぜや
はじめに 前回「マイクロサービスが開発・運用コストの削減にどう貢献するか考えてみた件」という記事を投稿させていただき、多くの方に読んでいただけたようで大変うれしく思います。 先の記事ではマイクロサービス化のモチベーションの一つとして、コストダウンに貢献できるのか？について、マイクロサービスの文脈で活用する技術と併せて整理しました。 次に、私の記事の内容を受け @atsuo0o が 「デジタルトランスフォーメーションにおけるシステムの俊敏性とは？を考える」 でDXの課題とその進め方について整理しました。 これまでの記事を読んでいただいた方は、自分たちに必要な技術やそのモチベーションについてご理解いただけたのではないかと思います。 しかしながら、まだ一歩を踏み出すには不安がある！という方に向け、気になる点をまとめた記事を書いてみました。同じような悩みを持つ誰かに届けば幸いです。 よくお問い合わ
AWS CDKとZodを活用したバリデーションパターン集 / validation patterns with cdk and zod
#phpcon_odawara オープン・クローズドなテストフィクスチャを求めて / open closed test fixtures
マルチランタイム・マイクロサービスアーキテクチャ
状態(state)を話題にする場合、その多くはサービスの状態や、ステートレスが望ましい理由といったことが多いのですが、サービスを管理するプラットフォーム自体にも状態は必要です。信頼性の高いサービスオーケストレーションの実行、分散型のシングルトン、時間的スケジューリング(cronジョブ)、冪等性、ステートフルなエラーリカバリ、キャッシュなどを行なうには、状態が必要になります。ここで挙げたすべての機能が、内部的に状態を持つことに依存しているのです。状態管理の実際はこの記事の範囲ではありませんが、状態に依存する分散プリミティブやその抽象化は関心の範囲内にあります。 バインディング 分散システムのコンポーネントは相互の通信が必要なだけではなく、最新の外部システム、あるいはレガシな外部システムとのインテグレーションも必要です。そのためには、さまざまなプロトコルを変換し、ポーリングやイベント駆動、リク
How to secure your Kubernetes cluster on Google Cloud - セキュアなGKEクラスタのつくりかた
2021年10月14日 Google × mercari に学ぶ！Kubernetesの活用法とセキュリティ
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
How We Structure Our Work At Mercari Microservices Platform Team
This is slides for Mercari Meetup for Microservices Platform #2 https://connpass.com/event/128017/
はじめに この記事はhey Advent Calendar16日目の記事です。 STORES 予約 開発チーム @arrow_make です。 昨年度まで進めていたマイクロサービス化を止めてモノリスで開発するに至った過程について書いていきます。 STORES 予約 におけるマイクロサービス化 STORES 予約 には主に、管理画面(予約サイト管理者向け)と予約者画面(予約をするエンドユーザー向け)の2種類の画面があり、バックエンドのRailsサーバーでは両方の画面に向けたAPIを提供しています。 その中で主にチーム内でapi/v2と呼んでいる予約者画面に向けて提供しているAPIに連なる機能群を、Railsから切り離して一つのサービスとして独立させることを目的として始まったものと認識しています。 私自身は、マイクロサービス化の走り出し時にはまだ在籍しておらず、入社後すぐにこのプロジェクトに途
servicemesh.es
What is a Service Mesh? A service mesh is a dedicated infrastructure layer that adds features to a network between services. It allows to control traffic and gain insights throughout the system. Observability, traffic shifting (for canary releasing), resiliency features (such as circuit breaking and retry/timeout) and automatic mutual TLS can be configured once and enforced in a decentralized fash
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
この記事はMerpay Advent Calendar 2021 の23日目の記事です。メルペイPayment Platformチームの @foghost がお送りします。 本記事は決済システム開発の観点でリコンサイルを通して防ぎたいリスクについて説明した後、メルペイでリコンサイルについての取り組みについてご紹介します。 リコンサイルとは リコンサイルで検索するとwikipediaではリスク管理の手法の1つと書かれています。人間の様々の活動においてミスが必ず発生するので、リコンサイルはそれら活動の結果が期待通りになっているかどうかを再度確認することで、誤差を検知して様々なリスクを回避することができます。 定義だけ説明してもピンと来ない方が多いかと思いますが、実は普段の生活でも広い意味でのリコンサイルが必要となる場面が多いです。例えば以下の売店で買い物するときの流れを考えてみましょう。 お客
日本マイクロソフトとオルターブースが、Azureを利用したクラウドアーキテクチャおよびアプリケーションアーキテクチャの設計を検討する際に必要な知識やスキルについて発表しました。オルターブースKOSMISCH開発リーダーの松村氏からはアプリ開発を効率化するCI/CD活用とKOSMISCHについて。 アプリケーション開発の効率化にはCI/CD設計が有効 松村優大氏（以下、松村）：ここからは私、松村がお話をします。みなさん、本日はお集まりいただきましてありがとうございます。私は「アプリ開発を効率化するCI/CD活用の仕方」についてお話ししたいと思います。今回はC#で作るアプリケーションでどうやるかお話をしたいと思います。 まずは私、松村はChief Technical Architectというポジションで活動しています。一番得意なのは開発系ですね。C#やPHP、Azureなどクラウドを使った開発
eBPF and Kubernetes: Little Helper Minions for Scaling Microservices - @kanatakita's blog
KubeCon + CloudNativeCon Europe 2020 2日目 のセッションである eBPF and Kubernetes: Little Helper Minions for Scaling Microservices についてです。 スライド 以下のような内容でした。 eBPF についての初学者向けな説明 eBPF の歴史 eBPF の Kubernetes CNI 実装である Cilium について ※ 時系列を雑に日本語で起こしましたが知らないことばかりで都度調べながらの作業でした。 結局ほとんどスライドのままな気がしますが、それでも他の記事以上に誤りが多い気がするので間違っている箇所があったら優しく指摘してください・・笑 Challenges from OS kernel side 前半は eBPF を Linux に入れるまでの話？正直良くわからなかった・・
じわじわとPerlからGoに移行しようとしている俺達のマイクロサービシーズの紹介 / The migrating to microservices in Go from Monolith in Perl
YAPC::Japan::Online 2022 Track B
Blog Home Archive Sections Some of my Favorites (Collections) Management Tips Speaker Tips Developer Relations Thoughts Interop Briefs Some of my Favorites (Individual posts) O/R-M is the Vietnam of Computer Science The Fallacies of Enterprise Computing SSCLI 2.0 Internals Recommended reading list Functional Java On Finding learning The Value of Failure Programming Promises; a Programmer's Hippocr
[レポート] AWS Lambdaを使用したマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO
CX事業本部の佐藤です。 re:Invent 2019 「Building microservices with AWS Lambda」のセッションレポートです。 セッション概要 Many developers have become familiar with building microservices on traditional compute offerings such as virtual machines and containers, but what about serverless? The "functions as a service" model behind AWS Lambda presents a number of unique differences while still providing many benefits that make it a
![[レポート] AWS Lambdaを使用したマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e07f2c7d39da6051582c4376520fb03003c8a16/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
Kuma 2.4.0 has been released! — sidecar lifecycle, metrics TLS and multi-zone improvements, and much more on the Kuma 2.4.0 release blog post. We chose Kuma in large part because we needed a solution that would allow our customers to support both Kubernetes and virtual machines, while providing an easier path to migrating between the two.
The Distributed Computing ManifestoNovember 16, 2022 • 3941 words Today, I am publishing the Distributed Computing Manifesto, a canonical document from the early days of Amazon that transformed the architecture of Amazon’s ecommerce platform. It highlights the challenges we were facing at the end of the 20th century, and hints at where we were headed. When it comes to the ecommerce side of Amazon,
「Envoy Mobile」登場。モバイルアプリケーションにもプロキシによる可観測性、多様なネットワーク機能、トラフィック管理などを提供
「Envoy Mobile」登場。モバイルアプリケーションにもプロキシによる可観測性、多様なネットワーク機能、トラフィック管理などを提供 アプリケーションに対してプロキシとして動作する「Envoy」は、多数のサービスが相互に通信を行うことでアプリケーションを構成する、いわゆるマイクロサービスを実現するうえで重要なモジュールとして急速に注目度が高まっています。 多数のサービスが相互に通信を行う場合、サービスごとに個々に通信機能を作り込むよりも、通信部分は共通したプロキシにまかせることで、サービスごとに通信を作り込まずに済むため実装が安定しやすく、またサービス間の暗号化通信やロードバランシング、プロトコル変更などの要求にもこたえやすく、柔軟なネットワーク構成に対応でき、プロキシを集中管理することで通信ログも容易に取得できて問題の切り分けが容易になるなど、プロキシの利用には多くのメリットがあるた
Modern applications at AWSAugust 28, 2019 • 2269 words Innovation has always been part of the Amazon DNA, but about 20 years ago, we went through a radical transformation with the goal of making our iterative process—"invent, launch, reinvent, relaunch, start over, rinse, repeat, again and again"—even faster. The changes we made affected both how we built applications and how we organized our comp
Under Deconstruction: The State of Shopify’s Monolith
Opens in a new windowOpens an external siteOpens an external site in a new window Ruby on Rails is a great framework for rapidly building beautiful web applications that users and developers love. But if an application is successful, there’s usually continued investment, resulting in additional features and increased overall system complexity. Shopify’s core monolith has over 2.8 million lines of
SRE NEXT 2020 で「SLO Review」というタイトルで登壇しました #srenext - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 先日行われた SRE NEXT 2020 にて、SLO Review というタイトルで発表してきました。 本記事では、会場に来られた方には内容を追体験してもらえるように、来られなかった方には伝えたかった内容を持ち帰っていただけるように解説します。 来場者への質問 本セッションを聴きに来られている会場の方に、SLO に関する質問をしました。 会場への質問 SLO という言葉の意味を知っているひと：9割以上、ほとんど全員 自分のサービスに SLO を定めて運用をしているひと：2割程度 Error Budget Policy を定めて、SLO 違反になった際にリリースを止めるなどをしているひと：2,3人 事前に予想した通りの比率でした。まさに僕の発表は 1 を満たしているが、2をこれからやる、というひとに対するヒントを提供する発表だったからです。
Service Weaver
Write your application as a modular binary. Deploy it as a set of microservices. Service Weaver is a programming framework for writing and deploying cloud applications. Read the Docs Step 1: Split Your Application Into Components Split your application into components written as regular Go interfaces. Don't fuss with any networking or serialization code. Focus on your business logic. type Adder in
GitHub - dapr/dapr: Dapr is a portable, event-driven, runtime for building distributed applications across cloud and edge.
Dapr is a portable, serverless, event-driven runtime that makes it easy for developers to build resilient, stateless and stateful microservices that run on the cloud and edge and embraces the diversity of languages and developer frameworks. Dapr codifies the best practices for building microservice applications into open, independent, building blocks that enable you to build portable applications
Introduction to Dockerizing for Production Improve your DevOps skills: learn an iterative process for Dockerizing your code. Get your free ebook “Let’s use Kubernetes!” Now you have 8 problems by Itamar Turner-Trauring Last updated 01 Oct 2021, originally created 04 Mar 2020 If you’re using Docker, the next natural step seems to be Kubernetes, aka K8s: that’s how you run things in production, righ
https://cloudnativedays.jp/cndt2019/ での登壇資料です
この記事は「連載：技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 こんにちは、メルカリの Transaction チームでバックエンドエンジニアをしている @oklahomer です。今回は、各種クライアントサイドとサーバサイドで実装している支払額計算のロジックを、新たなマイクロサービス実装へ移行する取り組みについて紹介します。 この連載では、既に Transaction チームから以下の 2 つの記事が公開されています。この記事の前提を把握いただくためにも、ぜひご一読ください。 関連記事：Understanding and Moderninzing a Legacy Codebase 関連記事：メルカリの取引ドメインにおけるモジュラーモノリス化の取り組み これらの記事の中では、創業当時から運用されているモノリシックな PHP アプリケーションに取引ドメインのロジ
CloudNativeがここまで進化するとインスタンスの仮想化技術をベースとしたシステムなど使いたくなくなってしまいます。 私は新たにシステムを構築する際、必ずServerless Firstの考え方で設計をしていきます。 その中でAWS Lambda、Amazon DynamoDBを中心にMicroservicesの設計をしていくのですが、 ACIDの部分をどう対処するかが一番悩むところです。 今回はServeice間のTransactionに関する話を自分なりに整理していきたいと思います。 図1 Saga Design Pattern Sagaは複数のサービスにまたがるトランザクションを実装するためのマイクロサービスアーキテクチャパターンです。 複数のマイクロサービス間でデータ一貫性を実現するもので、Sagaには２つのパターンがあります。 1. Choreography-based S
Sagaパターンについて - Qiita
概要 マイクロサービスでは、移行する際にシステム移行に伴うDBの分解が発生した場合に、分散トランザクションは推奨していません。参照: マイクロサービスに移行した際の分散トランザクションの危険性 簡単に説明するなら分散トランザクションは、不具合となる危険性がある為です。 そのため、マイクロサービスで複数のリソースの結果整合性を利用する方法として、Sagaパターンがあります。 Sagaパターンとは Sagaパターンとは、結果整合性を使ったアーキテクチャの1つであり、複数の状態変更を調整できリソースを長時間ロックすることがないよう設計されたアーキテクチャパターンです。「Sagaの元々のアイデアは、Hector Garcia MolinaとKenneth Salemによって発表された論文から生まれました。」 もう少し詳しく説明すると、結果整合性を担保したい範囲を１つのローカルトランザクション(擬似
はじめに 株式会社マクアケでエンジニアをしている @tokutoku3 です。 僕が携わっているMakuakeという応援購入サービスを支える管理画面では、１年半ほど前からマイクロフロントエンドというアーキテクチャを取り入れた開発・運用にトライしています。 本記事では、その経験を通して感じたことを紹介できればと思います。 対象読者 マイクロフロントエンドに興味がある 試してみたいが、どんな観点があるかわからない 他サービスでの事例を参考にしたい 書いていること マイクロフロントエンドアーキテクチャを導入したサービス開発で実際に試していることや、感じているメリット/デメリットの話 書いていないこと 具体的な実装サンプル 実装に踏み込んだ話は別記事にしようと思っています マイクロフロントエンドとは？ 概念自体初見の方は、以下の記事を読むと雰囲気が掴めるでしょう。 ざっくり表現すると、マイクロサー
Mercari Meetup for Microservices Platform #2 を開催しました | メルカリエンジニアリング
Microservices Platform Team の @masartz です。 昨年に引き続き、Mercari Meetup for Microservices Platform #2 を先週5月22日に開催しました。 ちなみに昨年版の記事はこちらです、合わせてご確認ください。 第1回から約1年ぶりとなりますが、その間にメルカリグループではC2Cアプリ「メルカリ」におけるMicroservices移行、決済サービス「メルペイ」のリリースなどが行われており、Microservices Platform Teamはその両方を支える基盤を構築しながらグループを横断した取り組みをしてきました。自分たちの成果を広げつつ、組織を拡大させることを目的としています。 そのような背景の中で、チームとしてどのようなアウトプット・アプローチをしてきたか、またPlatformを使う側の立場であるメルペイエン
net/http/httptest.Server のアプローチをテスト戦略に活用する / Go Conference 2023
こんにちは、バックエンドエンジニアの鈴木(善)です。 昨年に引き続き、今年もHRBrainではアドベントカレンダーをやっていきます！ qiita.com この記事はその第一日目となります。 みなさん、マイクロサービスの開発ってどうされてますか？ HRBrainでは現在マイクロサービス構成をとっており、日々の開発では個人のマシン上で各サービスを立ち上げて動作確認やデバッグができるようになっています(以下、ローカル開発環境と呼びます)。サービスが成長するとともにこの環境にも課題が出てきました。 これを改善するため「Tilt」というソフトウェアを試したところよかったので、今はTiltベースのローカル開発環境に乗り換えています。 Tiltに関する日本語の情報もまだ少なそうなので、今回は一つの導入事例として紹介してみようと思います。 本記事ではまず弊社の抱えていた課題に触れ、次にTiltの概要を説明
microservices-infrastructure-with-envoy-consul-nomad
Envoy Meetup Tokyo #1 の発表スライドです。 発表後から誤字の修正のほか次の修正が入っています。 P32. スライドが一枚抜けていたので追加 P26. 設定ミスとなる正しい理由をご指摘いただいたので正しい対処方法を記載
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
何が違う？ 何が必要？ マイクロサービス／サーバレス時代のセキュリティ
マイクロサービスにおける非同期処理は何で実現させるか？ Callback地獄などを起こさないKotlin Coroutineのメリット
マイクロサービスに興味があるあなたの背中を押すかもしれない10の質問 - Qiita
mercari.go #12 go-circuitbreakerのご紹介
eBPF in Microservices Observability at eBPF Day
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
マイクロサービス化を進めていたが、切り戻してモノリスで開発しているお話 - STORES Product Blog
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
マイクロサービスにおけるリコンサイルの話 | メルカリエンジニアリング
C#アプリをマイクロサービス化するために 品質を保ち続けるのにKOSMISCHが有効な理由
You Want Modules, Not Microservices
Kuma
The Distributed Computing Manifesto
Modern applications at AWS
“Let’s use Kubernetes!” Now you have 8 problems
マイクロサービスにおける 最高のDXを目指して / Microservices vs DX
クライアント・サーバサイドに分散する計算ロジックのマイクロサービス化 | メルカリエンジニアリング
Serverless Microservices - Saga Transaction - Qiita
マイクロフロントエンドが我々にもたらすうまみとつらみ
コード決済における冪等性と整合性 / #merpay_techtalk
マイクロサービスのローカル開発をTiltでちょっと楽にする - HRBrain Blog
www.sut-tv.com
www.turtlewiz.jp
www.asahi.com
twitter.com
mainichi.jp
senior-lifehack-lab.com