サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める | gihyo.jp
Google Cloudで実践！ クラウドネイティブな開発 サービスメッシュを活用して、クラウドアプリケーションのオブザーバビリティを高める 本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第6回では、サービスメッシュについて紹介します。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築するエンジニア、サービス開発に携わるプロダクトマネージャーを想定しています。 マイクロサービスアーキテクチャの課題 これまでの連載ではクラウドネイティブなアプリケーションの開発について紹介しました。小さい独立して動作するサービスが連携するマイクロサービスアーキテクチャは、スケーラビリティ、独立した開発の容易さ、
【Istio⛵️】Istioによって抽象化されるEnvoyのHTTPSリクエスト処理の仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Istioのサイドカーメッシュを題材にしたEnvoyの設定の抽象化について 様々なサービスメッシュツール (特に、Istio、Consul、Cilium、など) でも流用できるEnvoyの知識について この記事から得られる知識 01. はじめに 02. 様々なリソースによるEnvoy設定の抽象化 サービスメッシュ外からのHTTPS マイクロサービス間のHTTPS サービスメッシュ外へのHTTPS 03. istio-proxyコンテナによるHTTPS処理 Istioコントロールプレーンの仕組み サービスメッシュ外からのHTTPS マイクロサービス間のHTTPS サービスメッシュ外へのHTTPS 04. EnvoyによるHTTPS処理 Envoyの設定の種類 フィルター フィルターの一覧 フィルターチェーンの仕
envoyにおける分散トレーシングの導入でオブザーバビリティを向上させた話 - freee Developers Hub
はじめまして、2023/6からfreeeのEnabling SREチームに所属している大木竜勝(ryu)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 3日目です。 この記事ではenvoyの分散トレーシングを用いてオブザーバビリティの向上を実現した取り組みについての記事になります。 背景 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) クラスタ上にアプリケーションが載っておりその構成としてはenvoyが前段に存在し、後段に各アプリケーションPodが存在する構成となっています。 freeeにおける基本的なPod構成 上記の構成においてクラスタの単位はfreee会計やfreee人事労務といったプロダクト毎にクラスタが分かれている構成となっていま
IstioやEnvoyで発生するネットワーク系エラー - Carpe Diem
背景 マイクロサービス環境でIstio(Envoy sidecar)を使っていると、いくつかのエラーに遭遇します。 それぞれどういった状況で発生しているエラーなのかを区別できないと、適切な対応にならないため各種エラーをまとめます。 環境 Envoy 1.22.0 Go 1.21 構成 次のようにclient appやserver appにsidecarが挟まるようにします。 エラー dial tcp 172.20.0.4:8001: connect: connection refused connection error: desc = "transport: Error while dialing: dial tcp 172.20.0.4:8001: connect: connection refused が発生するパターンです。 周辺ログも含めると次のようになります。 timeout-
【インフラ】xDS API の EDS に手を加えて動的に Envoy で weight 調整できるようにした - Mirrativ Tech Blog
こんにちは、ミラティブのインフラを担当している清水です。 ミラティブではクラウドに Google Cloud を利用しているのですが、稀にインスタンスの性能劣化が発生し動かしているアプリケーションの応答時間が長くなることがあります。 非同期な処理の場合は一時的にタスクキューの時間あたりの処理数が減るものの、遅延を許容できる機能であれば時間経過で回復するのでシステムを継続稼働できます。 一方で、web サーバのように同期処理の場合はリクエストを時間内に返すことができずに timeout したりだとか、worker が埋まって新たにリクエストが返せなくなったりと、正常にリクエストを返すことができずにユーザのクライアントにエラーが返ってしまします。 そこで、今回はクラウドが不調になったときに web サーバへ流れるリクエストの流量を動的に制御し、一時的にリクエスト数を減らしてユーザのクライアント
gRPC-Web を Cloud Run のサイドカー Envoy でやる
はじめに Cloud Run のマルチコンテナがパブリック プレビューでリリースされました。本記事ではマルチコンテナを使って、1 つの Cloud Run サービスでサイドカー Envoy を使った gRPC-Web サービスを構築します。 本記事は前半が Cloud Run にサービスをデプロイして Web から呼び出してみるパート、後半が説明パートになっています。説明だけ読みたい場合は前半をスキップしてください。 マルチコンテナについては以下の記事もぜひ参考にしてください。 やってみる 環境など 新しいプロジェクトと Cloud Shell での操作を想定しています。ローカルで操作する場合は必要なツール等を適宜インストールしてください。 サンプルのコードはこちらを使います。 事前準備 こちらをクリックしてください。Cloud Shell が開いてリポジトリがクローンされます。エディタは
Envoyで重み付き負荷分散を試してみる - Carpe Diem
概要 christina04.hatenablog.com の中でconfig.route.v3.RouteActionに重み付き負荷分散(weighted load balancing)の設定がありました。 これを利用することで カナリアリリース リクエストのサンプリング 一部だけ詳細なログやstatsを出す Mountebankのようなリクエストをレコードしてリプレイできるモックサーバに流す といったことが容易に実現できます。 今回はこの機能を試してみます。 環境 v1.24.0 Weighted load balancing 設定 Listener 設定は簡単で、weighted_clusters.clustersに対象とするclusterとリクエストを振り分けする重みの設定を行うだけです。 以前はtotal_weightで重みの合計を指定する必要がありましたが、現在はdepreca
EnvoyのVirtual hostを読み解く - Carpe Diem
概要 EnvoyのルーティングはListener > Network filter chain > HCM(HTTP connection manager)のVirtual Hostで適用されます。 設定の一部は配列で複数設定することができますが、ものによっては 一致率が高いものから順に適用する（完全一致→部分一致→ワイルドカードなど） 先に設定した順で走査し、マッチしたものを適用する といった違いがあったりなど、きちんと理解していないとハマることがあるので１つ１つ読み解いていきます。 環境 Envoy v1.24.0 解説 例えば以下のような設定があるときに「これだけ知っておけばとりあえず大丈夫」な最低限理解しておく必要があるものを書いていきます。 route_config: name: local_route virtual_hosts: - name: local_service d
Envoy を使用して ID Token (OIDC) を検証する | 豆蔵デベロッパーサイト
庄司です。 Envoy proxy は API を使って動的に構成すると無停止で設定変更等を行うことができます。このような操作は 通常 Istio や AWS App Mesh のようなコントロールプレーンで行うことになります。 この一連の記事では Envoy proxy 単体の機能を説明するために静的な設定を用いて説明しています。 以前構築した S3 にアクセスする Envoy proxy を拡張して、Amazon Cognito user pools で認証されたユーザのみがこの静的コンテンツにアクセスできるようにしたいと思います。 Information認証されたユーザとは、あらかじめ Amazon Cognito user pools にログインして OIDC トークン (JWT トークン) を取得済みで、トークンを Authorization ヘッダ等に含むリクエストでアクセスさ
EnvoyのYAMLの読み方 - Carpe Diem
概要 Envoyのyamlは非常に長大で初めて読む人からするととても分かりにくいです。 しかし実際は各要素の役割を理解するととてもシンプルに構成されていることが分かります。 そのための手助けとしてこちらで図を交えながら説明します。 環境 Envoy 1.22.0 要素の説明 まずは各要素を理解します。 downstreamとupstream 要素 説明 downstream Envoyからみたクライアント upstream Envoyがサービスに対するリクエストを転送する際に接続するエンドポイント（ネットワークノード） よくあるパターンで図示してみると以下です。 front proxyモデル sidecarで外部からリクエストを受ける sidecarでローカルアプリケーションからのリクエストを転送する このようにsidecarモデルのローカルアプリケーションは、downstreamにもup
マイクロサービスにおけるAZ間通信のコスト大幅削減した話 with Istio Locality Load Balancing - Gunosy Tech Blog
広告技術部のUT@mocyutoです。 大幅コスト削減シリーズ第二弾です。 前回はこちら tech.gunosy.io 今回はアベイラビリティゾーン（AZ）間通信のコストをIstioのlocality load balancingを使って削減した話になります。 概要 Istioとは どのようにコスト削減したか まとめ 概要 みなさんはマイクロサービスを導入しているでしょうか？ 最近はモジュラモノリスが流行り始めている雰囲気を感じてきていますが、弊社の広告配信サーバは以下のようなマイクロサービス化された設計（と言っても2つのサービスしかないのですが）になっています。 構成図 一般的にクラウドプロバイダ上で構築している場合、耐障害性を高めるために複数AZ、複数リージョンに分散させることが基本になるかと思います。 弊社では、単一リージョン複数AZに分散させて稼働しています。 リージョン間の通信に
gRPC を Envoy でプロキシして Python から使う【2022】 - Qiita
先日 Protocol Buffers + gRPC で我が家の非常食を管理する API サーバーを立ててみました。今まで Python で基本的に Web サーバーを作ってきた筆者が勉強もかねて GoLang + protobuf + gRPC というイマドキな構成で組んでみました。 これを（最近構築した） Kubernetes 環境で本番運用していくにあたって TLS 終端のプロキシを入れようと少し調べたところ Envoy というプロキシが gRPC と親和性が高くよく使われているようなので試してみました。まだ最新の Web 上の情報が少なかったのではまりどころも含めてまとめていきます。 Protocol Buffers / gRPC / Envoy とは Protocol Buffers とは Google が策定した言語・プラットフォーム中立のデータフォーマットで、 API のサー
Introducing Envoy Gateway
Today we are thrilled to announce Envoy Gateway, a new member of the Envoy Proxy family aimed at significantly decreasing the barrier to entry when using Envoy for API Gateway (sometimes known as “north-south”) use cases. HistoryEnvoy was released as OSS in the fall of 2016, and much to our amazement quickly gained traction throughout the industry. Users were drawn to many different aspects of the
Basic HTTP Routing Strategies with Envoy
This is Part 2 of a multipart blog describing how to use Envoy as an “Inter DC Traffic Manager”. The previous part sets up the context and walks us through how to setup a mock environment to test several uses cases around managing traffic between multiple DCs (Data Centers). So if you haven’t already gone through Part 1, please try to skim through it and gain context before proceeding. Assuming th
eBPF for Service Mesh? Yes, But Envoy is Here to Stay
Our goal here at Solo.io is to bring valuable solutions to our customers around application networking and service connectivity. Back in October, we announced our plans to enhance our enterprise service-mesh product (Gloo Mesh Enterprise) with eBPF to optimize the functionality around networking, observability, and security. To what extent can eBPF play a role in a service mesh? How does the role
Double proxy (with mTLS encryption) — envoy 1.31.0-dev-5451ef documentation
Double proxy (with mTLS encryption) This sandbox demonstrates a basic “double proxy” configuration, in which a simple aiohttp app connects to a PostgreSQL database, with two Envoy proxies in between. Envoy (front) -> aiohttp -> Envoy (postgres-front) -> Envoy (postgres-back) -> PostgreSQL This type of setup is common in a service mesh where Envoy acts as a “sidecar” between individual services. I
Istioのインストール、サイドカープロキシ（Envoy）の挿入、マイクロサービスの可視化
Istioのインストール、サイドカープロキシ（Envoy）の挿入、マイクロサービスの可視化：Cloud Nativeチートシート（10） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Istioの環境構築と実践ポイントを説明します。
おうちで学ぶサービスメッシュを支える透過型プロキシとしてのEnvoy - NTT Communications Engineers' Blog
この記事は、NTT Communications Advent Calendar 2021 4日目の記事です。 こんにちは、イノベーションセンターでSREとして働いている昔農(@TAR_O_RIN)です。主にNTT Comのソフトウェアライフサイクルの改善への取り組みやアーキテクトに関わる仕事をしております。本日はサービスメッシュを題材に，その中で用いられるEnvoyの活用パターンを手を動かして理解するお話をさせていただきます。 また，昨年までのアドベントカレンダー記事もご興味があればご覧ください！ 2020年 How do you like k3s ? - CoreDNSで作るお家DNS Cacheコンテナ 2019年 TektonでCI/CDパイプラインを手の内化しよう 2018年 DevOpsってこんな仕事！考え方とスキルセットのまとめ 2017年 DockerのnetworkをCa
iptables から理解する Istio 1.10 から変更された Inbound Forwarding | メルカリエンジニアリング
表を見ていただくと分かるように今回の変更によって Istio 1.10 以降は Istio なしの場合と挙動も変わらないため、認知負荷も減り今までよりも Istio を採用しやくなったのではないでしょうか。 ここまで Istio 1.10 から変更になった Inbound Fowarding の内容を見てきました。 次にこの変更によって私達のサービスに起きた問題を共有していきます。 起きた問題 今回の変更によってアプリケーションが動かなくなるケースとしては、アプリケーションが lo にのみ bind している場合です。 Istio ではこれを事前にチェックするためのコマンドを用意しており istioctl experimental precheck を実行します。 該当する Pod がある場合には IST0143 という message code が出力されます。 該当する Pod があっ
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
