Amazon RDS Proxy が BASE にもたらした期待以上の導入メリット - BASEプロダクトチームブログ
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
rss-proxy – 非対応のwebサイトからRSSやJSONを生成する、セルフホストもできるOSSツール
rss-proxy – 非対応のwebサイトからRSSやJSONを生成する、セルフホストもできるOSSツール damoeb/rss-proxy は、ウェブサイトが RSS feed を提供していなくても、HTML の構造から類推した新着情報を切り出してくれるオープンソースのツールです。 feed を提供してないウェブサイトのURLを入れると、html の構造から列挙になっている箇所を探し出し、生成する新着 feed の候補を並べてくれます。 それぞれの候補が差している箇所は赤点線で示されるので、ここが自分の欲しい新着情報だと思ったら、右下のfeed生成ボタンを押すと、RSS feed が生成されます。 RSS/ATOM 形式だけでなく、JSON を生成することもできるので、プログラムから利用したい場合はそちらが便利という人もいるでしょう。 デモサイトもあるのでここで動作を試すこともできます
WebサーバのSSL化対応 - ねじまきまきまき -Random Note-
■WebサーバのSSL化 ■Reverse Proxy(トンネリング)の構築に向けて ■いろいろな選択肢 ■選択肢 Apacheを使う(mod_proxy/mod_ssl) ■選択肢 NGINXを使う ■選択肢 other ■gost ■stone ■用途として一番しっくり来たstoneを使用する ■stoneのmake完了後の動作確認 ■SSLサーバ証明書 ■Let’s Encryptでの証明書発行準備 ■certbot導入 ■証明書自動更新設定 ■stone起動設定 ■定義ファイル作成 ■stone起動確認 ■起動用シェル ■WebサーバのSSL化 keitaircのSSL化を棚上げしていたものをようやくやったので、その話。 ■Reverse Proxy(トンネリング)の構築に向けて keitaircのssl化はマニュアルにある通り、mod_ssl等を利用することを想定している。 ke
GoでSQLにトレーシングコメントを埋め込んで実行する | おそらくはそれさえも平凡な日々
アプリケーションが発行するSQLにコメントが埋め込めると便利です。例えば、 /* path/to/logic.go:334 */ SELECT ... のようにSQLに発行元の情報をコメントとして埋め込んでからExecすれば、DB側のログ(general log等)にも記録されるため、SREやDREサイドからも、負荷の高いSQLがアプリケーションのどこから発行されているかが分かりやすくなります。 Goには github.com/shogo82148/go-sql-proxy という、SQL実行をトレースし、フック処理を差し込める便利なライブラリがありますが、今回それにpull requestを送って、SQL実行前にクエリの書き換えができるようにしました。 https://github.com/shogo82148/go-sql-proxy/pull/61 https://github.co
サービスメッシュとAWS App Meshに入門した | Folioscope
こんにちは、ご無沙汰しています。 2020 年も終わろうとしていますが、この度サービスメッシュと AWS App Mesh に入門しました。 サービスメッシュ超入門 AWS App Mesh は、AWS 上のサービスでサービスメッシュを実現するための AWS サービスです。 サービスメッシュやその背景については、Tori さんによる「サービスメッシュは本当に必要なのか、何を解決するのか」の講演が詳しいです（この講演にも最後の 5 分くらいで App Mesh が登場します）。 サービスメッシュは、サービス間の通信のリトライ処理、レートリミット、サーキットブレイカーなどの仕組みを、クライアントやサーバー側で制御するのではなく、プロキシサーバーで解決します。 Envoy Proxyは、サービスメッシュのプロキシサーバーとして、広く利用されています。 Envoy Proxy へのリトライやレート
Access-Control-Allow-Origin (CORS 関連) ヘッダーを付与するシンプルな Reverse Proxy (cors-reverse-proxy) を Go 言語で作りました - Qiita
Access-Control-Allow-Origin (CORS 関連) ヘッダーを付与するシンプルな Reverse Proxy (cors-reverse-proxy) を Go 言語で作りましたGoGitHubHTTPCORSOSS 概要 Github https://github.com/kaishuu0123/cors-reverse-proxy Docker Hub (コンテナイメージもあります) https://hub.docker.com/r/kaishuu0123/cors-reverse-proxy ユースケース ローカルの開発環境などに アプリケーションの連携をする際に、特定のアプリは信用して、リソース(画像や JS など)の読み込みを行いたいときに 具体例がちょっと微妙かもしれませんが、「GROWI と draw.io を連携する際に、draw.io からの読み込
Go 1.13 に向けて知っておきたい Go Modules とそれを取り巻くエコシステム - blog.syfm
はじめに 今年の 8 月にリリースが予定されている Go 1.13 では、Go 1.11 で導入された Go modules に加え、Go module proxy といった新しいエコシステムが登場します。 そこで、そもそも Go modules は何を行っているのかや、何ができるのか、どういった要素で構成されているのかを紹介します。 また、古い Go バージョンから Go 1.13 へアップデートする場合や、 dep や Glide といったベンダリングツールから Go modules へ移行する際の懸念点も併せて紹介します。 先日発表した "Go Modules and Proxy Walkthrough" はこのポストがベースになっています。 TL;DR な人はスライドを見るのがおすすめです。 speakerdeck.com Go Modules Go modules という仕組みは
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」 - kakakakakku blog
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」を使うと，簡易的な「Shadow Proxy」を構築することができる．例えば，本番環境のリクエストの一部を開発環境に流せるようになる．この「ngx_http_mirror_module」は nginx 1.13.4 で実装された機能で，2017年8月リリースなので，最近のバージョンだとデフォルトで使えるようになっている．今回は「リクエストの複製」を試すため，Docker Compose を使って検証環境を構築した． nginx.org 検証環境 今回 Docker Compose を使って，nginx と Sinatra を起動する検証環境を構築した．コンテナは計3種類で，以下の構成図にまとめた．基本は Frontend と Backend でリクエストを処理し，今回は Mirror にもリクエス
22 SSH Examples, Practical Tips & Tunnels | HackerTarget.com
Even if you are an experienced *nix guru there are a couple of examples further down that are only available in later versions of OpenSSH. Take a look at Proxy Jump -J and reverse dynamic forwarding -R. First The Basics Breaking down the SSH Command Line The following ssh example command uses common parameters often seen when connecting to a remote SSH server. localhost:~$ ssh -v -p 22 -C neo@remo
サーバー群への管理者アクセス権限を統制する | ロードバランスすだちくん
シンジです。sshを利用してサーバーへアクセスする際、IDとパスワードでrootにダイレクトアクセスさせてるケースもままあるでしょうが、監査も通らないし乗っ取りリスク高すぎ問題なので辞めたいところです。クラウドを日常的に利用する方々の場合、通常は証明書認証によってサーバーログインを行っていると思います。証明書ファイルが次々と増えていく問題、証明書ファイルを手に入れれば多くの人がサーバーにログインできちゃう問題は目をつぶるしかないのか。 そこでエンプラなどでは、「踏み台サーバー」を作って、そこでアクセス権限をコントロールすることで、サーバーログインへの統制を図るわけですが、第一踏み台から第二踏み台へそして第三踏み台とかいう絶望も現実的に存在している実状です。そもそも、エンプラが踏み台サーバーを自前で作るわけがなく、そういう製品を購入して作ってもらう、はい数千万円、保守費毎年よろしくみたいな世
Istioを使いこなすために知っておくこと - Uzabase for Engineers
こんにちは、SPEEDAのSREチームの阿南です。最近Kubernetes界隈が盛り上がっていますね。ここ一年で、各企業での利用事例やKubernetesを解説している書籍等もかなり増え、活用の仕方も徐々に確立されて来ているのではないでしょうか。一方Istioについては、色々できそうということはわかったんだけど、利用事例も少ないためどう使えばいいかわからない、本番運用しているという企業もまだあまり聞かないし導入に踏み切れない、という方も多いかと思います。弊社ではまだ２つのnamespaceのみですが、Istioで運用を開始しております。今回は、Istioで実現できることはなんとなく知っているが、内部の通信の仕組みやどのようなコンポーネントがあるのかを追っていきたいと思います。その上でBlue-Green Deploymentを実現するための設定方法についても次回記事で触れていきます。 この
AWSネットワーク構成図の手動更新が辛い？よろしい、ならばCloudMapperだ
株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOSというサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったらいつのまにかサービスのネットワーク管理者になっていて、そこで発生した問題と、それを解決するのに非常に役立ったCloudMapperというOSSを紹介したいと思います。 発生した問題 私がネットワーク管理者を引き継いだ段階では、ネットワーク構成図が作成されておらず、以下の問題が発生していました。 ロードバランサーを止められない 用途不明のロードバランサーが存在したため、停止を検討した。 しかし、どのリソースから利用されているか見えず、不用意に停止できなかった。 用途不明なEC2インスタンスの調査ができない AWSからメンテナンス通知が来た対象が用途不明なEC2
Service meshとは何か
Microservicesの世界においてService meshは大きなキーワードになった．KubeCon 2017やKubeCon 2018 EUにおいても多くのセッションをService mesh（もしくはその代表格であるIstio）が占めており注目の高さも伺える．もちろんMicroservicesを進めるMercariにおいても導入を検討しており今後重要なコンポーネントの1つになると考えている．本記事ではそもそもなぜService meshという考え方が登場したのか，なぜ重要なのか? その実装としてのIstioとは何で何ができるのか? について簡単にまとめてみる． 参考文献 Service meshを一番理想的な形でサービスに使い始めその考え方を広めたのはLyftだ（と思う）．LyftはIstioのコアのコンポーネントであるEnvoyを開発しそれを用いてService meshを構築
nc, cURL, Chrome, openssl s_client, RDP で SOCKS プロキシーを使う（＆ socatのご紹介） | DevelopersIO
SOCKS 4 プロキシを経由しないとアクセス出来ない Web 環境（のSSL証明書）をテストする必要があったので、各試験用コマンドで SOCKS4 プロキシーを使う方法を調べました。また、その過程で socat というツールも見つかったのでご紹介します。 前提 以下、下記の前提で話を進めます。 プロキシーサーバのホスト名は proxy.example1.jp プロトコルは SOCKS4、ポートは 1080/TCP 試験対象（接続したい Web 環境）の URL は https://target.example9.jp/ クライアント側の作業環境は macOS High Sierra になりますが、CLIコマンドなどは Linux でも使用可能かと思います。 nc (netcat) 443/TCP が LISTEN しているか、そもそも作業環境・プロキシーサーバからアクセス出来るか（SG
PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ | Nagisaのすゝめ
2017年12月13日 PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ PrometheusでNATを越えよう！！ どうもNagisaのインフラエンジニア 榎戸です。 ついに、Prometheus2.0がリリースされました！ もっとPrometheusユーザが増えてくれると 色々な記事が上がったりして情報が増えるので嬉しいのですが・・・ 今回も下記記事の続編ということで PrometheusのNAT越えについて書いていきます。 こちらはよく個人的に聞かれたり、 多くの人が気になっているところではないでしょうか。 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わ
手軽に使える forward http proxy : stone, Tinyproxy - 酒日記 はてな支店
直接グローバルに繋がる経路をもたないホストから http アクセスしたいので http proxy を使いたい。Squidは定番ですが、もう少し手軽なのはなにかないかと思っていたところ twitter で教えていただきました。ありがとうございます。 reverseじゃなくてforwardなhttp proxyでsquid以外って手軽なの何かないか。Apacheをそれだけのために動かすのはちょっと…てかんじ 2012-10-23 17:57:44 via YoruFukurou @fujiwara stone とか? 2012-10-23 18:03:07 via web to @fujiwara @fujiwara うちはtinyproxyつかってますよ。 2012-10-23 19:01:47 via Echofon to @fujiwara Stone Simple Repeater
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webパフォーマンス高速化とこれからのアーキテクチャ
GitHub - imgproxy/imgproxy: Fast and secure standalone server for resizing and converting remote images
GitHub - google/huproxy