Goでproxy serverを作るときにハマるポイント | メルカリエンジニアリング
Mercari Advent Calendar 2018 の5日目はSREチームの @catatsuy がお送りします。 メルカリではGoで書かれたproxy serverをサービスの各所で使っています。今回はGoでproxy serverを作るときにハマりそうな、標準ライブラリの挙動や特徴について紹介します。 本エントリーは2018/12/04現在の最新であるGo 1.11.2を元にして書きます。 Hostヘッダーはreq.Header.Set(“Host”, “example.com”)しても上書きできない https://github.com/golang/go/blob/e8a95aeb75536496432bcace1fb2bbfa449bf0fa/src/net/http/request.go#L1023 https://github.com/golang/go/blob/e8
モバイルアプリ開発者のための mitmproxy 入門 - Qiita
はじめに モバイルアプリを開発しているときに、アプリとサーバー間の通信を確認したいときがあります。たとえば、期待通りの HTTP リクエストが送られているか調べたり、サーバーからのレスポンスが間違っていないか確認したりする必要が生じます。 そんなときに、いちいちデバッガで止めても良いのですが、プロキシをはさめば簡単に通信を覗くことができます。しかも、レスポンスを改竄して、わざと不正なレスポンスにしてアプリがクラッシュしないかテストしたり、特定のリクエストだけブロックしてサーバー障害を擬似的に再現することができます。 mitmproxy とは mitmproxy は man-in-the-middle 型のプロキシサーバーのツールです。OS X や Windows、Linux 上で動作し、対話式の CUI を持ちます。SSL サポートをしている点が特長になります。 公式サイト: http:/
Goのデプロイを「もっと」簡単にする。ビルドプロキシCargo。改めTorokko。
Goアプリのデプロイはバイナリをひとつ配布して完了なのでとても楽なのですが、バイナリ自体をどこで管理するかについては意外と頭を悩ませることになります。 Goを使うにあたって、コードさえあればあとはバイナリも簡単に配布できる状態というのが望ましいと思い、仕組みを作ってみました。 2015/08/16追記: CargoはRustのパッケージマネージャーと名前がかぶってたのでTorokko(トロッコ)に改名しました！ TorokkoはGoアプリのビルドと成果物ダウンロード用のAPIを提供するビルドプロキシです。 リクエストのURLで対象リポジトリ、GOOS、GOARCH、バージョンを指定します。 ビルドはDockerコンテナを用いて行い、バックエンドストレージに成果物が保存され、ビルドリクエストと同じURLでダウンロードを行うことができます。 Docker Hub の Automated Bui
社内プロキシに虐げられてる人たちはVPSとか借りて社外にプロキシ立ててsshトンネルで繋ぐとウハウハですよってお話 - Qiita
概要 社内プロキシに様々なサイトへのアクセスをブロックされたり、社外サーバにsshできなかったりする人向けに社外プロキシを立ててあらゆるサイトにアクセスする方法のまとめです。(後述しますが半分くらいネタポストです。) 他にも以下のような効果がありますので、プロキシフリーな会社にお勤めもし良かったら参考にして頂ければと思います。 なぜか2015年になっても存在するカフェとかホテルとかでの保護されていなかったりする無線wifiを使っても盗聴されない。 日本からアクセスできないサイトにアクセスできる。(海外のデータセンタ上のVMを使った場合) なお、非認証プロキシを例にしてます。認証プロキシでもあまり変わらないとは思いますが、環境が無いため未確認です。また、プロキシの挙動や設定方法はプロキシサーバの種類や設定によって多岐に渡るため、全てのプロキシで同じ方法が使えるとは限らないとは思います。 最後
プロキシ経由でfile_get_contents - Road To Nowhere
プロキシ経由でfile_get_contentsするサンプル。 <?php $proxy = array( "http" => array( "proxy" => "tcp://プロキシHOST:ポート", 'request_fulluri' => true, ), ); $proxy_context = stream_context_create($proxy); echo file_get_contents("http://4travel.jp/",false,$proxy_context); ?>検索すれば同じようなサンプルが出てくるんだけど、 'request_fulluri' => true,これがないと動かないので注意。
HAProxy - The Reliable, High Perf. TCP/HTTP Load Balancer
Quick News Dec, 5th, 2023 : HAProxy 2.9.0 release This release has received a lot of small changes that are difficult to summarize. Most of them were aimed at improving performance and resource usage in general (zero-copy forwarding, QUIC's smaller footprint for closed connections, improved scalability), others focusing on better integration with other components (support for the AWS-LC crypto lib
RHEL5でyumにおけるRHN認証のプロキシー設定 - zxaの日記
RHEL(Redhat Enterprise Linux) 5より、アップデートがup2dateからyumに変わりました。 ただ、RHN(Redhat Network)の認証は、up2dateの設定を参照しているので、up2dateでプロキシー設定を行う必要があります。 up2date --configureがなくなったので、設定を保持しながら変更するには手動で/etc/sysconfig/rhn/up2dateを変更する必要があります。 設定ファイルは、コメント・設定という書式になっているので、以下の部分を変更すればよいです。 enableProxy[comment]=Use a HTTP Proxy enableProxy=1 httpProxy[comment]=HTTP proxy in host:port format, e.g. squid.redhat.com:3128 ht
cyano
ユーザーがページをロード開始してから閲覧できるようになるまでのロード時間はユーザーが自分のページを快適に閲覧できているかどうかを示す重要なファクターです。Google Analyticsのイベントという機能を使用することで、ユーザーの実際の体感速度を可視化することができます。 たとえば、このブログのある期間における体感速度のグラフはGoogle Analytics上で以下のように出ています。 44.84%のユーザーは100〜499msでロードできており、1秒未満でロード完了しているユーザーは合わせて73.49%であるとわかります。また、3秒以上かかっているユーザーも7.42%居ることも分かります。3秒以上ロードにかかるようだと離脱率も高くなるので、7.42%のユーザーに対して何かの施策が必要であるということも分かります。 このように、ユーザーが実際感じている体感速度を可視化することで、この
リバースプロキシを導入する際はmod_rpaf
僕の自宅サーバには２つの Apache がインストールされていて、用途により使い分けています。 * Apache 1.3系 + mod_perl → Amazon Search / Google Similar といった高速性を求めるサービス * Apache 2.0系 → その他の静的コンテンツや 通常用途の CGI 等の動的コンテンツ なぜ使い分けるかというと、mod_perl はメモリー喰いなので、静的画像のためにプロセスがもったいない訳です。本当に必要なリクエストにのみ mod_perl をかませば良いですから。 （参考ページ：リバースプロキシ Pound を導入しました。 : NDO::Weblog） で、２つの Apache を透過的に見せてあげるために、リバースプロキシの Pound を使っています。負荷分散も実装できて優れものですが、欠点が一つ。 リクエストをリバースプロキ
YappoLogs: Apache 2.2.0 のロードバランス機能(mod_proxy_balancer)を使いこなす
Apache 2.2.0 のロードバランス機能(mod_proxy_balancer)を使いこなす Apache 2.2がでました。 mod_dbdとか、mod_proxy_balancerとか気になる新機能てんこ盛りです。 ひげぽんさんの所に 誰か入れてみた人いますか？ と有ったのでmod_proxy_balancerを試してみました。 超簡単でした mod_proxyとmod_proxy_balancerを参考にしました。 既に日本語ドキュメント完備！ 以下から駆け足で、またセキュリティ的によろしくない設定例が多々あります。 とりあえずこんな設定を仕込んでみました ProxyPass /lb balancer://TEST stickysession=sesid <Proxy balancer://TEST> #1 BalancerMember http://i.yappo.jp lo
Apache 2.2.0 + mod_proxy_balancer - naoyaのはてなダイアリー
Apache 2.2.0 がついにリリースされまして、かねてから期待されていた mod_proxy_balancer が安定版で使えるようになりました。mod_proxy_balancer はその名のとおり Apache でロードバランスするための proxy モジュールです。詳しい解説は yappo さんがしてくれてるのでそちらを。 実は mod_proxy_balancer 使ってみるかーと思って Apache 2.2.0 をインストールしようとしたらいきなり躓きました。APR 1.2.0 が入ってないから駄目だよ! と configure に叱られまして、でも APR 1.2.0 って Apache 2.2.0 インストールしないと入らなくね? みたいな矛盾が発生しました。なので、まず最初に srclib にある APR をコンパイル & インストールして、その後 Apache2 の
ウノウラボ Unoh Labs: mod_proxy_balancer 小技集
こんにちは sato です。 ベンチャーでは高価なハードウェアバランサなどを購入することはできないですが、 apache2.2 から mod_proxy_balancerという apacheモジュールの ソフトウェアバランサが 追加されたので、フォト蔵でも使用しています。 今のところ proxy サーバがボトルネックになることはないです。 想定構成は以下とし、apacheは 2.x を使用しました。 proxy1 +------web1 +------web2 ... +------webN ・基本設定 httpd.conf LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_balancer_module modules/mod_proxy_balancer.so ProxyPass / ba
MODULE.JP - リソースプール適材適所
Apacheにmod_rpafモジュールを組み込んでKeepAliveを有効にするとIPアドレスに変なゴミが入るけどなんで？なお話。まだ仮説の段階ですが原因と解決策。(レポート後2004/03/17にリリースされたmod_rpaf v0.5で改修されています) naoyaさんのWeblogを読んでいてmod_rpafモジュール(version 0.4)がKeepAlive Onの際に変な動きをするというお話を知りました。かなり今更な感じの反応でアレですが、ちょっと興味が在ったので調べてみたところmod_rpaf version 0.4のマズそうなところを見つけたのでご報告。 mod_rpafの概要 通常のWebサーバへのリクエストは [client] -- request --> [Web server] と、クライアント(Webブラウザ等)がWebサーバに直接リクエストを発行します。この
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://mt.taf.to/archives/2006/09/mod_proxy_balan.html
Proxy/Squid - PukiWiki