How we migrated Dropbox from Nginx to Envoy
In this blogpost we’ll talk about the old Nginx-based traffic infrastructure, its pain points, and the benefits we gained by migrating to Envoy. We’ll compare Nginx to Envoy across many software engineering and operational dimensions. We’ll also briefly touch on the migration process, its current state, and some of the problems encountered on the way. When we moved most of Dropbox traffic to Envoy
janog38-ztp-shtsuchi-00
Shishio Tsuchiya shtsuchi@cisco.com JANOG38 Meeting in Okinawa Zero Touch Configuration 2 © 2016 Cisco and/or its affiliates. All rights reserved. Cisco Public • ユーザが機器にログインする事をせず、設定を完了させる手法 • Zero Touch Provisioning(ZTP) Zero Touch Configurationとは？ 3 © 2016 Cisco and/or its affiliates. All rights reserved. Cisco Public • 今まであったZTPのアイディア • データセンターのZTP • ZTP over インバンドネットワーク Agenda 4 © 2016 Cisco a
The Infrastructure Behind Twitter: Scale
Overview of Twitter Fleet Twitter came of age when hardware from physical enterprise vendors ruled the data center. Since then we’ve continually engineered and refreshed our fleet to take advantage of the latest open standards in technology and hardware efficiency in order to deliver the best possible experience. Our current distribution of hardware is shown below: Network Traffic We started to mi
新しいVPSのVULTR、東京リージョンはじまった - uzullaがブログ
後日追記 かなりVultrは機能追加されました、SSH鍵の事前登録などもできます！ いきなりですが、どうしてもしなければいけない宣伝 もうすぐ私が一部担当した書籍が出ます（耳タコですね、すいません） Webアプリエンジニア養成読本[しくみ、開発、環境構築・運用…全体像を最新知識で最初から! ] (Software Design plus) 作者:和田 裕介,石田 絢一 (uzulla),すがわら まさのり,斎藤 祐一郎技術評論社Amazon で、発売を記念して、池袋のジュンク堂書店にてイベントを行います。 http://www.junkudo.co.jp/mj/store/event_detail.php?fair_id=4314 「『Webアプリエンジニア養成読本』(技術評論社)刊行記念 Webアプリエンジニアが出来るまで」 ジュンク堂書店 池袋本店 開催日時：2014年03月20日（木
最強のSSH踏み台設定 - Qiita
追記：openssh-7.3 以降なら ProxyJump や -J が使えます ホスト名を + で繋げることで多段Proxy接続も簡単に、がコンセプトだった本エントリの設定ですが、OpenSSH 7.3 から ProxyJump という設定が使えるようになったので、使えるなら ProxyJump を使う方が健全だし柔軟で使い勝手も良いのでそちらを覚えて帰ることをオススメします。 使い方は簡単で以下のような感じです。多段も行けるし、踏み台ホスト毎にユーザ名やポート番号を変えることも出来ます。 # 1. bastion.example.jp -> internal.example.jp ssh -J bastion.example.jp internal.example.jp # 2. bastion.example.jp -> internal.example.jp -> super-de
GitHub's Metal Cloud
EngineeringGitHub’s Metal CloudAt GitHub we place an emphasis on stability, availability, and performance. A large component of ensuring we excel in these areas is deploying services on bare-metal hardware. This allows us… At GitHub we place an emphasis on stability, availability, and performance. A large component of ensuring we excel in these areas is deploying services on bare-metal hardware. T
Vault参考訳 | Pocketstudio.jp log3
HashiCorp から新しいツール Vault がリリースされました。credentialや機密情報的なものを管理するためのツール。例によって参考訳です。変なところありましたら、ご指摘いただけると助かります。 Vault – HashiCorp https://hashicorp.com/blog/vault.html ※今回も一応書いておきますと、本blogでの投稿は私個人の意志によるものであり、所属する組織の意見を代表するものでもなく、仕事でもなく、誰からの指示をうけているわけでもなく、すべて興味本位であり、ぶっちゃけ好き勝手に書いています。これまでも、これからも。 ■ Vault 機密情報を管理するツール 今日私達は Vault という安全な機密情報の管理と暗号化データ転送を行うツールを発表します。credential や API 鍵の保管から、ユーザ・サインアップ用のパスワードの
Amazon API Gateway – Build and Run Scalable Application Backends | Amazon Web Services
AWS News Blog Amazon API Gateway – Build and Run Scalable Application Backends I like to think of infrastructure as the part of a system that everyone needs and no one likes to work on! It is often undifferentiated & messy, tedious to work on, difficult to manage, critical to the success of whatever relies on it, and generally taken for granted (as long as it works as expected). Many of our custom
Practical Tips for Using MySQL as a Scalable Key-Value Store
All of Percona’s open source software products, in one place, to download as much or as little as you need.
serverspecとdocker-apiでDockerfileをTDD
serverspecとdocker-apiでDockerfileをTDD いくつかDockerfileを書いてきた．今書いているDockerfileは短くてシンプルなものばかりだが，もっと長く複雑化した時に不安になりそうだ．不安を解消するにはテストしかない．さらにテスト駆動的にDockerイメージを開発できたら素敵だ．つまり， テストを書く Dockerイメージを作成して，テストの実行 -> RED Dockerfileの編集 Dockerイメージを作成して，テストの実行 -> GREEN テストを… の流れができるとよい． ということで，RSpecを使ってTDDでDockerfileを開発するというのをやってみた，tcnksm/docker-rspec．今回実現したのは以下． Docker Remote APIでDockerfile特有のコマンド(e.g, CMDやEXPOSE)のRSp
Linuxのハードウェア情報を取得するコマンド15選 | 俺的備忘録 〜なんかいろいろ〜
Linuxの管理をしていると、OSが搭載されているハードウェア情報を取得する事がある。 今回は、そんなときに使えるハードウェア情報を取得するコマンドを紹介する。 1.lscpu CPUに関する情報を取得するコマンド。コア数やスレッド数、仮想に対応しているか否か等の情報を取得出来る。 以下に実行例を記載する。 $ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 4 On-line CPU(s) list: 0-3 コアあたりのスレッド数:1 ソケットあたりのコア数:4 Socket(s): 1 NUMAノード: 1 ベンダーID: GenuineIntel CPUファミリー: 6 モデル: 23 ステッピング: 10 CPU MHz: 2833.596 Bo
クラウドデザインパターン#4 CDP VPC移行編 クックパッドでのVPC移行について
クックパッド株式会社 インフラストラクチャー部 部長 菅原 元気 自己紹介 菅原元気 (@sgwr_dts) クックパッド(株) / インフラエンジニア データセンターからAWSへの移行を担当し ました OSS公開してます AWSツール elasticfox-ec2tag（VPC対応済み！）、IAM Fox、 R53 Fox Rubyライブラリ各種 http://rubygems.org/profiles/winebarrel クックパッドについて 2,000万人以上が利 用するレシピサイト 120万品以上のレシ ピが公開されている PV/月は5億PV Rails+MySQL クックパッドについて すべてAWS上で運用 サーバ台数は400台 以上 インフラエンジニア は６人 クックパッドについて 2010年 AWSの検証開始 20
AWSでリージョン間の自動DR構成を構築してみた #vgadvent2013 - s_tajima:TechBlog
こんにちは、 VOYAGE GROUP エンジニアブログ Advent Calendar 2013 の2日目担当の @s_tajima です。 僕は今インフラエンジニアとして働いているのですが、 障害が発生すると携帯にアラートメールや電話がとんできて対応を迫られます。 そして障害というのはたいてい楽しいイベントが行われているときに発生するものです。 そういうものと割り切ってせっせと対応をするのもよいのですが、 僕は年末の楽しいイベントを邪魔されたくありません。 それはもちろんAWSの東京リージョンのデータセンターがすべて同時に火事でなくなってしまうような非常事態でもです。 ということで今日はAWSのリージョン間自動DR構成をつくってみた話をしようと思います。 今回のDR構成を構築する上で、カギとなるAWSの機能は以下の3つです。 Route53のELBに対するDNS FailOver ht
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
Mitchell Hashimoto, HashiCorp
This document discusses the history and future of operations (ops) and infrastructure management. It outlines how infrastructure has evolved from single manually configured servers to cloud-based infrastructure with immutable servers. Immutable infrastructure involves replacing servers instead of modifying them, using pre-built machine images. Tools like Packer, Vagrant, and Serf help enable immut
#pyfes 2013.11で発表してきました - BLOG::はるかさん
はじめてSpeaker Deckを使っています。 さて、表題の通り先週の土曜日、先月末の11月30日、Python Developers Festa 2013.11で"pixivのインフラを支える技術"と題して、発表させて頂きました。流れとしてはid:cubicdaiyaの人が応募してまして、なんか2本立てはさすがにつらい、ということで話が回ってきたのであります。 ですます調おしまい。久しぶりの発表だったからか、前日4時間くらいしか寝てなかったからか、なぜだかやたらと緊張してたので、なに喋ったかあまり覚えていない。大変だったことといえば、発表時は全部薄いモザイクだったんだけど、公開用にすべて黒塗りに直す作業が大変だった。内容としては普段メインでやってる画像まわりとログ解析を中心に話した感じだけど、あらましになってしまって、あまり深い話ができなかったのが少し残念。中では結構泥臭いことをどろど
re:InventでのLogglyの分散ストリーム処理環境に関するセッションが面白かったのでまとめておく - すずけんメモ
さきほど帰国。parse.comのメモに引き続き、re:InventでのLogglyのセッションについてもまとめておく。 【追記 2013/11/20 9:20】スライドがupされていたので貼っておきます。 要約すると、 お客さんから大量に送られてくるログをリアルタイムに捌くためのシステム 最初の設計ではSolrCloudを利用していた 第二世代ではElasticsearchを利用。システム全体としてElasticな環境に。 基本環境はKafka + Stormな構成 セッションの情報は以下のとおり。 ARC303 - Unmeltable Infrastructure at Scale: Using Apache Kafka, Twitter Storm, and Elastic Search on AWS This is a technical architect's case stu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1000万ダウンロードアプリ『メルカリ』を支える技術
How to Configure NGINX
Zabbixを自動化しよう！！ ～まとめ～ | FL.OPS