2015春インターン講義資料 これの続編です ピクシブ新広告サーバー構築物語 // Speaker Deck https://speakerdeck.com/catatsuy/pikusibuxin-guang-gao-sabagou-zhu-wu-yu
ピクシブ広告サーバー開発・運用の軌跡 2015春インターン講義資料
2015春インターン講義資料 これの続編です ピクシブ新広告サーバー構築物語 // Speaker Deck https://speakerdeck.com/catatsuy/pikusibuxin-guang-gao-sabagou-zhu-wu-yu
若手インフラエンジニア現状確認会で発表しました #wakateinfra - catatsuyとは
若手インフラエンジニア現状確認会という名前のイベントに参加しました． 参加者6人でしたが一人一人の発表中に質問や議論が飛び交い，話が盛り上がりすぎて全員の発表が完全に終わる前に終電で何人か帰るという程に盛り上がりました． 手取りの話するとか言ってて荒れてる #wakateinfra— ラーメン (@catatsuy) February 20, 2015 年齢順に発表 #wakateinfra— ラーメン (@catatsuy) February 20, 2015 会の最中に様々な妨害が入りました． このブリしゃぶは若い #wakateinfra pic.twitter.com/fWakvtIrg7— tagomoris (@tagomoris) February 20, 2015 #wakateinfra 荒らしてるおっさんたちマジ醜くてうける— あんちぽくん (@kentaro) Feb
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
クラウド基盤はシスコとHPの2強時代に。Synergy Research 2014年第3四半期
米調査会社のSynergy Research Groupは、2014年第3四半期のクラウド基盤機器市場におけるシェアの調査結果「Cloud Infrastructure Leadership Battle Becoming a Two-Horse Race」を発表しました。 クラウド基盤機器（Cloud Infrastructure Equipment）は、クラウドを構成するハードウェアとソフトウェアを含んでいます。同社の発表では、この四半期でシスコとHPがシェアを伸ばし、両者の2強時代が始まったと表現されています。 また、この四半期でx86サーバ部門をレノボに売却したIBMが後退して3位をマイクロソフトに譲っています。マイクロソフトはこの市場でハードウェアを販売していませんが、サーバOSとハイパーバイザの売り上げによって3位に食い込んでいると説明されています。 Synergy Resea
第3回 KVMのネットワーク構成 | gihyo.jp
仮想ネットワークの全体像 今回はKVMの仮想ネットワークについて解説します。KVMではホストLinuxの仮想ブリッジ機能を利用して仮想ネットワークを構成します。仮想ブリッジは、ホストLinux上に仮想的なL2スイッチを構成する機能です。複数の仮想ブリッジを構成することも可能です。 図1は、仮想NICと仮想ブリッジの接続を表します。 図1 KVM仮想ネットワークの構成 仮想NICは、ホストLinux内部のTAPデバイスを経由して仮想ブリッジに接続されます。TAPデバイスは、Linuxがユーザプロセスと通信するための仮想的なNICを提供する機能です。KVMの環境では、ホストLinuxと仮想マシン・プロセスが通信するためのインターフェースとして機能します。ゲストOSが仮想NICで送受信するパケットは、ホストLinux側のTAPデバイスから送受信されることになります。同じ仮想ブリッジに接続された仮
「Serverspec」という本が出ます - Gosuke Miyashita
ここ半年ほど取り組んでいた Serverspec に関する本が出ます。2015年1月17日発売予定です。 O'Reilly Japan - Serverspec Amazon.co.jp： Serverspec: 宮下 剛輔: 本 どんな内容か、というのは、サイトの紹介文や目次を見ればわかるので、ここでは、なぜこの鳥が表紙に選ばれたのか、といったことでも書こうかな、と思ったんですが、こういうのは明かさない方がおもしろいので、やっぱり書かないことにします。おそらく、何という名前の鳥なのかすらわからない方が大半かと思いますが、あえて伏せておきます。名前や生態は最後のページに載っていますので、知りたい方は買うなり、店頭で確認するなりしてみてください（妻が Facebook に名前を書いちゃってるけど）。 本書は、開発者である自分にしか書けないことをできる限り盛り込み、自分以外の人でも書けるような
Serverspec
本書は、Serverspecの開発者自身により書かれた初の書籍です。機能の詳細、動作仕様や内部のアーキテクチャ、ソースコードレベルで拡張する方法、開発に至る経緯や開発に関する哲学など、開発者自身にしか書けない包括的な内容を紹介。Serverspecとその周辺について既にある程度の知識や理解があるが、さらに踏み込んだ内容が知りたい、自分の手足のように使いこなしたい、もっと高度で詳細な情報を知りたい、思い通りに拡張したいと考える開発者やシステム管理者なら必携の一冊。伊藤直也氏による「まえがき」を収録。 まえがき はじめに 1章 Serverspecの紹介 1.1 Serverspecが生まれた経緯 1.2 Serverspecとは何か 1.3 Serverspecの利用目的 1.4 Serverspecの必要性 1.5 Serverspec開発の哲学 1.6 Serverspecのオフィシャル
インフラエンジニア向けシステム系論文 - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2014の23日目とシステム系論文紹介 Advent Calendar 2014の23日目を兼ねています。 今回は、インフラエンジニア向けにシステム系論文を読むということについて書きます。 ここでいうインフラエンジニアは、Webサービスを作る会社のサーバ・ネットワーク基盤を構築・運用するエンジニアを指しており、はてなではWebオペレーションエンジニアと呼んでいます。 人が足りなくて普通に困っているので採用にご興味のある方はぜひこちらまで。 SRE (Site Reliability Engineer) 職 - 株式会社はてな はてなでは、id:tarao さんを中心に有志で論文輪読会を定期的に開催しており、システム系論文にかぎらず、言語処理系、機械学習についての論文などが読まれています。 だいたい１人でインフラまわりの論文を読んでいて、インフラ
Go製サーバーを開発・運用して〜ピクシブ新広告配信サーバー〜 // Speaker Deck
キャリアを充実させる『カギ』に！PR TIMES CTO金子達哉から学ぶアウトプット術 / output_method
コードによるインフラ構成管理はなぜ必要？ 今さら聞けない「Infrastructure as Code」
はじめに 本連載では、インフラの構成をコードで管理するための便利なツールを使って、インフラを構築するための手順をご紹介します。今回は、Vagrantというツールを使って、ローカルマシンに仮想環境でWebアプリケーションの開発環境を作って、開発チーム内で統一した開発環境を構築する方法について説明します。 対象読者 本記事は、次の方を対象にしています。 コードを使ってインフラの構成管理をしたい人 ネットワークやLinuxの基礎知識がある人 Webシステムの開発環境を構築したことがある人 なぜ、コードでインフラの構成管理をするの？ 業務アプリケーション開発者のみなさんは、前任者が作った既存システムにバグがあり、それを修正することき、「設計書の内容と、ソースコードの中身が違う！？！」というシーンに出くわすことはありませんか？ Excelの設計書とソースコードを交互ににらめっこしながら、関係者に仕様
クラウド専業CIerがAWS監視運用でZabbixを使う理由 - サーバーワークスエンジニアブログ
CloudWatchがあればZabbixとできること大して変わらないし 「CloudWatchでだいたいの要件は満たせそうですね。」 とおっしゃる方もいらっしゃるようですが私たちServerworksが、そして私伊藤がなぜZabbixをおすすめするのか今回はそのことについてお話ししたいと思います。 統合監視ができる CloudWatchはあくまでもAWSの中の事象だけを見ます。 しかし実際のシステム運用ではAWSだけでなく他のクラウドシステムやオンプレミス、 クラウドとの接続ポイントとなるネットワーク機器など、監視すべき部分はAWSの中だけではありません。 そういった場合すべてを統合的に見られる監視ツールが必要となります。 またAWSの中だけであったとしてCloudWatchではアカウント毎に表示されることになります。 たとえば経費分割のために1つの会社で事業部毎に別々のAWSアカウントを
小さなサーバーで大きなサービスをつくる | カメリオ開発者ブログ
アーキテクトのItoです。動画を撮るのが趣味ですが、最近はこの本を買って、カラーグレーディングの勉強をしています。とても良い本です。 さて、今回お話するのはバックエンドにあるフロントエンドについて。 以下はほぼ実際にカメリオで運用しているバックエンド構成です。 図中のサーバーというものはいわゆるHTTPベースのサーバーアプリで、ここでは緑をNode.js, グレーをPython, C++で実装しています。小さいサーバーがたくさんあります。主にクライアント〜フロントエンドAPIだけの構成図で、記事クローラーや各種管理画面などは図にはありませんが存在します。 まずフロントエンドにELB(AWSを使用)とNginxを置き、後ろに NodeベースのフロントエンドAPIサーバーを置きます。 ここはNode.jsで作られたアプリをサービスするごく一般的な方法です。 エンドポイント(api.kamel.
業務は完璧でも、基礎知識がない技術者は多い
ベテランのインフラ技術者に、どうやって技術を学んできたかを尋ねるシリーズ。今回は、ネットワークインテグレーターのネットワンシステムズが運営する技術者養成スクールの講師を務める坂田 玲子氏だ。スクールの名はネットワークアカデミー。坂田は、米シスコシステムズの最高ランクの技術者認定資格であるCCIEを有する技術者である。坂田氏に、ネットワーク技術者の勉強法を伺った。 ネットワーク技術者には、実際どのような勉強が必要なんでしょうか。 技術を学ぶ際には、まず基礎を押さえることが重要です。ネットワークであれば、TCP/IPというプロトコルの細かい動きを学ぶことからはじめるべきです。これを知っておけば、トラブルシューティングで役立ちますよね。こうした知識が後々重要になります。
Building a complete Tweet index
Today, we are pleased to announce that Twitter now indexes every public Tweet since 2006. Since that first simple Tweet over eight years ago, hundreds of billions of Tweets have captured everyday human experiences and major historical events. Our search engine excelled at surfacing breaking news and events in real time, and our search index infrastructure reflected this strong emphasis on recency.
Open Sourcing Our Go Libraries
Dropbox owes a large share of its success to Python, a language that enabled us to iterate and develop quickly. However, as our infrastructure matures to support our ever growing user base, we started exploring ways to scale our systems in a more efficient manner. About a year ago, we decided to migrate our performance-critical backends from Python to Go to leverage better concurrency support and
受託開発時におけるAWSクラウド活用術
2014年10月30日 「AWS Cloud Roadshow 2014 札幌」のセッションで使用したスライドです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ある若手インフラエンジニアの現状確認 #wakateinfra
1000万ダウンロードアプリ『メルカリ』を支える技術
クックパッドのLVSについて - クックパッド開発者ブログ
いまさら聞けないDocker - 第５回コンテナ型仮想化の情報交換会＠大阪
