![よわよわエンジニア😪 on Twitter: "強強エンジニアの人曰く、駆け出しバッグエンドエンジニアのほぼ100%がシステム障害時、とくに負荷上昇時の課題の切り分けができない説。逆にインフラ領域まで踏み込んだ調査ができると市場価値が一歩上がるらしい。 自分が読んで良かった記事をまとめる👇"](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a93b54565026d8a5aa8426cabf60e2c8400e3f4/height=288;version=1;width=512/https%3A%2F%2Fpbs.twimg.com%2Fprofile_images%2F1552987021064699904%2FqHk4ku12.png)
インターネットの父、村井純氏 田中邦裕氏(以下、田中):よろしくお願いします。ここから60分間、登さんと村井先生という、濃いキャラを2人お迎えして、どのように進めていこうかと、悩ましいところですけれども、最大限お二人の魅力を引き出していきながら、けしからん話をしていければなと思っていますので、どうぞよろしくお願いします。 では、最初に自己紹介を軽くしていただければなと思います。お二人のことはみなさんすでにご存じかと思いますが、村井先生から軽く自己紹介いただいてよろしいでしょうか。 村井純氏(以下、村井):慶応大学の村井です。今日はちょうど「WIDE(WIDEプロジェクト)」の合宿をやっていて、そこからここへ来たので、髭も剃っていないし(笑)、WIDEの合宿の時はガッと(予定を)ブロックしているので、けっこう久しぶりにいろいろな話がじっくりできる時だと思います。 今日はこのシャツを着てきまし
実践的インフラ監視&運用 - 4000万人以上のユーザーに快適なサービスを提供するピクシブの裏側 大規模サービスを安定運用するコツってなに?実運用に基づく知見をピクシブ株式会社のインフラエンジニア、末吉さんと小出さんに聞きました。 ピクシブのサービスを支えるサーバーは大部分がオンプレミス 監視はNagiosとMuninでシンプルに 多数のリリースを支える独自のデプロイ手法 運用上のスペックは開発者との綿密なやりとりで決める 開発者と“温度感”を共有したい システム運用は、生き物です。 人気が出ればリクエスト数は急上昇。経年劣化でサーバーが壊れることもある一方で、次々と新しいサービスも展開しなければなりません。規模が大きくなると、システムを障害なく運用することは至難のワザです。 大規模サービスを安定運用するコツは何か──その秘訣を探るべく、ピクシブ株式会社のインフラチームで活躍する2人に疑問
横田です。先日「wakamonog meeting 10」というイベントで「IT系勉強会」についてお話をしてきました。どうも、以前に書いた「この勉強会がスゴイ!「行っておくべき有名ITインフラ系勉強会 2016」」のエントリを見てご連絡をしていただいたとのことでした。発表資料はこんな感じです。 せっかく発表をしたのですが、1つ々の勉強会について詳細な説明ができなかったので、今回は「行っておくべき有名ITインフラ系勉強会 2017」と題しまして、注目度が高いITインフラ系勉強会についてご紹介したいと思います。 《100回以上やっている勉強会のスタンダード「BPStudy」》 一昔は勉強会の名前で「○○Study」という勉強会がたくさんありましたがBPStudyは、その元祖的な位置づけの勉強会です。開催回数は100回を越えており、個人的には勉強会のスタンダード的な位置づけにあると思います。 I
ウェブオペレーションエンジニアの id:y_uuki です。2016年度のウェブオペレーションエンジニアの新卒研修を紹介します。 今年はウェブオペレーションエンジニアとして2名(id:masayoshi id:taketo957)が新卒として入社しました。若手のインフラ系エンジニアが少ないと言われる昨今で、もともと7人のインフラチームに2人も新卒が加わることはなかなか珍しいのではないでしょうか。 今年の新卒エンジニアは 2016年度はてな新人エンジニア研修を行いました - Hatena Developer Blog のエントリで紹介した新人エンジニア研修の後に、チームに配属されました。通例であれば、チーム配属後はOJTという名目で即実戦投入されます。しかし、今回は、OJTの前段に2週間程度の研修期間を設けてみました。 研修の動機 ウェブオペレーションエンジニアは、一般的なコンピュータサイエ
インフラについて、何となく理解しているつもりでも、「インフラとは何か?」と聞かれると、こういうものであると明確に答えるのは案外難しいものです。 そこで、インフラの基礎がわかるスライドシェアを10個ピックアップしてご紹介します。 インフラエンジニアの定義、インフラの基礎、手順書の書き方、インフラ自動化など、初心者から中級者向けの内容となっています。 Web業界で働くなら、システムの基盤となるインフラについて学んでおいて損はないはずです。
これはマルウェアに感染した端末の基板で構成されたトロイの木馬.国際会議Cyber Weekの展示の一環. はじめに 先週,イスラエル外務省からの招待でイスラエルのサイバーセキュリティ産業の視察に参加した. 視察の参加者は日本政府・重要インフラ・セキュリティ業界関係に大別される.視察の目的は彼らにイスラエルの起業文化とサイバーセキュリティ技術を伝え,相互理解を図ることにあった.そんな視察になぜ一介のモラトリアム大学生でしかない私が潜り込めたのかというと,イスラエル外務省をハックしたから——というのは嘘.昨年発表したCODEBLUEというセキュリティカンファレンスのオーガナイザーにイスラエル大使館から打診があり,若者枠に組み込まれたという経緯である.なんと旅費はイスラエル外務省の負担. そういうわけで,記憶が錆びつかないうちに,イスラエルのサイバーセキュリティ事情を紹介したい. 総括 最初にま
チーフエンジニアの id:Songmu です。 4月に 新人エンジニア研修を行なった のですが、その際に、「インフラを意識したアプリケーションの書き方」という講義を担当しました。そこでおこなった講義の内容について整理しながら書き起こしていきたいと思います。 インフラを意識すると何が良いか 業務でWebアプリケーションを扱うと、個人ではなかなか扱えないトラフィックであったりデータ量を扱うことになります。小規模サービスでは考えなくてよかった多くのことを考慮する必要がでてきます。なかなか体験できないことでもあるので、楽しく、やりがいもあります。 また、そういった経験を通して、インフラを意識しコードをかけるスキルを身につけることは、Webエンジニアとしては大きな強みとなります。ISUCONで優勝できるかもしれません*1。 インフラを意識すると何が良いか 〜 中規模ベンチャーの場合 そもそも、はてな
JR品川駅の改札を出て、港南口のマイクロソフトの方に向かうと、 駅構内の柱に広告用のディスプレイが掲げられていて、 様々な広告映像が流れているわけですよ。 ある日、品川駅構内を歩いておりますと、某ハードウェアベンダの広告映像を目にしましてね、 こう言うわけです。 〇〇のクラウドシステムは、導入から稼働まで3時間 ぶっちゃけ、「遅っ!!!」って思いました。 3時間っていってもあれですよ、 導入しようと思うと先ず営業呼んで話を聞いて、大体の要件を伝えると 「じゃあ次は技術の者も連れてきますんで」となる気がしますね。 で、次、技術の者が来たら前回よりも突っ込んだ内容をヒアリングしてきて、 営業が「じゃあこれで一旦お見積り出しますんで」ってなる気がしますね。 ここまでで2週間ぐらいです。 そこから稟議通して発注してベンダの準備のリードタイムを確保して、 そこからやっと「3時間で稼働」、な気がするん
Infrastructure as Code という言葉が現れてから少なくとも8年ほど経過しており、この言葉もすっかり定着したように見えるが、Martin Fowler 氏が最近自身のブログで Infrastructure as Code について触れており 、また、氏の同僚である Kief Morris 氏が O'Reilly Media から Infrastructure as Code という本を出す(現在 Early Relase 版や Free Chapters が入手できる)ようなので、このタイミングで改めて Infrastructure as Code について、その歴史を振り返るとともに、現在の状況について整理してみようと思い、このエントリを書くことにした。 内容的には、以前書いた インフラ系技術の流れ と若干重複してる部分もある。 そういえば日本でも最近、サーバ/インフラ
国内有数のWebサービスを手がけるYahoo! JAPANは、その毎秒100万リクエストという膨大なトラフィックを支える大規模なインフラチームを抱えています。そのうち画像などを配信するプライベートCDNでは、オープンソースのATS(Apache Traffic Server)をキャッシュサーバーに採用し、本家OSSプロジェクトでの開発にも積極的に参加しています。OSSのコミッタを業務とするYahoo! JAPANのプラットフォーム開発エンジニアのお二人と、はてなからインフラチームとMackerelのエンジニアが参加し、インフラエンジニアの働き方について座談会形式でお聞きしました。 座談会出席者は、(上写真、左より)ヤフー株式会社の小柴薫居さんと北條正和さん、はてなの坪内佑樹(id:y_uuki)と松木雅幸(id:Songmu)。構成はITジャーナリストの星暁雄。記事の最後にプレゼントのお知
今回のサイトを含め、WordPressでのサイト構築Tipsをこちらで更新中です。 http://qiita.com/yousan/items/c925f0a241be02a55292 はじめに 一日のPVが100万、月の3000万PVのサイトを某ブログシステムからWordPressに移行する案件がありました。 ウェブサイトの規模感を計る指標はいくつかありますが、僕の中では100万PV/月を超えてくると中規模かな、と思っています。 3000万PV/月ですとそこそこの規模感ですね。 「WordPressで大規模サイトって大丈夫なの?」と聞かれる事がありますが結構大丈夫です。 このサイトをさくらのクラウドへ移行しました。OSパッケージとしてKUSANAGIを利用しました。 KUSANAGIを使えばCentOS + nginx + php-fpm (or hhvm) 周りをそこそこの初期状態で設
この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談
少し前に,Facebookのロードバランサが話題になっていた. blog.stanaka.org このエントリを読んで,各種Webサービス事業者がどういったロードバランスアーキテクチャを採用しているのか気になったので調べてみた. ざっくり検索した限りだと,Microsoft, CloudFlareの事例が見つかったので,Facebookの例も併せてまとめてみた. アーキテクチャ部分に注目してまとめたので,マネジメント方法や実装方法,ロードバランス以外の機能や最適化手法といった部分の詳細には触れないことにする. 事例1: Microsoft Azure 'Ananta' MicrosoftのAzureで採用されている(いた?)ロードバランサのアーキテクチャは,下記の論文が詳しい. Parveen Patel et al., Ananta: cloud scale load balancing
では本題に入ります。まず、Dockerは何がいいのか、あるいはどういうことには向かないか。実際に仕事で関わっている立場から語ってください。 松井:SIerをやっていて、最近はお客様からDockerという言葉が出てくるようになりました。とあるお客様からは、Solarisコンテナーで動いているシステムが古いので乗り換えたい、そのためにDockerはどうかと具体的な話を聞かれました。一方、「Dockerってどう?」と漠然とした話をいただいて、お客様の環境でしたらこう使えます、という話をすることもあります。 実案件まではまだありません。アプリケーションが対応していないと使えない、という話になることが多い。Dockerでは、いままでのアプリをそのまま使おうとすると、失敗すると思います。 前佛:無理をしてDockerを入れるのは違うと思いますね。Docker社が、仮想化を置きかえるというような見せ方を
私はここ1週間ほど、同僚の David の一言で Infrastructure as Code について頭が大混乱状態でした。 それは次の一言です。 Chef や Puppet は大体の部分は Infrastructure as Code じゃないよね。ARM (Azure Resource Manager) はそうだけど。 ただ、Chef-Provisioning は Infrastructure as Code だよね。 もう頭が大混乱です。なんとなく言わんとしていることはわかりますが、私は今まで Chef とか、Puppet とか、Ansible とかで やっているようなことが、Infrastructure as Code と思い込んでいましたが、何か間違っていたのでしょうか?そういえば、 Chef はConfiguration Management Toolと紹介されていたなとか頭
今年からAWS(Amazon Web Services)クラウドコンサルタントとして、中小規模のAWSデプロイの相談を受けています。その多くは典型的なWebアプリケーションです。ここで、ぜひ避けたい5つのよくある間違いを紹介します。 インフラストラクチャを手動で管理する。 Auto Scaling グループを使わない。 CloudWatchのメトリクスを分析しない。 Trusted Advisorを無視する。 仮想マシンを活用しない。 典型的なWebアプリケーションにおける間違いを防ぎたい人は、次に進んでください。 典型的なWebアプリケーション 典型的なWebアプリケーションは最低限次の要素で構成されているものを指します。 ロードバランサ スケーラブルなWebバックエンド データベース そしてこのアプリケーションは、次の図のような仕組みを持っています。 注釈:(左から)DNS、CDN、静
はじめに データセンタ障害の話題がちらほら流れておりますが、その中で見かけた「データセンタでそんな障害あったら意味ねえじゃん」みたいなコメントにちょっと引っかかるところがありまして。まあ確かに電源の二重化云々とかいろいろ災害やトラブルに対する対策はしてますよ。してますけど、でもデータセンタ・オーダーの障害とかも実際あるんですよね。落ちるときは落ちるんですよデータセンタだろうと。信頼性は高いけど100%じゃない。 ということで、じゃあ過去どんな事例があったのか、ざっと事例を挙げてみようと思いました。基本的には過去の私のツイートとかはてブとかネットをざーっと検索して出てくるものを取り上げています。「データセンタ使ってるからオールオッケー」みたいな話ではなくて、その上で・さらにこういうこともあるんだ、という話を見るのに参考にしてもらえれば良いかと思います。 なお、ここで取り上げている事例は、特定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く