フェイスブックにおけるオペレーションの自動化戦略を、同社のエンジニアリング担当バイスプレジデントが語る。その根底には「優秀人材を活かす」という明確な意図が見られた。 フェイスブックでのオペレーションの実行は大仕事である。世界中に膨大なネットワークを持ち、サービスの信頼性とユーザー体験の充実が絶対的に重視される。そのうえ、現行の製品・サービスの維持に甘んじてはいられないという現実がある。自社がさまざまなイノベーションの目標を追求できるよう、常に新たな柔軟性と処理能力を生み出すことが求められているのだ。将来を見据えた同社の野心的な取り組みには、コネクティビティ・ラボ（世界中のインターネット未整備地域に接続環境を行き渡らせる計画に取り組む）、人工知能、ディープラーニング、そして次世代のコンピュータ・プラットフォームとなるバーチャルリアリティなどがある。 本記事では、フェイスブックのエンジニアリン

ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな

タイトルでいいきった。 ISUCON5参加者へのアドバイス まもなくISUCON5が開催されますね。 毎年参加して予選突破を果たしている私からのアドバイスは、過去問を解いてチューニング力を高めることが重要です。これホント大事。 過去問やってる？ ですが、ISUCONの過去問はAWS用AMIとソースコード一式が用意して提供されているものの結構難しいんですよね。 AWSの利用は課金がつらい（特に学生） AWSの利用はクレジットカードが必要でつらい*1 ソースコードから構築する方法がわからない（AMIの中身を見ないとわからないこと多数） 無料で過去問やろう そこで無料かつ簡単に手元で構築できるよう、VagrantfileとAnsible用Playbookを用意しました。 https://github.com/matsuu/vagrant-isucon/ https://github.com/ma

2015-08-03 意識を低くするという成長戦略 自分語り Tweet ＊『エンジニアとしてコモディティ化しないよう一生勉強してサバイブします！』 IT系エンジニアによる勇ましい態度が苦手だ。曰く「近い将来エンジニアはコモディティ化する」「10年後に生き残るためには必死で勉強しなければならない」「一生コードを書いていたい…」、強い言葉で自身を奮い立たせている分には構わないが、その意識の高さが他人への攻撃へ転化されるとやっかいだ。かつてのSIer ディス、技術力が高くないエンジニアを無能だなどと強い口調で否定するのには辟易したものだ。 最近は攻撃的な物言いはいくぶん落ち着いたように思うが、それでも意識の高い言説は以前にもまして盛り上がっているように見える。エンジニア系メディアには毎日のようにTech企業のCTOや海外で活躍する日本人なんかが立ちかわり登場し、これから学ぶべき技術領域、考える

TL;DR やっぱり書いていたら長文になってしまいました。あまりちゃんと推敲する気力がないので、変な文章になっているかもしれません。ご了承いただける方のみお読みください。 1. はじめに 昨晩未明にOpenSSL-1.0.2d, 1.0.1pがリリースされました。事前に予告されていた通り深刻度高の脆弱性CVE-2015-1793が修正されています。Advisoryを見ると、この脆弱性がiojs/Nodeに影響があるということが判明したので直ちにiojs/Nodeのアップデートを行い、今朝未明に無事脆弱性対応版をリリースしました。 今回が初めてではありませんが、深夜に日欧米のエンジニアがgithub上で互いに連携しながら速やかにセキュリティ対策のリリース作業を行うことは何回やってもなかなかしびれる経験です。時差もありなかなか体力的には辛いものがありますが、世界の超一流のエンジニアと共同でリア

本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を

Firebase Apple SDK 年間ダイジェスト: 2023年 / Firebase Apple SDK Annual Digest: 2023

ADSLが登場する2000年ごろよりも前のインターネット接続といえば、自宅のモデムから契約しているプロバイダが用意しているアクセスポイントにダイヤルして電話回線で接続する「ダイヤルアップ接続」が圧倒的に主流を占めていました。ダイヤルアップでの接続時にモデムから聞こえる「ピーーーゴーーーザーーーー」という音を覚えている人もいると思いますが、そんなダイヤルアップ接続音をグラフで可視化し、それぞれの音の役目を目に見える形で表した画像が公開されています。 absorptions: The sound of the dialup, pictured http://www.windytan.com/2012/11/the-sound-of-dialup-pictured.html ダイヤルアップ接続音を聞いたことがない人は下記ムービーから確認可能です。 The Sound of dial-up Int

テレビドラマ化もされ、多くのファンから支持されている人気グルメ漫画『孤独のグルメ』。ドラマ化されてから漫画を知った人も多くいるようで、いまだにファンが増え続けている。 ・外国人にバカ売れしている そんな『孤独のグルメ』の主人公、井之頭五郎(いのがしらごろう)のフィギュアが日本で販売されているのだが、外国人にバカ売れしているというのだ！ 確かに『孤独のグルメ』は人気だが、日本人で井之頭五郎のフィギュアを買うマニア層は、多いとはいえない。 ・普通のサラリーマン井之頭五郎 それなのに、外国人にはバカ売れしているというのだから驚きだ！ しかもカッコイイ系のフィギュアではなく、普通のスーツ姿の井之頭五郎である(笑)。『ドラゴンボール』や『ワンピース』ではなく、井之頭五郎である(笑)。普通のオッサンのフィギュアだ。 ・トーキョーオタクモードで完売 海外向けに日本のオタクグッズを通信販売している『トーキ

ドイツの老舗オーディオ機器メーカーのゼンハイザーが、Googleの主導するパーツ組み替え式自作スマートフォン「Ara」プロジェクトに正式に参入することになりました。これでAraでハイデフオーディオ対応スマートフォンを自作できることになりそうです。 Sennheiser shows two audio module concepts for Google Project Ara - AraPrototype.com - Google Project Ara News and Community http://www.araprototype.com/news/sennheiser-finally-introduces-their-audio-modules/ Project Ara will include Sennheiser audio modules - Tech Gadget Cen

アジャイル開発に慣れている人から見ればDevOpsなんて当たり前に見えるが、DevOpsを阻む障壁として「ITに係る全般統制」がある。 ITに係る全般統制とDevOpsは真っ向から対立する概念と捉えた方がいいのではないか、と最近考えている。 以下メモ。 【参考】 開発と運用の新しい関係、「DevOps」とは何か？ － Publickey 全般統制,業務処理統制[ITの統制] 海外会計税務用語 :総合型税理士法人山田＆パートナーズ｜東京,関西,名古屋,福岡の総合税理士事務所 【DevOpsが変える開発と運用[＃1]】 DevOpsは開発と運用の分離と対立するのか？：情報インフラ24時　眠らないシステム：ITmedia オルタナティブ・ブログ 【DevOpsが変える開発と運用[＃3]】運用が権威的になると開発のやる気が損なわれる：クックパッドのチャレンジ：情報インフラ24時　眠らないシステム：

案外成功方法より失敗集のほうがタメになりそう． ところでhost名がtaihaなのは安定性に関係ないです!!

NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ```

先週、httpvshttps.com というウェブサイトが公開されました。このウェブサイトでは、HTTP と HTTPS を用いてアクセスした場合のウェブページのダウンロード完了までにかかる時間の比較ができるのですが、多くの環境で HTTPS の方が HTTP よりも高速なことに驚きの声が上がっていました。 HTTP が TCP 上で平文を送受信するのに対し、HTTPS は TCP 上で TLS (SSL) という暗号化技術を用いて通信を行います。ならば、TLS のオーバーヘッドのぶん HTTPS のほうが遅いはずだ、という予測に反する結果になったのですから、驚くのも無理はありません。 実は、この結果にはからくりがありました。 Google Chrome、Mozilla Firefox、最近のSafari注1は、Google が開発した通信プロトコル「SPDY」に対応しており、HTTPS

HTTPS(SSL利用)サイトがSEO的に優遇されるトレンドで、世間的にもHTTPS接続でサイト運用するサービスが増えてきています。 これが、ハイトラフィックサイトになってくると、このフロントエンドでSSL処理させることが負荷的にもなかなか辛いのです。 で、Apache 2.3以降では、Shared Object Cache Providerとして、memcachedが選択できるようになっています。 この仕組みを利用して、Apacheとmemcachedを並べることで、各サーバでユーザのSSL Session Cacheを共有しながらHTTPSリクエストを負荷分散できる構成を作ってみました。 WebサーバでSSLオフロード 常時SSLを利用したWebサイトを運用するために、SSLアクセラレータといったアプライアンス製品だとか、ソフトウェアだとApacheやNginxのSSLモジュールを使う

SSD主要6モデルに特別なプログラムを使って尋常ではない量のデータを書き込みまくって再起不能まで追い込む耐久比較実験を、The Tech Reportが絶賛敢行中です。実験ではすでにIntel「335」、Corsair「Neutron GTX」、Samsung「840」を葬り去ってきました。最後まで残ったSamsung「840 Pro」とKingston「HyperX 3K」は2PB(200万GB)の大台を突破してもなお健在。2PBという超大容量の書き込みに耐えたと言うこと自体が、驚異的なのですが、2PBの書き込みによってSSDのパフォーマンス(速度)はどのように悪化するのかについて興味深いデータが明らかになりました。 The SSD Endurance Experiment: Two freaking petabytes - The Tech Report - Page 1 http:/