facebookの13億ユーザーを支えるロードバランサーの話 - stanaka's blog
最近、SREが話題ですね。 tech.mercari.com www.wantedly.com ということでSREについて調べてたら、SREconなんてものが開催されていたので中を見てたら、「Building a Billion User Load Balancer」というタイトルでFacebookのDNS〜LBまでの話があったので、そのメモです。 Building a Billion User Load Balancer | USENIX tl;dr tinydns + IPVS で Facebook規模はいける httpsの接続確立はかなり重い(RTTの4倍 = RTT 150msとするとGETまで600ms)ので、太平洋越えとかは厳しい httpsを終端させるCDNとかは活用の可能性ありそう (国内だけを考慮するなら影響は軽微かも) メモ L4 LB shiv (IPVS + pyt
SORACOM Airを使ってみた #soracom - stanaka's blog
本日発表されたSORACOM AirのSIMを事前に使わせていただけたのでトライしてみました。 サービスの詳細はTechCrunchの記事が詳しいので、そちらを参照してください。 jp.techcrunch.com blog.soracom.jp SORACOM Airの最大の特徴は、定額な基本料金(10円/日)と完全従量制による価格体系で、通信帯域を動的にAPIで変更できることです。 また容量は事前申請ではなく、AWSのように使った分だけの事後清算ですので、 うまい使い方をすればするほど安くなる特徴があります。 SIMはSORACOMの管理画面もしくはAmazonから買えます。 (初日から買えるのはすばらしい) SORACOM Air SIMカード（データ通信のみ） (ナノ) 出版社/メーカー: 株式会社ソラコムメディア: エレクトロニクスこの商品を含むブログを見る SORACOM Ai
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
明後日(7/7)「Web開発者のための大規模サービス技術入門」が発売されます - stanaka's blog
「Web開発者のための大規模サービス技術入門」をid:naoyaと共著で書きました。執筆の経緯については既に書かれていますので、そちらも参照してみてください。 「Web開発者のための大規模サービス技術入門」という本を書きました - naoyaのはてなダイアリー この本は、はてなのインターンの講義内容を一冊にまとめたものです。はてなのインターンは、前半ではてなのエンジニア陣による講義でWeb技術全体を俯瞰し、後半で実際にコードを書きながらサービス開発に携わる、という構成になっています。本書は、その前半の講義を、さらに濃く凝縮した内容となっています。 インターンでの講義内容は、Perlの基本、シンプルなウェブサービスを作成するところから、はてな規模のサービスの構築・実装方法までを網羅しています。これらの技術は、アプリケーションエンジニアからインフラエンジニアまでWebサービスに関わる全てのエン
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
Perlプログラマのためのgdb入門(at Shibuya.pm #9 LT) - とあるはてな社員の日記
先日のShibuya.pm #9のLightening Talkで「gdbでXS on mod_perlをデバッグ」という話をしてきました。XSを使い出すと、従来のPerl的デバッグだけでは不十分なのでgdbをうまく使って、効率的にデバッグしましょう、という話です。実は、はてな社内では1年近く前に勉強で話したネタだったのですが、ようやく公開することができました。 Shibuya.pmでは5分という枠があったのでショートver.でしたが、ここでは制限はないので、本来のロングバージョンの資料をアップします。ちょっと公開できない情報が混っていたので、xxxで隠していますが、ご了承ください。 ちなみに、Rubyとかでも似た感じでデバッグできると思うので、そちらの人も参考にしてください。長いよ!という人は、最後の「これは設定しておけ的gdb初期化マクロ」だけでもどうぞ。かなり便利です。 (資料公開が
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
はてなは京都移転するけど、インフラは東京、という話 - stanaka's blog
はてなの京都移転話も、もうはや周回遅れ気味ですが、あまり気にせずにいきます。ちなみに、今回のエントリの結論はタイトルそのままで、データセンターは京都に移転しません、ということです。 これまで、はてなはデータセンターの移転を二度経験しています。一回目は、京都から東京で1日半ほどサービスが停止しました。その後、鉢山からさくらインターネットのiDCへ1年ほどかけて徐々に移転しました。この時は、各サービスが最大半日程度停止しました。 今回の京都移転を計画していた時もid:jkondoはいつもの調子で、自前サーバからさらに自前DCなんてどうどう？、などと言うのですが、300台程度の規模では自前DC建設の初期コストは賄えないし、また移転のために長い時間サービスを止めれられる状況でもないでしょう、ということで(幸いなことに)没になりました。やれやれ。 id:naoyaもはてなのインフラの仕事から卒業して
ConsolasをVistaでも使う - stanaka's blog
一年ほど前に「ConsolasをIE( or putty or gVim et al.)で使う」という記事を書いたのですが、同じ方法でVistaではFont Linkによる日本語フォントの割当てがうまくいかなかったので、Vista対応のレジストリ(MSゴシック版)を作ってみました。Vistaでは、ファイル名を入れるレジストリの型を「REG_MULTI_SZ」にしないといけないようです。エキスポートの形式もhexとなってます。 puttyでのスクリーンショットです(使い周しですが) ついでに以前の記事のレジストリファイルのリンクが切れていたので、再調整しました(過去記事のリンクも修正してます)。 ConsolasMSGothicForVista.reg (Vistaの人用) ConsolasMSGothicForXP.reg (XPの人用) これでVistaでも快適なConsolasライフを
EmacsでGmail IMAPを触る - とあるはてな社員の日記
ついに、Gmailで待望のIMAPサポートが追加されました!もう何年もGmailにIMAPサポートがあればなぁ、と待ち望んでいたので、極めてうれしいです。 これで、 普段は、Gmailの安定したバックエンド + フロントエンドの軽快なメーラ 出先や他のPCを使う時は、GmailのウェブUI という理想的な使い分けができるようになります。いかにGmailのUIが素晴しくても、ローカルクライアントの軽快さにはかなわないですからね。 ここで、IMAPクライアントとしてどのメーラがいいか?という話になるのですが、オールドタイプのEmacs厨としては、Wanderlustが一押しです。Thunderbirdなんて軟弱者向けです。mewも悪くはないですが、IMAPでのソートをサポートしていないのが致命的です。 というわけで、Gmail向けのWanderlustの設定をまとめてみました。Emacs信者の
OSCON2007レポート - stanaka's blog
もう旬は遥か前に去っている気がしますが、あまり気にせずにOSCON2007のレポートです。去年のOSCON2006、先日のMySQL conferenceに続いて、3回目のO'Reilly系Conferenceです。 いつものごとく、面白かったセッションを三つほど紹介します。あまりしっかりと整形してないので、メモっぽいところも残っていますが、ご了承ください。 Subversion: Powerful New Toys Subversionのコミッタによるセッションです。今のSubversionで不満なところ(マージがすごい面倒なところとか)が次の1.5で解消されそうで、けっこう期待です。 ここ最近の改善はWebDAV系への機能追加が多い Auto-versioning, binaryファイルの扱いの効率化など Repository replication from svn 1.4 svns
MySQL Conference & Expo 2007 - とあるはてな社員の日記
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
stanaka's blog
2022年振り返りというものを書いていたようで*1、はてなブログからリマインドが来たこともあり、2023年振り返りを書いてみる。 仕事 2023年の仕事は引き続きエンジニアチームのマネジメントが中心で、ハイライトとしてはコロナ渦以来できていなかったオフサイトをボストンで開催できたこと。いつも画面越しにしか見たことがなかった同僚たちとリアルで会うことができてよかった。一度会っておくと、その後の仕事もやりやすい気がする。あと海外でオフサイト企画に携わったのは初めてだったけれど、参加してもらった人達の満足度は高くできたようでよかった。また、普段は英語で仕事をしているわけだけど、その英語はギリギリなんとかなっているレベルという自己評価をしていて、「ギリギリ」という状態から抜け出すためにも、主に発音をもうすこし良くしたい。 プライベート プライベートでは旅行に良く行った年となった。アメリカにいる間に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
