はてなブックマーク

Sep 07, 2015 ここ半年ほどずっと Kafka の大規模クラスターに関っていたりします。自分が Kafka を知るために読んだドキュメントやら資料などもだいぶたまったので、このあたりで一度整理をして、メモ代わりにここに残しておこうと思います。 公式ドキュメント Kafka の公式ドキュメントはとてもよく書かれているので、非常に有用です。何度読んでも新しい発見があるぐらい詳細に書かれているので、自分は印刷したものを手元に用意して、困った時などに見直すようにしています。他にも一部古い情報が混じっているので注意が必要ですが、Wiki や FAQ のページも有用です。 Kafka Documentation Kafka Wiki Kafka FAQ ソースコード ソースコードは Apache の Git リポジトリにあります。GitHub にもミラーされているので、自分はこちらで参照する

May 25, 2015 先週の木曜日の話になりますが、HTTP/2 勉強会 #7 で発表してきました。今回は「パフォーマンス」がテーマということだったので、HTTP/2 の優先度についてを中心に話をしてきました。発表に使った資料は以下を参照してください。 そもそもなんで今さら優先度の話なのか、ということなんですが、その理由は前回開催された LT 大会まで遡ります。前回の LT 大会では「Above the Fold のリソースをサーバープッシュすればレンダリングが速くなるのでは？」という仮定を元に検証をした話を LT しました。その時の資料は以下を参照してください。 この時は、HTTP/2 の優先度が最適化されていない Chrome を使ったりと検証方法が悪かったりもしたのですが、検証の過程でサーバープッシュが他のリソースの読み込みを遅延させる場合がある、ということは分かっていました。リ

May 17, 2015 先日の5月15日に、ようやく HTTP/2 の最終的な仕様が RFC7540 として発行されました。仕様がほぼ固まったところからなんだかんだで半年近くかかりましたが、やっと一安心というところです。いつものように今回も日本語訳を用意しましたので、RFC7540 日本語訳として公開します。「RFC になったし、HTTP/2 勉強するか」と思っている方のお役に立てれば幸いです。 仕様としては Draft 14 以降バイナリレベルの変更は入っていません。最後のドラフトとなった Draft 17 からも大きく変更はなく、h2c トークンの明記と編集上の細かい変更にとどまっていますので、今ある実装に手を加える必要もなさそうです。 さて、英語の勉強がてら始めた HTTP/2 の仕様の翻訳ですが、Draft 04 の時にスタートして気がつけば2年弱ほど続けてきたことになります。D

Dec 25, 2014 これは HTTP2 Advent Calendar の7日目の穴埋めのために書かれたポエムです。 2014年は継続して HTTP/2 の動向を追いかけ続けた1年になりました。今まで1つの技術を追いつつ深堀りする、ということはあまりやってこなかったのですが、今改めて振り返ってみると継続して追うことによるたくさんの「いいこと」があったので、今回はそれについて書いてみようと思います。 きっかけ HTTP/2 の動向を追うきっかけになったことの1つに SPDY の存在があります。2年前の2012年12月、仕事でとあるメッセンジャーアプリの独自プロトコルについて詳しく知る機会がありました。その当時はプロトコルに関する知識などはほとんど無く、単純に技術的な好奇心から、そのプロトコルで使われるバイナリー構造やメッセージの多重化についてを学んでいました。ある程度そのプロトコルの機

Dec 21, 2014 これは HTTP2 Advent Calendar の21日目の記事です。 先月末に HTTP/2 の16番目のドラフトが公開されています。いつものように、今回も日本語の翻訳版を用意しましたので、HTTP/2 Draft 16 日本語訳として公開します。なお、Draft 15 の日本語訳については、短い間隔で Draft 16 が公開されたため見送っています。 Draft 14 以降の変更ではバイナリレベルのフォーマットに変更は入っておらず、ドラフトの文言修正や暗黙的になっていた定義の明確化など細かい修正にとどまっています。Draft 14 からの変更点の概要は以下の通りです。 HTTP_1_1_REQUIRED エラーコードが追加 421 HTTP ステータスコードが Not Authoritative から Misdirected Request に改名 スト

Dec 05, 2014 これは HTTP2 Advent Calendar の5日目の記事です。 先日、HTTP/2 の16番目のドラフトが公開され、いよいよ HTTP/2 の仕様策定も終わりが見えてきました。仕様の策定が進むに伴い、各種言語で実装されたサーバーやクライアントも増えています。自分も Node.js を使って実験用の HTTP/2 サーバーである「Sasazka」を実装したりしているのですが、HTTP/2 を実装する上でなかなか大変になるのが、フレームやストリーム、HPACK の圧縮コンテキストに関連する処理や、それに伴って発生するエラーの処理です。 HTTP/2 のドラフトには、各種フレームやストリームの処理の仕組みとそれに関連するエラーの処理が細かく記載されていますが、仕様そのものは HTTP/1.x よりが複雑になっているため、全てを実装して、それをテストのはなかなか

Nov 11, 2014 すでに1週間経ってしまいましたが、11月3日は HTTP/2 カンファレンスに参加していました。来日中の Ilya による基調講演から始まり、各 HTTP/2 の実装者による技術的なセッションやトークセッションまであって、非常に濃い内容で楽しめました。個人的には間違いなく今年のベストカンファレンスだったと思います。 そんな豪華なセッションの合間に、自分も HTTP/2 クライアントを60分で実装するという内容で発表とライブコーディングをしてきました。発表資料は以下の通りで、ライブコーディングで実装したクライアントのコード Gist で公開しています。 発表前は HTTP/2 の仕様の解説にかける時間と、ライブコーディングにかける時間をどれぐらいにするかのバランスで悩んでいたのですが、結局 HTTP/2 の基本的な仕様は一通り仕組みを理解できる程度に説明するようにし

Sep 29, 2014 昨日は ISUCON4 の予選 (1日目) に参加してきました。 予選の前々日の木曜日の朝に「今年の ISUCON は出たかったなー」などとぼんやり思いつつ会社に行ったところ、向かいの席の @Ajido が偶然にも「ISUCON 出よう！」と言ってくれたので、@shamabe と3人でエントリーしました。3人とも JavaScript が好きなので、実装は Node.js を選択してやってみることにしました。 さて、当日は10時に予選がスタート。自分は DB まわりの面倒を見ることにしたので、各テーブルのスキーマとインデックスを抽出してから、コードを読み始めてアプリの仕様とクエリをひと通り把握。適当なインデックスを作って適用したのがだいたい11時過ぎで、この時のスコアはだいたい 5,000 超えぐらいでした。その後は MySQL の設定 (InnoDB のメモリー

May 12, 2014 オライリーさんから、まもなく出版される「ハイパフォーマンス ブラウザネットワーキング」を献本いただきました。オライリーさん、どうもありがとうございます。原書の「High Performance Browser Networking」はWeb上でも無料で読めるので、気になる章をたびたび斜め読みしていました。読むたびに内容が濃くて素晴らしいなと感じていたので、日本語での出版は本当に嬉しいです。 さて、内容の濃さはもちろんなのですが、個人的にこの本を素晴らしいと感じる理由が大きく2つあるので紹介したいと思います。 レイテンシへのフォーカス 1つ目はレイテンシに対する取り組みに強くフォーカスされていることです。本書を読み進めると、とにかくレイテンシを少しでも減らす方法が頻繁に紹介されていることに気がつくと思います。 ブロードバンドに接続されたPC上で使うインターネットでは

Apr 27, 2014 先日、久々にHTTP/2の新しい実装向けドラフト (Draft 12) が公開されました。今回も日本語翻訳版をHTTP/2 Draft 12 日本語訳として用意しましたので公開します。前回の実装向けドラフト (Draft 09) からは、以下のような多くの変更がおこなわれています。 一部フレームへのパディングの追加 プロトコル識別子の追加や変更 依存関係に基づくストリーム優先度の追加 ALTSVCフレームの追加 BLOCKEDフレームの追加 既にnghttp2、node-http2、開発版のFirefoxが今回の実装向けドラフトをサポートしており、実際に手元で試すことができるようになっています。 今後のスケジュールとしては、6月5日にはこの仕様を基にした最後 (になるかもしれない？) の実装向け相互接続イベントがおこなわれ、その後、HTTP/2の仕様はWG Las

Nov 05, 2013 最近、WebにおいてはSSL通信を使うのが当たり前になりつつあるように思います。Googleの検索は全てSSLになりましたし、スマホアプリがAPIサーバーと通信する場合もSSLを使っているなんてことも多いかと思います。SSLを使うことで通信がセキュアになるメリットが得られますが、SSL通信を開始するためにはSSLハンドシェイクをおこなう必要があるので、その分レイテンシが大きくなるデメリットもあります。 HTTP/2.0ではこのようなレイテンシを小さくするために、接続を可能な限り維持する方向で仕様の策定が進んでいます。既存のHTTPSでもSSLのレイヤーで少しでもレイテンシを削減する方法はないものか、としばらく考えていたのですが、SSLセッションキャッシュというものがあることを知ったので少し使ってみました。 SSLセッションキャッシュ SSLのセッションが開始される

Aug 21, 2013 最近、現在IETFで策定中のHTTP/2.0の仕様を少しだけ追ってみたりしています。7月前半に最初の実装向けドラフトが出て、8月に入る頃には実装がいくつか出てきて、8月前半には実際にその実装を使った相互接続試験もやっていたりする、技術的になかなかホットです。日本でも先週、http2.0 勉強会が開催されて、自分もこっそり参加したりしていました。いやー、この勉強会も非常に濃くて勉強になりました。 HTTP/2.0が仕様としてまとまるまでにはまだまだ多くの時間が必要になりますが、先月公開された実装向けのドラフト (Draft 04) は一度きちんと読み込んでおきたかったので、自分が読み込むためにまとめていたHTTP/2.0 Draft 04 日本語訳を公開します。文書にも記載していますが、この日本語訳は参考情報であり、正式な文書ではないことに注意してください。また、H

May 12, 2013 リアルタイム処理について色々考えていたら、端末同士が直接データをやり取りすることに興味を持ち始めたので、最近はUDPやらNAT越え関連で遊んでいます。 UDPを使って端末同士が直接通信する時にほぼ必ず問題となるのがNAT越えです。端末がNAT配下にいる場合、NATのアドレスとポートを通信相手に伝えられなければ直接通信をおこなうことができません。P2PやVoIPによる通信も同じようにNATが問題になるわけですが、それをなんとかしようと出てきたのがNAT traversalです。 NAT traversalにも色々なテクニックがあるようですが、代表的なものとしてUDPホールパンチングというものがあります。これはグローバルIPアドレスを持つサーバーに対してUDPパケットを送信することで、NATからアドレスとポート割り当ててもらい、そのアドレスとポートのペアをサーバーから

Feb 11, 2013 仕事の関連などもありSPDYの仕様を詳しく知りたかったので、仕様理解ために年明けぐらいからまとめていたSPDY Protocol Draft 3の日本語訳を公開します。文書にも記載していますが、この日本語訳は参考情報であり、正式な文書ではないことに注意してください。詳細な情報は原文の「SPDY Protocol – Draft 3」を読むことを強くおすすめします。 SPDYの仕様を読んでみると、フロー制御の部分ではTCPの知識が、CREDENTIALフレームの部分ではTLSと証明書の知識がそれぞれ必要になるので、あわせてそのあたりも勉強しておかないとな、と思いました。なお、日本語訳のソースはGitHubのリポジトリにあります。意味の分からない日本語 (特に多そう) や誤訳、指摘などがあればIssueやPull Requestなどでお知らせいただけると嬉しいです。

Jan 26, 2013 危険なほどのスピードで知られるRedisに、キーの変更や実行されたコマンドを通知する機能が追加されるようです。その名も “Notifications”。GitHubのnotificationsブランチに開発中のコードがあるとのことなので、少し遊んでみました。Notificationsの機能はまだ開発中のため、この記事では2013年1月26日時点の仕様について扱っています。ご注意ください。 機能を試すには自前でRedisをビルドする必要があるため、notificationsブランチのコードを取得してビルドします。Redisはmakeコマンドだけでビルドできるので楽ですね。 $ git clone git://github.com/antirez/redis.git $ cd redis $ git checkout -b notifications origin/n

Nov 24, 2012 先日、YUIコミッターのokuryu氏から、npmのプライベートリポジトリを作る手順をまとめたいい記事があるよと教えてもらいました。実は以前プライベートリポジトリの構築をしようとしてうまくいかずに諦めたことがあったので、記事に書いてある手順を読みながら、改めて手元の環境に構築できるかを試してみました。 CouchDBのインストール npmリポジトリのバックエンドには、CouchDBが使われているので先にこれをインストールします。手元の環境にはHomebrewがインストールされているので、今回は手っ取り早くbrewコマンドからインストールしました。 $ brew install couchdb npmのバックエンドとして使う場合には、CouchDBのsecure_rewriteオプションを無効化する必要があるようなので、以下のようにして設定を変更しておきましょう。

Nov 11, 2012 この記事は、東京Node学園祭2012 アドベントカレンダーの27日目の記事です。いよいよ来週にせまった東京Node学園祭2012の開催も楽しみですね。 今さら感も少しありますが、最近はApache Thriftをよく使っています。言語を問わずサーバーとクライアントで同じオブジェクトを使うことができるRPCフレームワークなのですが、ちょっとしたAPIを作るのにも便利です。調べてみたところ、ThrfitはNode.js用のコードも出力できるようになっているので、今回はNode.jsでThriftを使うにはどうするのかをざっとまとめてみます。 Thriftを使うには、まずThrift本体のインストールが必要です。手元の開発環境はMac OS X 10.8 (Mountain Lion)なので、以下のようにHomebrewを使ってインストールしました。 $ brew i

Apr 03, 2012 米国のYahoo!が開発していたMojitoが、JSConf US 2012の開催にあわせてオープンソースとしてリリースされました。Mojitoは、米国のYahoo!がCocktailsと呼ばれる自社クラウドを含む開発環境の一部として開発されたNode.js用のフレームワークです。サーバーサイドとクライアントサイド (ブラウザ) で同じコードを実行でき、マルチデバイス対応のための仕組みも実装されているのが主な特徴のようです。npmからもインストールできるようになっていたので、さっそくMojitoを試してみました。 さて、今回はNode.js v0.6.14とnpmがすでにインストールされているものとして進めていきます。まずはnpmからMojitoモジュールをインストールします。モジュールには専用のmojitoコマンドが含まれるので、-g オプションをつけてグローバ

Feb 05, 2012 先週、プライベートなNode.jsの勉強会があったので、Node.jsのv0.5.0からv0.6.9までのChangeLogsをまとめた内容を発表してきました。去年の夏ぐらいから、Node.js 日本ユーザーグループにChangeLogsの翻訳をコミットさせてもらっているので、その内容から自分が興味がある変更点をピックアップしたものです。ただし、発表時間の都合上、小規模なバグ修正バージョンの変更点については一部省略してあります。 去年の10月に、開発者のRyan (彼はつい先日、Node.jsのメイン開発者をやめることを表明して、少し寂しい…) に話をきいたときには、ChangeLogsはGitHubのコミットを参照しながら、自分で手書きしているとのことだったので、ChangeLogsをまとめる作業そのものもなかなか大変だそう。実際に、Clusterモジュールは、

Jan 10, 2011 node.jsを使ったアプリケーションを書くにあたって、ユニットテストをする方法を勉強しておきたかったので、連休中にちょこっと調査など。 一番手っ取り早くユニットテストをするには、node.jsに標準で付属しているAssertモジュールを使うのが手軽でよいです。今日時点で最新版のドキュメントを読むと分かるとおり、テストのための値の比較メソッドがひととおり用意されているので、これを使ってテストをしていくことになります。node.jsのAssertモジュールは、CommonJSのUnit Testing 1.0に準拠したものみたいですね。 では実際にAssertモジュールを使ってみます。以下のように、まずテスト対象となるモジュール sample.js と、そのユニットテストを実行するための sampe_test.js をそれぞれ用意します。 exports.add =

Jul 06, 2011 Node v0.5.0がリリースされました。v0.4系とは異なり、開発版の扱いになっています。node blogに掲載されているChangeLogを超意訳で下記にまとめてみたので、よかったら参考にしてください。間違いもあると思うので、原文もあわせて確認してください。 2011.07.05, バージョン 0.5.0 (開発版) * Windows における IOCP サポートのための新しい libuv バックエンド。非標準のため、--use-uv オプションで有効化することができます * http.cat が非推奨になりました * ドキュメントを更新しました * child_process.fork を追加しました * fs.utimes() と fs.futimes() のサポートを追加しました (Ben Noordhuis) * process.uptime()

Apr 26, 2011 2週間前ぐらいにサインアップしておいたCloud Foundryから、アカウント発行のメールがきていたので、早速Node.jsアプリをデプロイして動かしてみるところまで遊んでみました。 Cloud Foundryはvmcというコマンドから操作するようなので、まずはvmcをgemでインストールします。Mac OS X 10.6でコマンドを実行したら、ホームディレクトリ配下の.gemディレクトリ以下にインストールされたので、適当にパスを通しておきます。 $ gem install vmc $ export PATH=/Users/moto/.gem/ruby/1.8/bin:$PATH $ vmc -v vmc 0.3.10 vmcコマンドが動いたら、接続先をCloud Foundryに変更してログインします。ログイン時に使用するメールアドレスとパスワードは、アカウン

Apr 13, 2011 今までNode.jsの管理はnaveを使ってきたんですが、今日たまたま気が向いたのでnvmを使ってみたところ、こちらのほうがよい感じだったので乗り換えることに。 nvmがnaveよりもよいなと思った理由は、Node.jsをインストールすると自動的にnpmの最新版も自動でインストールしてくれるところと、変にシェルを多重起動しないところにあります。naveだとuseコマンドの実行時にシェルが再実行されて環境変数が2度読み込まれたりするので、なんだか気持ち悪いんですよね。 というわけで、nvmを使ってセットアップする方法をメモ。まずはGitHubからnvmを取得します。僕の場合はnaveを使っている時から、ホームディレクトリに.nodeディレクトリを作って、そこにインストールするようにしています。 $ git clone git://github.com/creatio

Aug 11, 2010 最近、このブログが動いているサーバーの調子が悪くてよく落ちるので、落ち着かない感じの今日この頃です。さて、前回のインストール編に引き続いて、今回はnode.jsに標準搭載されているモジュールをいくつか使ったコードを書いて遊んでみたいと思います。 標準搭載されているモジュールを知るには、まずAPIを見てみるのが一番よいです。ここを見ればファイルの処理やHTTPやURL、DNSといった、いくつかの強力なモジュールの機能を知ることができます。なお、特定のモジュールを使う場合は、最初に必ずrequire()で特定のモジュールを呼び出す必要があります。 今回はまずsysモジュールから使ってみることにします。sysモジュールは標準的な出力機能を提供します。改行なしの文字列を出力するprintメソッドや、日付つきログを出力するlogメソッド、PerlのData::Dumperや

Aug 15, 2010 今週末は今ままで使っていたサーバーのディスクがついにご臨終したので、慌ててデータをサルベージしてサーバーを移転したり、色々セットアップしたりと大変でした。サーバーがようやく安定稼働して、色々楽になったので結果的にはよかったです。さて、今日はnode.jsのモジュール管理について勉強してみます。 前回の標準モジュール編では、node.jsの標準モジュールで遊んでみましたが、標準モジュールの他にも有志が開発した様々なモジュールがGitHubなど配布されています。個々のモジュールをダウンロードしてインストールするのもよいのですが、Perlのcpan、Rubyのgemのようにパッケージ管理ツールがあると便利ですよね。そこで登場したのがnpm (Node Package Manager)です。npmを利用すれば、cpanなどのようにパッケージ名を指定するだけで自由にパッケー