blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
blog.katsuma.tv
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
blog.katsuma.tv
(2008.12.19 22:00追記) peer IDをnear IDに修正 先日のAdobe MAXでFlashの新しいプロトコルRTMFPを扱うことができるサービス「Stratus」について発表がありました。これは簡単に言うと、ブラウザで何もインストールすることなくP2Pを実現できる神がかったプロトコル(=RTMFP)と、RTMFPをサポートするサービス(=Stratus)、という位置づけです。上の写真は実際にStratusを介してRTMFPによる通信で僕の家とオフィス（夜中なので真っ暗ですね）をつないでいるものです。 これらについては、Adobe Labsでの次の文章が非常に分かりやすいです。 Stratus service for developing end-to-end applications using RTMFP in Flash Player で、この文章があまりに分
blog.katsuma.tv
秘密裏にこっそりmixiさんで行われたKitasando.asで発表してきました。お題が「Flash - Server 通信の世界」だったので、meeting24.tvをネタにしながらWowza Media Serverの導入から監視までの一通りをざっくり話してきました。以下、発表資料です。 全体的に割とニッチな話題ではあるものの、mixiさん、Kayacさん、ウチの会社のまわりの人たちで20人弱が集まって、内容もすごく勉強になりました。発表のメモはこんな感じ。 某サービスについて Kunzoさん 内容はここでは書けません＞＜ （でもすごく面白かった！） “kamaitachi” perl flash media server typesterさん PerlのFMS実装、kamaitachiについて CPANでインストールできる exapmlesの中に動くものはぜんぶはいってる Kamai
blog.katsuma.tv
Kitasando.asで話題になったのがSWFVerification。これはストリーミングサーバが特定のswfからのアクセスしか許さない、という機能。FMS3は接続を行うswfをあらかじめ登録しておくことで、接続時にハッシュ値の整合性を確認し、1byteでも異なっている場合は接続を許可しない、という仕様だそうです。（どうやって整合性とってるのかは謎。typesterさんも言及してました。） で、そんな機能ってたしかWowzaにもあったはずだよなぁ。。と思って調べてみるとそれっぽい機能がありました。ただ、FMS3とは少し違う仕様で、「接続を許可するswfの設置サーバのドメインを登録できる」というもの。ハッシュ値照合までしないので、厳密にはVerificationではないものの、セキュリティ的には結構これで事足りる気はします。つまりローカルにswfを落としてそこから接続を試みるような野良s
バランスWiiボードでGoogleストリートビューを操作するJSONP API - blog.katsuma.tv
先週高校の友達が家に泊まりにきたとき、バランスWiiボードを見て「これでGoogleマップ操作できたら面白そうじゃない？」とぽろっと言ったのをきっかけに「あれ、それできそうだぞ」と思ったので勢いで作ってみました。 動作としては直感的なものになっていて、足踏みするとどんどん進んでいって、左右に重心傾けると向きが変わって前後に重心を傾けるとズームが変わります。百聞は一見にしかずで、映像見てもらったほうが分かりやすいかと思います。 Google Street View by Wii Balance Board from katsuma on Vimeo. 構成 全体の構成としては次のもので成り立っています。 バランスWiiボード Bluetoothレシーバ(iMac) 信号解析モジュール(Java) ローカルWebサーバ(Jetty) Javascript(JSONP) Webブラウザ(出力)
blog.katsuma.tv
数多くの動画フォーマット、コーデックに幅広く対応したアプリケーションといえばffmpegがやはり一番有名だと思います。事実、ffmpegベースのアプリケーションも多く出回っていて、mplyer, 携帯動画変換君なんかは有名だと思います。 キャリア共通仕様 そんなffmpegですが、Linuxで１からビルドを行おうとすると、結構ハマるポイントが多いです。またバージョンによってビルド方法が異なったり、１つ違うことを行おうとするとコーデックやライブラリが不足したりし、なかなかうまくいかないことが多かったりします。そこで、今回は「3G携帯の動画を扱う」ことに特化したffmpegのビルド方法をまとめてみたいと思います。3G携帯と一口にいってもキャリアごとに利用できるフォーマットやコーデックも差異があるのですが、次のポイントを抑えれば各キャリアの（ほぼ）すべての端末に対応した動画ファイルを扱うことがで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
