blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
CPANモジュールをスクリプト一発で依存解決しつつrpm化する - とあるはてな社員の日記
少し前にmizzyさんに そういえば、まっさらなサーバを30分で本番投入できるようにする で stanaka さんが「CPANの依存関係を解析してrpm化する手製スクリプトで、CPANモジュールのrpm化が、ほぼ自動化されています」と書いてるんだけど、これって公開してくれないのかなー。 HowToRpmizeCpanModules - mizzy.org - Trac と突かれたので、githubで公開してみます。 http://github.com/stanaka/cpan-dependency/tree/master 突かれたついでにmizzyさんに軽く動作確認してもらったところ、それなりに動いているようです。また、はてなでは、このスクリプトを利用して、日々それなりの数のCPANモジュールのrpm化を行っていますので、だいたいうまく動くのではないかと思います。 CentOSやFedor
GoogleのMapReduceは僕たちに必要か？ - きしだのはてな
ということで、Google MapReduceの実装であるHadoopを使ったMapReduceと、JMSを使ったMapReduceをやってみました。 メッセージキューを使って分散MapReduceを実装する HadoopでのMapReduceを気軽に試すサンプル これ何のためにやったかというと、そこらにあるような数十台規模のサーバーを前提としたときに、Hadoopの有効性、ひいてはその元になってるGoogle MapReduceの有効性について疑問に思ったからです。そこで、ちょっと試してみた、と。 ここで、メッセージキューを使った場合に1秒でできてた処理が、Hadoopを使うとスタンドアロンモードでも40秒近くかかりました。擬似分散モードだと4分近くです。 いくらHadoopの実装がひどいとしても、これはあんまりです。 Googleでの実装はもっと効率的なものになっていると思いますが、そ
DO++: 海外のブログのお勧め
海外のブログでお勧めはどういうのありますかとよく聞かれるのでかいてみます。 といってもそんなないけど。 Terence Tao 非常に幅広い分野の第一線で活躍している数学者のテレンスタオ[jawiki]のブログ．ブログで毎回新しい定理を証明しちゃったり、突然、相対性理論の分かりやすい証明をしたりとすごい．コメントでの議論も丁寧． ブログで書いたのをまとめた本が出るそうですが、目次を読むとブログ本の範疇をこえてる・・ natural language processing blog 自然言語処理ではたぶん一番有名なブログ. による．いろいろな手法の解説から現在ある問題（自然言語処理以外にもアカデミック的な問題とかも含め）．守備範囲が大体私と似ていて読んでいて楽しい．ちなみにHal Daumeはハスケラーで、そこそこ有名なhaskel tutorialかいてたりする Google Resear
Convivial-Web – WEBを共に愉しむ。
iPhoneアプリ「My Maps Pocket」を昨年の8月にひっそりとリリースしていました。 リリースしてから特に告知もしていなく、いまさらではありますがコチラで紹介させていただきます。 機能はシンプルで、Google MapsのマイマップをiPhoneで見ることができるというものです。 地図表示、リスト表示、詳細情報の表示、標準地図へのリンクなどの機能があります。 現在は、ポイント（アイコン）にのみ対応していますが、ライン、ポリゴンの表示にもいつか対応したいと思います。 他にも、ポイントの追加・編集、自分以外が作成したマイマップの表示、Google以外のMyMap系サービスにも対応したいです。いつになるかはわかりませんが、、、 書籍でも紹介して頂いたようです。 iPhoneでGoogle活用第一弾 – Reader’s Forumより引用: 写真部つながり、新刊つながりというわけでは
小寺信良の現象試考：モバイラーマストダウンロード 「x-Radar」 (1/3) - ITmedia +D LifeStyle
コラム 小寺信良の現象試考：モバイラーマストダウンロード 「x-Radar」 (1/3) ソニーが提供している位置情報アプリ「x-Radar」が実に面白い。Wi-Fiを利用して現在地を割り出すだけではなく、周辺に何があるかを示して案内までしてくれる。いわゆる「地図」とは異なる、位置情報の見せ方だ。 昨年9月に行なわれた「ソニーディーラーコンベンション2008」で、地味ぃにあるアプリケーションが展示されていた。名前は「x-Radar」。よくある地図連動のサービスなのかと思って話を聞いたら、実はこれまでの位置情報サービスの概念を覆す、まったく新しい実験的プロジェクトであるということが分かった。これはすごいモノだ。 x-Raderの役割は、今自分がいる位置を割り出し、その近くにどんなポイントがあるかを示すことである。な、なにを言ってるのかわからねーかもしれねえので、もう少し詳しく説明しよう。 ま
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
DBMによるテーブルデータベース その弐 - mixi engineer blog
インフルエンザで休んだ影響で仕事が鬼のように溜まって消化不良のmikioです（こんな記事を書いている場合じゃない）。さて今回は、Tokyo Cabinetでリレーショナル風データベースを実現したテーブルデータベース（TCTDB）の実装について説明します。 SQLiteとの違いは？ SQLiteはアプリケーション組み込み型のSQL対応リレーショナルデータベースのライブラリです。TCのテーブルデータベースよりもはるかに高機能で、それでいて性能も大変優れています。いわゆるデスクトップアプリケーションに組み込むデータベースをお探しであれば、TCなんかではなく、断然SQLiteがおすすめです。 一方で、TCなどのDBMは、より単純なデータ操作をより高速に実行できるように設計および実装されています。典型的なユースケースとして、大規模Webサイトのアカウント管理や、データマイニングに伴う集計操作が挙げら
A diagram of the apt system
There's a lot of folklore in the Debian community about how apt works. Unfortunately, a lot of it is also just plain wrong. For instance, I often hear people confidently say things like aptitude is a frontend to apt-get (it isn't). These misconceptions are understandable -- all the programs that use apt perform the same tasks, many of them imitate each other's interfaces, and they all share common
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
これからのDouble Arrayは動的更新に対応するべき - 射撃しつつ前転 改
Double Arrayのコードなんて1年以上いじってないくせになにを言ってるんだこの口はと言う感じですが、Double Arrayを作るのであれば、動的更新に対応させるべきであると、そう思うわけです。 Double Arrayのメリットは Trieである 速い (Ternary Search Treeとかと比べると)サイズも小さい という感じだった訳ですが、速度はともかく、サイズではTxが使っているようなLOUDSやLOUDS++などの圧縮しちゃう方式に勝てないので、静的な辞書としては、速度が超重要なところ以外ではLOUDSやLOUDS++を使った辞書を使うのがいいのかなと思う訳です。辞書引き以外の部分がボトルネックであることも多いだろうしね。 と言うわけで、簡潔データ構造に比較してDouble Arrayでなにか便利な事ができないかなというと、圧縮をかける方式ではやはり、動的な更新が難
YouTubeの再生リストに登録した動画をPodcast化するPipeを作ってみた - Blog.IKUBON.com
YouTubeのビデオをiPhoneでよくみるようになったのですが、 iPhoneに対応したファイル形式に変換し、さらにはダウンロードまでしてくれる超便利なGreasemonkeyがあったので。 YouTubeのビデオをiPhoneで - Blog.IKUBON.com 動画を「ダウンロードして、iTunesに登録。そしてiPhoneと同期」という作業が面倒で仕方ありません。 少し前に松菌（Matsukin）氏がいいPipeを作ってくれたので、 生成したRSSをiTunesに登録しておくだけで、どんどんPVが集まってきます。しかもH264形式の動画ですので、iPodなどに直接入れて再生することができますよ！ Last.fmのWeakly ChartからVideocastを生成するPipeを作りました。 | おそろしくあいたかざあな このPipeを少しいじって、YouTubeの再生リストをP
Introduction to Information Retrieval
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a co
Leo's Chronicle: ぜひ押さえておきたいデータベースの教科書
先日のエントリで少し話したのですが、僕が在学していたときの東大にはデータベースを学ぶためのコースというものがありませんでした（DB関係の授業は年に１つか２つある程度。現在はどうなんだろう？）。そんなときに役だったのは、やはり教科書。読みやすいものから順に紹介していきます。（とはいってもすべて英語の本です。あしからず） 一番のお薦めは、Raghu Ramakrishnan先生 (現在は、Yahoo! Research) の「Database Management Systems (3rd Edition)」。初学者から研究者まで幅広く使えます。データベース管理システム（DBMS）の基本概念から、問い合わせ最適化、トランザクション管理など、これらを実装・評価するために必要な、「DBの世界での常識」が、丁寧な語り口でふんだんに盛り込まれています。この1冊を読んでおけば、DBの世界で議論するための
MOONGIFT: » Dropbox以上？iPhone/Windows/Mac OSXで動作するファイル同期ツール「Soonr」:オープンソースを毎日紹介
iPhone/iPod Touchにはドキュメントビューワー機能がある。これが何気に使い勝手が良く、画像、PDF、Excel、Word、PowerPointはたまたVisioのファイルまで閲覧ができる。そのため、色々なドキュメントを入れておけばどこでも見られて便利だ。 iPhone向けクライアント。iPhoneから印刷もできる iPhoneにファイルを入れる方法は幾つかある。メールを使う、DiscoverやAir Sharingを使う。そしてもう一つのアプリケーションが登場した。これはWebDAV形式ではなくWebサービスと連携して動作する。 今回紹介するフリーウェアはSoonr、iPhone/iPod Touchと連携するファイル同期ソフトウェアだ。 SoonrはDropboxのようにWindowsやMac OSX向けの専用クライアントが用意されている。そして指定したフォルダ内にあるファ
自己修復型のデータセンター自動化ソフト「cfengine 3.0」がリリース | OSDN Magazine
ノルウェーCfengineは1月2日（ノルウェー時間）、オープンソースのデータセンター管理ソフトウェア「cfengine 3.0」をリリースした。独自理論を土台とした自己修復機能を特徴とする。同社Webサイトよりダウンロードできる。 cfengineは1990年代から利用されているデータセンター管理ソフトウェア。独自理論「Promise Theory」を土台とし、自己修復エンジンを持つ。これにより、人間の手を介さずにホストを保守・管理できるという。オスロ大学で研究・開発が進められており、2008年に開発・サポート企業が立ち上がった。 最新版の主な特徴は、ナレッジマネジメントの統合と新言語。ナレッジマネジメントでは、ISO標準「Topic Maps」ベースのナレッジマネジメント・エンジンを搭載、これによりデータセンターの運行に戦略的判断を反映しやすくなるという。言語は、シンプルなシンタックス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
http://www.yahataya-park.jp/osaka_training-room/index.html
https://jp.techcrunch.com/2009/01/06/20090105watch-cable-tv-from-your-iphone/
Moved