ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
ニコニコ動画データ解析発表会でニコニコ大百科の宣伝を行いました（発表資料もあるよ！） - グニャラくんのグニャグニャ備忘録@はてな
昨日2009年1月25日に、GLOCOMで行われたニコニコ動画データ分析研究発表会で発表を行いました。 ニコニコ動画データ分析研究発表会 USTREAM経由を含め、聴講してくださった方ありがとうございました！ 解析の妥当性などのツメが甘いのでジョーク枠とさせていただいたのですが、 ジョークが少ない！ジョークがすべっている！と大変不評で嬉しい限りです。 あと、マイクの音割れがあったようで申し訳ございませんでした。 早口で聞き取りづらく、基本ノープランな発表でしたが、 大体「くぎゅうううううううう」的ななにかで救われた気がします。 発表資料一式のPDFをzipで固めて置いておきました。 ぜひニヤニヤしてみることをオススメします。 発表資料一式 ２タグのANDタグ検索の検索結果数(LGL形式) 関連タグネットワークのファイル(XGMML形式) などが欲しい方は個別にご連絡をー！って、面倒ですよね
memcachedを愚弄する１つの方法 - グニャラくんのグニャグニャ備忘録@はてな
某サービスでセッション情報を保持するために利用している memcached(repcached)に障害が起こった。 ちゃんと追えていないけど、おそらく以下のような原因。他の人がハマらないように。 障害発生まで memcached(repcached)の中には揮発したらそれなりにマズい情報が入っている。 repcachedサーバ２台のOS入れ替えをしていて、１台は再起動が成功した。 １台目のサーバへ２台目のサーバからのレプリケーションが完了したのをstatsのcurr_itemsにて確認した。 よって２台目を再起動するものの、起動しなくなった。 この時点では、１台は生きているから後でデータセンターいこうっと、という気軽な気持ちだった… 現象 生きている１台目のサーバで、以下のような現象が起こった… 値をsetする際に、ある閾値以上のexptimeを指定すると即expireされる。 その閾値は
Google Suggestのようなものを高速に実現するサーバsuggested - グニャラくんのグニャグニャ備忘録@はてな
Google Suggestのようなものを高速に実現するサーバsuggestedというものを書いてみた。 が、しばらく放置していた。とりあえず公開してみる。 特徴 epollやkqueueを使っていてネットワーク部分が速い Sennaを使っていてSuggest部分が速い Sennaを使って正規化している。「トン」とか「ミリバール」(組み文字)とか「Ｗｉｋｉ」(全角)とかでも検索可能 置き場 CodeResosに置いてあります。 http://svn.coderepos.org/share/lang/c/suggested/trunk 一応、2008/01/17バージョンの全ソースコードを貼っておこう。 #include <sys/types.h> #include <sys/time.h> #include <stdlib.h> #include <err.h> #include <sys
Sennaではてなキーワード自動リンクを実装する - グニャラくんのグニャグニャ備忘録@はてな
[注意]このエントリはPHPとMecabでキーワード自動リンクを実装するのパクリです。 こんにちは、末永です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を全文検索エンジンSennaを使って実装する方法を紹介したいと思います。 1. Sennaインストール MeCabのインストールは必要ないので、こんな感じでインストールしてください。 $ ./configure --prefix=/usr --without-mecab $ make $ sudo make install 2. 辞書を作る テキストファイルに、改行区切りでキーワードを記述したファイルkeyword.txtを作成します。 ただし、文字コードはEUC限定ですぞ。 Wikipediaの
PHPで高速に携帯ゲートウェイのIPから携帯キャリアを判別する - グニャラくんのグニャグニャ備忘録@はてな
[追記]id:hetimaに指摘された、32bitアーキテクチャでの問題を修正。大感謝。 携帯電話からのWebアクセスゲートウェイのIPアドレスから、 携帯キャリアを判別したい場合がある。 通常は、id:tokuhiromによる Net::CIDR::MobileJP(WWW::MobileCarrierJP)を使うといいと思う。 DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法 http://d.hatena.ne.jp/tokuhirom/20071207/1196989588 YAMLが出力されるので、さまざまな環境で利用ができるよ！ 今回、PHPで携帯キャリアを判別したいと思ったんだけど、 PHPでYAMLを読んでその中身をすべて検査するなんてやだいやだい！ と沸き立つような強い衝動が。 というわけで、cidr-mobilejpというPythonスク
WEB+DB PRESS Vol.42にSennaの記事が掲載されます。 - グニャラくんのグニャグニャ備忘録@はてな
WEB+DB PRESS Vol.42にSennaの記事を書きました。 WEB+DB PRESS Vol.42｜技術評論社 今回の記事は、TritonnやLudiaのような他のDBMSを利用するのではなく、 SennaQLという独自のクエリ言語をPHP経由で利用する場合の サンプルコードが載っています。 というわけで、発売までにSennaの新版をリリースしたいところ。。。 間に合うか！いや、間に合わないとマズいぞ。 岡野原さんによるSuccinctなデータ構造＆全文索引の基礎の記事もあるので、 全文検索マニア（？）の人は100冊くらい買うとよいと思います。 ニコ動の記事にもSennaの話がちらっと出ているという噂。
冗談で作ったテンプレートエンジンだが - グニャラくんのグニャグニャ備忘録@はてな
半分冗談で作った、Django風PHPテンプレートエンジンMuMu。 社内でユーザがついたので、ちょっと手を入れてキャッシュをつけてみた。 パースしたテンプレートをシリアライズして保存するだけだけどね。 テンプレートあてはめ後のキャッシュが欲しいところ。 ドキュメントも一応書いてみた。 http://qwik.jp/mumu/ あとは、newformsをパクって参考にしてフォームバリデーションを作るかね。 MTVのMV部分は作る気はさらさらないけど… [追記]EthnaのrendererをMuMuにする方法が公開されていました。 2007-09-18 - WebProgを極めて居酒屋を開発する 地味にはやらせていこう。
Python Workshop the Edge 2007の会場から - グニャラくんのグニャグニャ備忘録@はてな
IPAX 2007は行き損ねた。 家から駒場まで歩いて汗ダラダラ。 でも、会場はクーラー効き過ぎて今凍え死にそう。 講師が話した内容と共に、 それについて僕が思ったことをメモ。 いつものごとく随時更新。 Python Webフレームワーク総ざらえ 講師＆増田談 Django、テンプレートだけ使うってのもあるよ(ex. SQLAlchemyと一緒に) libeventをwsgiに対応したらそれなりに高速なサーバができそう。 トレースバック重要(エラーメッセージ重要) 柴田談 SQLAlchemyは僕が使った限りでは実用に耐えない。 Tracの活用 svnsyncってあったんだ… svnsync+Tracもいいな 根底「プロジェクトを楽にするために」 運用大事。コミット粒度とか、チケット粒度とか、チケット閉じる担当者とか。 最初に作るページ。プロジェクト標準（運用ルールとか）・用語集・自己紹介
ふと自分の経歴を思い出した - グニャラくんのグニャグニャ備忘録@はてな
http://www.iza.ne.jp/news/newsarticle/economy/finance/53751 の記事を読んで、記憶が薄れつつある自分の経歴をメモ。 理系大学院の博士課程にまで進学したものの、 学位を規定年数では取れないだろうことは火を見るより明らかな 堕落した生活ぶりを送っていた。 当時の僕は婚約者もいたので、 なんとか将来食っていく道を作らなければいけない… とあせり、大原簿記学校の公認会計士講座に通うことを決めた。 食いぱっぐれはしないだろう…そういう判断基準だった。 コンピュータプログラマにだけはなりたくなかった。 プログラマになるのはあくまで最後の手段、そう、「逃げ道」だった。 なぜそう思ったのか、今ではもうよく思い出せない。 ただ、自分のプログラミング能力や社会性が 仕事に耐えないものである、という確信はあった。 公認会計士講座にはいろんな人が集まってい
SennaによるN-gramインデックスで注意すべき挙動 - グニャラくんのグニャグニャ備忘録@はてな
追記:以下の文書について 現在リリースされているSenna 1.0.7では、 N-gramで１文字の日本語を検索する場合は 直接部分一致検索を動作させるようにしました。 というわけで、以下で説明している挙動は今現在当てはまりません。 １文字の単語について uchiuchiyamaさんのブログにあった、Sennaのクエリ書式に対する質問 http://d.hatena.ne.jp/uchiuchiyama/20070317/senna_query_problem この問題ですが、 おそらくN-gramでインデックスを作成している場合に起こっていると考えられます。 SennaのN-gramインデックスはbi-gram、 すなわち２文字を１つのトークンとみなし、 インデックスへの登録を行っています。 ということは、文書の末尾を除いて、 すべてのトークンは２文字となり、 １文字のトークンで検索をし
出た！出た出た！Tritonn（トリトン） - グニャラくんのグニャグニャ備忘録@はてな
SennaのMySQLバインディングを高品質にする、Tritonnプロジェクトの成果物がリリースされました！ http://qwik.jp/tritonn/ 僕が覚えている範囲だと、今までのMySQLバインディングとの差異は以下のとおりです。 alter table/create index/drop indexなどでインデックスのフラグが落ちてしまう問題を修正 Tableの文字コードからSennaの文字コードを自動指定する機能の追加 fstatの不要な呼び出しによって一般的なクエリのパフォーマンスまで落ちてしまう問題の修正 テーブル削除のパフォーマンスが劣化する問題の修正 show senna status関数の増設 show senna status関数への移行による、MySQL管理ツールやMySQLテストスイートとの親和性の向上 Senna 1.0.2のリリース後、 MySQL 5.
PEAR: : CodeGen_PECLでPHP拡張を書いてみよう(その1)
(この記事は随時更新していきます) SennaのPHPバインディングのページに、PHPバインディングを希望する声が続々！ http://qwik.jp/senna/PHP_binding.html 実は、以前PHPバインディングを書いていたののの、 rm -rfですべてを消し去るというステキな行為をやらかしてしまったのでした。 で、新たにPHPバインディングを書き直していたのですが、 どうやら以下の記事によると、PEAR::CodeGen_PECLっていう便利なものがあるらしい。 ■[PEAR]PEAR::CodeGen_PECL事始め http://d.hatena.ne.jp/shimooka/20061030/1162200754 というわけで、 PEAR::CodeGen_PECLを使ってSennaのPHPバインディングを書く過程を記録に残してみます。 日本語の情報は少ないようなの
SennaのPHP bindingを書くための下調べ - グニャラくんのグニャグニャ備忘録@はてな
http://qwik.jp/senna/PHP_binding.html より、 mojabi : お願いです。PHPでも使用できるようにしてください。 そうすればSennaがさらに普及するのも間違いないと思います。 な、なんと！ そういわれると作りたくなるじゃないか！ というわけで、実現可能性をちょっとだけ調べてみたよ。 上記ページ中に、GREEの小泉さんのツッコミもあります。 Senna の構造上、個別ユーザランド関数の集合 + リソースとして API をエクスポートするのではなく クラス単位でまとめることをオススメします。 ふむふむ。 ということは、php extensionでのクラスの扱い方を知らないといけないのね。 というわけで、調べて見つかった記事たち。 PHP Extension を作ろう第３回 - クラスを作ろう http://dsas.blog.klab.org/arc
DBMSデフォルト組み込みの全文検索 - グニャラくんのグニャグニャ備忘録@はてな
PostgreSQL 8.2からGINというインデックス形式が追加され、 それを用いれば全文検索インデックスが実現できます。 分かち書きを別途行う必要はありますが。 http://itpro.nikkeibp.co.jp/article/COLUMN/20060912/247864/?ST=lin-server&P=3 MySQLのデフォルトの全文検索インデックスも、 分かち書きを別途行えば日本語の全文検索が実現できます。 http://pc8.2ch.net/test/read.cgi/php/1157467026/382 382 ：nobodyさん ：2006/10/05(木) 14:59:05 ID:??? MySQLならMeCabとかで分かち書きして、UTF-8でFULLTEXTに放り込む手もある。 んじゃ、分かち書きさえやってしまえば SennaのxxxxバインディングとかLud
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニコニコ大百科開発ブログはじめました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索勉強会開きたい！ - グニャラくんのグニャグニャ備忘録@はてな