はてなのようなキーワードリンクをRubyで付与する実例 - グニャラくんのグニャグニャ備忘録@はてな
hrjn: はてなとかニコニコ大百科のキーワードリンクってどうやってんのかなぁ。正規表現だと死んでしまうので、専用のパーサ作ったりしてんのかな。 http://twitter.com/hrjn/status/2926407314 ニコニコ大百科では、キーワードリンク専用のRubyモジュールを書いています。「SENNA」というキーワードがあったら、「senna」とか「ＳＥＮＮＡ」とかにリンクさせたりとかもできます。 Senna 1.1.4 + Ruby 1.8.6で、UTF-8専用ですが、使いたい人はどぞー。あと、いつもどおりいい加減な書き方なので気をつけて。とりあえず、以下のtest.rb, wordsym.rb, extconf.rb, sen_np_api.cをどこかに放りこんで ruby extconf.rb make sudo make install ruby test.rb 的
ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
groongaデータベースAPIについて概説 - グニャラくんのグニャグニャ備忘録@はてな
groongaにおいて、データベースを扱うためのAPI群について概説します。 groongaは、RDBMSでいうところのテーブル・カラムを扱うAPIを提供します。 テーブルは、内部的にハッシュテーブルもしくはパトリシアトライが基となっています。 それぞれの要素について、どのような操作が行えるかを説明します。 grn_hash grn_hashとは、以下の操作を行えるAPI群です。 任意のkeyを指定したデータ保存 任意のkeyを指定したデータ取得 任意のkeyを指定したデータ削除 カーソルを用いた、全てのkey/valueの取得・設定・削除 内部の実装は、ハッシュテーブルです。 メモリ上に作成することも、ファイルとして作成することもできます。 いわゆる*DBMと同等のことができます。 Tokyo CabinetでいうところのTCHDBですね。 grn_pat grn_patとは、以下の操作
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
ニコニコ動画データ解析発表会でニコニコ大百科の宣伝を行いました（発表資料もあるよ！） - グニャラくんのグニャグニャ備忘録@はてな
昨日2009年1月25日に、GLOCOMで行われたニコニコ動画データ分析研究発表会で発表を行いました。 ニコニコ動画データ分析研究発表会 USTREAM経由を含め、聴講してくださった方ありがとうございました！ 解析の妥当性などのツメが甘いのでジョーク枠とさせていただいたのですが、 ジョークが少ない！ジョークがすべっている！と大変不評で嬉しい限りです。 あと、マイクの音割れがあったようで申し訳ございませんでした。 早口で聞き取りづらく、基本ノープランな発表でしたが、 大体「くぎゅうううううううう」的ななにかで救われた気がします。 発表資料一式のPDFをzipで固めて置いておきました。 ぜひニヤニヤしてみることをオススメします。 発表資料一式 ２タグのANDタグ検索の検索結果数(LGL形式) 関連タグネットワークのファイル(XGMML形式) などが欲しい方は個別にご連絡をー！って、面倒ですよね
グッドデザイン賞を受賞しました。 - グニャラくんのグニャグニャ備忘録@はてな
未来検索ブラジルが検索エンジン開発において(!)グッドデザイン賞を受賞したようです。 http://www.g-mark.org/search/Detail?id=34960&sheet=outline&lang=ja みんなも、オープンソース開発をしてグッドデザイン賞をもらおう！ あ、あとブラジルはIT技術者募集中です。 デザイナ HTML/CSS ウェブアプリ開発 PHP/JavaScript/Ruby/Cのうち2つ以上 フラッシュ開発 ゲーム/ツール Senna開発 C/Scheme/Rubyのうち2つ以上 詳しくはこのページへ、とリンクをつけたときに気づいたけど、 このページ恥ずかしいんだよな… 未来検索ブラジル:スタッフ募集
ツッコめ！全文検索エンジンSennaの新しいAPIについての素案。 - グニャラくんのグニャグニャ備忘録@はてな
みんな、［Senna-dev 884］のメールは読んだかな！？ 全文検索エンジンSennaの新しいAPIについての素案がついに公開されました。 今までのAPIのほとんどを刷新するという 大改造！劇的ビフォーアフター的API群です（APIの匠）。 んで、この新しいAPI群で何ができるようになるのでしょうか。 簡単に言うと、 「Sennaは、データベースになります！」 といいつつも、全文検索機能を充実させるために、 データベース的機能を強化した、という感じになっておりますぞ。 データベース機能 新しいSennaでは、複数のテーブルというものを持つことができます。 テーブルは、複数のレコードを持つことができます。 レコードは、複数のカラムを持つことができます。 カラムは、ある型のデータを保持します。 一般的なRDBMSの２次元表をまずはイメージしてください。 ポイント1. レコードごとにカラムが
検索エンジンの歴史的意義と未来 - グニャラくんのグニャグニャ備忘録@はてな
弊社森（オラの上司）が大阪市立大学で発表をしてきました。 発表資料は以下からどぞー。 検索エンジンの歴史的意義と未来 発表の前半は、コミュニケーション技術の歴史を踏まえ、 多対1のコミュニケーション技術として検索エンジンを捉える試みです。 発表の後半は、コミュニケーション技術としての検索エンジンが 現在どのような課題を抱えているか、 本来検索エンジンとはどうあるべきか、について語られています。 発表者の森と、 「検索エンジンは情報を減らすための技術だから面白い」と 盛り上がって話した記憶があります。 (ちばてつやの看板がある渋谷の中華料理店で) 大変面白い資料ですので、是非一読をオススメいたします。
SennaのTracが公開されております。 - グニャラくんのグニャグニャ備忘録@はてな
そういえば（安定剤）、lighttpのTracサイトで思い出しましたが、 SennaのTracが稼動し始めました。 まだ情報が少ないですが、Ticketを切って開発を進めていこうと思っています。 宜しくお願いいたします。 SennaのTrac ちなみに、 以前から公開しているニコニコ大百科のTracですが、 まったくToDoが減る気配がありません。（・３・）ｱﾙｪｰ ニコニコ大百科のTrac
x86_64環境でRubyからMySQLのクエリを実行するときの問題が示す根本的な問題… - グニャラくんのグニャグニャ備忘録@はてな
ニコニコ大百科というサービスをリリースしたわけですが、 開発言語を選定する際に 「最近書いてなくて忘れかけてるし、部下も書けるし、 たまにはRubyで書いてみようじゃないか。」 とテキトーに決めたことをちょっと後悔。 特にRubyのbase64に関しては マニュアルの使用方法の項目にはencode64などの関数を直に使う方法が書いてあるが、生で使うと怒られる(encode64 is deprecated; use Base64.encode64 instead)。 Base64.encode64()を使うと、今度は途中とお尻に勝手に改行が入る。マニュアルには書いていない挙動（るびまには書いてあるが）。Base64.encode64().split.joinなどをして改行を除去する必要がある。 さらに、urlsafeなエンコードをしようとすると、Base64.encode64().split
最もタメになる「初心者用言語」はSennaQL！ - グニャラくんのグニャグニャ備忘録@はてな
地味に反響のないSenna 1.1.0ですが、 SennaQLという新しい問い合わせ言語が搭載されています。 我々の調査の結果、 なんとSennaQLは以下のページで挙げられている Schemeの特徴を全て満たしていることが判明しましたっ！！！ 最もタメになる「初心者用言語」はScheme! Schemeで豊かな表現力を身につける 参照透明できれいな心をそだてる 括弧はこわくない＞＜ Schemeは上を目指せる！ これはみんなSennaQLを学ばないといけないですね！！ SennaQLのおためし方法 Senna 1.1.0以降をインストールしたあとに、 % senna filename.db と実行すれば、対話的環境でSennaQLを試すことができます。 SennaQLで簡単な計算をやってみましょう。 > (+ 1 1) 2 > (define a 3) a > (define b (+
グニャラは大変なFlashを描いていきました - グニャラくんのグニャグニャ備忘録@はてな
今週末は2つの勉強会に参加・発表させていただきました！ ステキな発表の場を設けていただいてありがとうございます！！ 両方ともActionScript/Flashについて（？）の発表です。 それぞれ発表資料を公開させていただきます。 Flash + JavaScriptでmemcachedと直接通信 @ さかとくカンファレンス ActionScript3上で、Socketを用いてmemcachedとの通信を行うモジュールを書きました。 さらに、そのモジュールをJavaScriptから呼べるようにしました。 get/setしかサポートしてないですし、 全体的に設計とコーディングが小汚いです。 ちょっと恥ずかしいけど、 CodeReposにアップしているので適当に直してもらえると嬉しいです… プログラム本体・発表資料は以下に置いております。 CodeReposのレポジトリパス 発表資料(PDFで
Senna 1.1.0リリース - グニャラくんのグニャグニャ備忘録@はてな
Senna 1.1.0をリリースしました！(GREEで) 落ちるバグとか治っているので是非入れ替えを…
Google Suggestのようなものを高速に実現するサーバsuggested - グニャラくんのグニャグニャ備忘録@はてな
Google Suggestのようなものを高速に実現するサーバsuggestedというものを書いてみた。 が、しばらく放置していた。とりあえず公開してみる。 特徴 epollやkqueueを使っていてネットワーク部分が速い Sennaを使っていてSuggest部分が速い Sennaを使って正規化している。「トン」とか「ミリバール」(組み文字)とか「Ｗｉｋｉ」(全角)とかでも検索可能 置き場 CodeResosに置いてあります。 http://svn.coderepos.org/share/lang/c/suggested/trunk 一応、2008/01/17バージョンの全ソースコードを貼っておこう。 #include <sys/types.h> #include <sys/time.h> #include <stdlib.h> #include <err.h> #include <sys
Sennaではてなキーワード自動リンクを実装する - グニャラくんのグニャグニャ備忘録@はてな
[注意]このエントリはPHPとMecabでキーワード自動リンクを実装するのパクリです。 こんにちは、末永です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を全文検索エンジンSennaを使って実装する方法を紹介したいと思います。 1. Sennaインストール MeCabのインストールは必要ないので、こんな感じでインストールしてください。 $ ./configure --prefix=/usr --without-mecab $ make $ sudo make install 2. 辞書を作る テキストファイルに、改行区切りでキーワードを記述したファイルkeyword.txtを作成します。 ただし、文字コードはEUC限定ですぞ。 Wikipediaの
PHPで高速に携帯ゲートウェイのIPから携帯キャリアを判別する - グニャラくんのグニャグニャ備忘録@はてな
[追記]id:hetimaに指摘された、32bitアーキテクチャでの問題を修正。大感謝。 携帯電話からのWebアクセスゲートウェイのIPアドレスから、 携帯キャリアを判別したい場合がある。 通常は、id:tokuhiromによる Net::CIDR::MobileJP(WWW::MobileCarrierJP)を使うといいと思う。 DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法 http://d.hatena.ne.jp/tokuhirom/20071207/1196989588 YAMLが出力されるので、さまざまな環境で利用ができるよ！ 今回、PHPで携帯キャリアを判別したいと思ったんだけど、 PHPでYAMLを読んでその中身をすべて検査するなんてやだいやだい！ と沸き立つような強い衝動が。 というわけで、cidr-mobilejpというPythonスク
Python Unconference 1でLTに参加してきた - グニャラくんのグニャグニャ備忘録@はてな
Python Unconference 1というイベントで、 LTに参加してきました。 その際の発表資料をアップしておきます。 PyTCで学ぶPython C拡張の書き方 Pythonから既存のライブラリを呼びたい方はぜひ参考にしてみてください。 口を酸っぱくして言っておきますが、普通はPyrexを使いますからね… [追記]スライド中パフォーマンスについて スライドで紹介したパフォーマンス測定は 「傀儡師の館.Python」から引用したものです。 Python のいろいろな方法でキーと値の保存と検索をやってみようかと(2) | 傀儡師の館.Python - 楽天ブログ このパフォーマンスは、 おそらく各DBが設定できる各種パラメータを カリカリにチューンして測定したものではありません。 特にHDBについては、最初にHashのbucketサイズを大きくしておくことによって パフォーマンスが大
WEB+DB PRESS Vol.42にSennaの記事が掲載されます。 - グニャラくんのグニャグニャ備忘録@はてな
WEB+DB PRESS Vol.42にSennaの記事を書きました。 WEB+DB PRESS Vol.42｜技術評論社 今回の記事は、TritonnやLudiaのような他のDBMSを利用するのではなく、 SennaQLという独自のクエリ言語をPHP経由で利用する場合の サンプルコードが載っています。 というわけで、発売までにSennaの新版をリリースしたいところ。。。 間に合うか！いや、間に合わないとマズいぞ。 岡野原さんによるSuccinctなデータ構造＆全文索引の基礎の記事もあるので、 全文検索マニア（？）の人は100冊くらい買うとよいと思います。 ニコ動の記事にもSennaの話がちらっと出ているという噂。
Subversion to Subversion migration - グニャラくんのグニャグニャ備忘録@はてな
CodeReposやsourceforgeなどのSubversionレポジトリに 既存のSubversion管理のリポジトリを移したい。 でも、移転先のSubversionリポジトリの物理ファイルには触れない。 つまり、svnadmin dumpはできるけどsvnadmin loadはできない。 こんなときに各リビジョンの変更履歴とコメントだけを移したいんだけど どうしたらいいのかな、 と思ったらちゃんと記事があった。 SVKでsubversion下のプロジェクトを履歴も含めて移転 - Bulknews::Subtech - subtech mumuを移転しようかと思ってます。 [追記] 移転は大好評のようでした！ #codereposで凄惨なリンチを受けたことは口外しちゃダメって言われたよ！
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
