はてなのようなキーワードリンクをRubyで付与する実例 - グニャラくんのグニャグニャ備忘録@はてな
hrjn: はてなとかニコニコ大百科のキーワードリンクってどうやってんのかなぁ。正規表現だと死んでしまうので、専用のパーサ作ったりしてんのかな。 http://twitter.com/hrjn/status/2926407314 ニコニコ大百科では、キーワードリンク専用のRubyモジュールを書いています。「SENNA」というキーワードがあったら、「senna」とか「ＳＥＮＮＡ」とかにリンクさせたりとかもできます。 Senna 1.1.4 + Ruby 1.8.6で、UTF-8専用ですが、使いたい人はどぞー。あと、いつもどおりいい加減な書き方なので気をつけて。とりあえず、以下のtest.rb, wordsym.rb, extconf.rb, sen_np_api.cをどこかに放りこんで ruby extconf.rb make sudo make install ruby test.rb 的
ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
ニコニコ動画データ解析発表会でニコニコ大百科の宣伝を行いました（発表資料もあるよ！） - グニャラくんのグニャグニャ備忘録@はてな
昨日2009年1月25日に、GLOCOMで行われたニコニコ動画データ分析研究発表会で発表を行いました。 ニコニコ動画データ分析研究発表会 USTREAM経由を含め、聴講してくださった方ありがとうございました！ 解析の妥当性などのツメが甘いのでジョーク枠とさせていただいたのですが、 ジョークが少ない！ジョークがすべっている！と大変不評で嬉しい限りです。 あと、マイクの音割れがあったようで申し訳ございませんでした。 早口で聞き取りづらく、基本ノープランな発表でしたが、 大体「くぎゅうううううううう」的ななにかで救われた気がします。 発表資料一式のPDFをzipで固めて置いておきました。 ぜひニヤニヤしてみることをオススメします。 発表資料一式 ２タグのANDタグ検索の検索結果数(LGL形式) 関連タグネットワークのファイル(XGMML形式) などが欲しい方は個別にご連絡をー！って、面倒ですよね
Skypeの会議通話をニコニコ生放送する方式を考える - グニャラくんのグニャグニャ備忘録@はてな
Skypeの会議通話を、ニコニコ生放送（やその他インターネット配信）で配信する方法を手探りしているメモです。Windows/Mac両方での方法をメモしたいです。 Windowsではステレオミキサーを使う方法、 Macでは、Soundflowerというソフトを使う方法がよく紹介されます。 これらのツールはPC内で発生した音全てを拾うため、 配信したくない音まで配信してしまいます(エラー音など)。 というわけで、ステレオミキサーやSoundflowerに頼らない方法を紹介します。 やりたいことの概念図 [マイク]-+->[Skype]-+->[モニタ用音声出力(他人の声のみ)] | | +----------+->[配信用出力]->[ニコニコ生放送]Skypeの会議通話を配信するためには、２つの問題をクリアしないといけません。それらの問題について、それぞれ解決方法を紹介します。 問題点1: ニ
Senna 2.0の展望と、Tritonnで問題が発生している人向け情報 - グニャラくんのグニャグニャ備忘録@はてな
Senna 2.0βのリリースが見えてきました。 去年の夏に出すと言っていましたが、紆余曲折あっての現状です。 ライバルのTokyo Cabinet/Tokyo Dystopiaについては、 ストレージと全文検索インデックスを分割する方向性です。 mixi engineer blog 今までのSennaはTokyo Dystopiaに近いものでしたが、 Senna 2.0では逆にHyper Estraierのほうに近づく感じになっています。 それぞれ特色が出て面白いですねー。 今回は転置インデックス部分にもかなり手が入っているので、 Senna/Lucene/Tokyo Dystopiaのパフォーマンス比較もやってみたいと思います。 （とはいえ、パフォーマンス比較はそれぞれのライブラリに精通しないと意味のある情報が出せないので、大変ではありますね…） Senna 2.0 + MySQL 5
MIDIファイルをはてなのメロディ記法やピコカキコに変換する(mid2flmml) - グニャラくんのグニャグニャ備忘録@はてな
ニコニコ大百科でMMLで音楽を投稿できるサービスを始めたはいいが、 MMLって難しいですよねー。 というわけで、MIDIからMMLへの変換をするソフトを作ってみた。 mid2mmlというソフトウェアがあるが、やはりFlMMLとは文法がちょっと違う。 あずねっと mid2mml配布ページ こういうのを書くときにはPythonで。 各種ライブラリが充実しているし、 あとでWin32用のフロントエンドを付けたくなったときもすぐ出来るし。 PythonInMusic 今回は、midi.pyというパブリックドメインなSMFパーサを使いました。 適当にドラえもんの魔境編中盤のnsfをnsf2midiして、それをmid2flmmlで変換してみた。 Ticks->n分音符の変換がやはり難しい。というか、割り切れてないからズレるのは当然だな。 全体を把握してのテンポ調整なんかをしないとダメだなー。 とはいえ
ピコカキコ機能リリース。 - グニャラくんのグニャグニャ備忘録@はてな
ニコニコ大百科でMMLでメロディを書き込める「ピコカキコ」機能をリリースしました。 JASRACと音楽著作物利用許諾についての契約を結んでいるので、 JASRAC管理楽曲についても投稿可能です。 はてなのMML記法(メロディ再生記法)と互換性があるので、 今までに投稿したMMLについても再投稿どうぞー！ (FlMMLを使っているから当たり前ではあるんですが…) JASRACとの契約締結にあたって、 はてなMML部でJASRACに利用許諾申請してみたいのですが の議論が大変参考となりました。ありがとうございました！！ というわけで、頑張ってねー！。わくわく。 http://d.hatena.ne.jp/satoru_net/20080901/1220253796 ちなみに、ピコカキコと同じバイナリは Google codeとCodeReposとlibsparkを回ればビルドできます。
検索エンジンの歴史的意義と未来 - グニャラくんのグニャグニャ備忘録@はてな
弊社森（オラの上司）が大阪市立大学で発表をしてきました。 発表資料は以下からどぞー。 検索エンジンの歴史的意義と未来 発表の前半は、コミュニケーション技術の歴史を踏まえ、 多対1のコミュニケーション技術として検索エンジンを捉える試みです。 発表の後半は、コミュニケーション技術としての検索エンジンが 現在どのような課題を抱えているか、 本来検索エンジンとはどうあるべきか、について語られています。 発表者の森と、 「検索エンジンは情報を減らすための技術だから面白い」と 盛り上がって話した記憶があります。 (ちばてつやの看板がある渋谷の中華料理店で) 大変面白い資料ですので、是非一読をオススメいたします。
ツッコめ！全文検索エンジンSennaの新しいAPIについての素案。 - グニャラくんのグニャグニャ備忘録@はてな
みんな、［Senna-dev 884］のメールは読んだかな！？ 全文検索エンジンSennaの新しいAPIについての素案がついに公開されました。 今までのAPIのほとんどを刷新するという 大改造！劇的ビフォーアフター的API群です（APIの匠）。 んで、この新しいAPI群で何ができるようになるのでしょうか。 簡単に言うと、 「Sennaは、データベースになります！」 といいつつも、全文検索機能を充実させるために、 データベース的機能を強化した、という感じになっておりますぞ。 データベース機能 新しいSennaでは、複数のテーブルというものを持つことができます。 テーブルは、複数のレコードを持つことができます。 レコードは、複数のカラムを持つことができます。 カラムは、ある型のデータを保持します。 一般的なRDBMSの２次元表をまずはイメージしてください。 ポイント1. レコードごとにカラムが
ニコニコ大百科リリース - グニャラくんのグニャグニャ備忘録@はてな
ニコニコ大百科という、ニコニコ動画版Wikipediaとも説明すべきサイトをリリースしました。 5/25 25:25:25公開という設定になっております。 社会人になってから、初めての外部向けWebサイト構築がこれだよ！ ミドルウェア開発が本業（？）なので、 ミドルウェアばっかりに凝ってしまいました…あはは… lighttpd ruby(ほとんどのロジック、Pythonにしとけばよかった… FastCGI経由) MySQL(DBサーバ) Senna(自動キーワードリンク) repcached(セッション保持用memcached、EeePCでLVS frontと一緒に動いている) Tritonn(検索) libeventのevhttp(API用Webサーバ) Varnish(API用WebサーバのHTTPアクセラレータ) 他にも、各ページの閲覧数ランキングのために、Tokyo Tyrantを
グニャラは大変なFlashを描いていきました - グニャラくんのグニャグニャ備忘録@はてな
今週末は2つの勉強会に参加・発表させていただきました！ ステキな発表の場を設けていただいてありがとうございます！！ 両方ともActionScript/Flashについて（？）の発表です。 それぞれ発表資料を公開させていただきます。 Flash + JavaScriptでmemcachedと直接通信 @ さかとくカンファレンス ActionScript3上で、Socketを用いてmemcachedとの通信を行うモジュールを書きました。 さらに、そのモジュールをJavaScriptから呼べるようにしました。 get/setしかサポートしてないですし、 全体的に設計とコーディングが小汚いです。 ちょっと恥ずかしいけど、 CodeReposにアップしているので適当に直してもらえると嬉しいです… プログラム本体・発表資料は以下に置いております。 CodeReposのレポジトリパス 発表資料(PDFで
技術イベントだらけ。 - グニャラくんのグニャグニャ備忘録@はてな
天下一カウボーイ大会が意外と真面目そうなイベントになっている件。 http://onosendai.jp/championship2007/cowboychampionship.html もっとユルい感じだと思っていた。。。 という今日は、WEB+DB PRESS Tech Meetingに行ってきます。 こちらは事前に「堅そう」だと分かっているので安心。 WEB+DB PRESS Tech Meeting｜gihyo.jp … 技術評論社 Soozyカンファレンスのネタも仕上げないと！ http://soozy.org/?SoozyConference4 酒徳カンファレンスで http://labs.unoh.net/2007/12/post_111.html 「FlashのSocket通信を用いたmemcachedとの直接通信」とかを発表したいけど 45分話す内容を準備できそうにない。
WEB+DB PRESS Vol.42にSennaの記事が掲載されます。 - グニャラくんのグニャグニャ備忘録@はてな
WEB+DB PRESS Vol.42にSennaの記事を書きました。 WEB+DB PRESS Vol.42｜技術評論社 今回の記事は、TritonnやLudiaのような他のDBMSを利用するのではなく、 SennaQLという独自のクエリ言語をPHP経由で利用する場合の サンプルコードが載っています。 というわけで、発売までにSennaの新版をリリースしたいところ。。。 間に合うか！いや、間に合わないとマズいぞ。 岡野原さんによるSuccinctなデータ構造＆全文索引の基礎の記事もあるので、 全文検索マニア（？）の人は100冊くらい買うとよいと思います。 ニコ動の記事にもSennaの話がちらっと出ているという噂。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニコニコ大百科開発ブログはじめました。 - グニャラくんのグニャグニャ備忘録@はてな