第1回 memcachedの基本 | gihyo.jp
株式会社ミクシィ 開発部 システム運用グループの長野です。普段はミクシィのアプリケーション運用を担当しております。今回から数回にわたり、最近Webアプリケーションのスケーラビリティの分野で話題になっているmemcachedについて、弊社開発部 研究開発グループの前坂とともに、使い方や内部構造、運用について解説させて頂きます。 memcachedとは memcachedは、LiveJournalを運営していたDanga Interactive社で、Brad Fitzpatrick氏が中心となって開発されたソフトウェアです。現在ではmixiやはてな、Facebook、Vox、LiveJournalなど、さまざまなサービスでWebアプリケーションのスケーラビリティを向上させる重要な要素になっています。 多くのWebアプリケーションは、RDBMSにデータを格納し、アプリケーションサーバでそのデータ
Lingua::LanguageGuesser はいかにして生まれたのか
言選Webは東京大学情報基盤センター中川研究室で公開している 専門用語（キーワード）自動抽出サービスです。 このシステムは内部で、専門用語（キーワード）自動抽出Perlモジュール"TermExtract"を活用しています。 特に西欧言語版では英語だけではなく、フランス語、イタリア語などの用語抽出を行うことができます。 しかし、入力テキストがどの言語で書かれているか判定する仕組みをもたず、ユーザがその都度指定する必要がありました。 そこで、入力テキストがどの言語で書かれているか、自動判定する仕組みを新たに考えることになった次第です。 言語判定を行う方式を調べたところ、いくつかの手法があることがわかりました。 N-Gramモデルを用いたテキストの分類器を使う 各言語で頻出する単語や特徴的な単語があるかどうかで判定する アクセス先サイトのURLから国名を得る HTMLのMETAタグの記述を確認す
HTMLをスクレイピングして解析(パース)する - まるさんかくしかく Tech学習と入門ログ
Twitter Facebook B! Bookmark LINE Pocket Feedly HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。 PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。 以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。 PHPでスクレイピング＆パース HTMLを整形式のXML文書に修正するPHPクラス HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動
顔にエフェクトをかけてプライバシーを守るWebサービスの作り方
最近、OpenCVを使った顔認識が流行っているようです。 顔認識ができるということは、アレができるわけです。 「顔にモザイク！」 Web上で写真を公開するときは、プライバシーを守る必要があるため、顔は隠しておいた方が良い場合があります。 そんな時に、「顔にエフェクトをかけるWebサービス」があれば便利です。 例えば、こんな風に… （spiritlooseのはてなダイアリーさんの写真を使わせてもらいました） というわけで、今回は「顔にエフェクトをかけてプライバシーを守るWebサービスの作り方」をまとめてみます。 1.OpenCVインストール 2.Image::ObjectDetectインストール 3.OpenCV、Image::ObjectDetectのインストールにつまいたとき 4.Imagerを使いこなす 5.顔を塗りつぶすサンプルプログラム 6.顔に特定の画像を貼り付けるサンプルプログ
Yet Another Hackadelic - Note of MogileFS #03 - MogileFS Serverのインストール(覚書)
はじめに まだ勉強中なんで内容は物凄い無保証です。ｗ あと基本的にSixApartではDebianでの動作が多いらしいのでDebian使いの方は少し幸せかもしれません。 それとziguzaguさんの記事を非常に参考にさせて頂きました。この場を借りてお礼申し上げます。 下準備 とりあえずMySQLは必要です！ 今回はtrackerはhttpセットアップとします。 As we've said, MogileFS can use NFS or HTTP, but we highly recommend an HTTP-based setup! Linux NFS is horrible and we've experienced no end of lowmem problems, file corruption (4k pages of zeros), and NFS server probl
MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
読みは「モジャイル」かな？ まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N
Six Apart - Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理
酒井です。今回は MogileFS の Client API について簡単に紹介したいと思います。また、MogileFS 内でのファイルのノード管理方法についても少し触れてみたいと思います。 MogileFS::Client で利用できる機能 MogileFS::Client モジュールが Perl の Client API ライブラリです。PHP や Java を利用した Client API ライブラリもあるようですが、配布物に含まれているのは Perl の API のみです。 現在の最新バージョン（revesion 421）では以下のメソッドが利用可能です。 コンストラクタ new({ host, domain, timeout }) tracker の IPアドレス/ポート番号 (host)と、MogileFS の domain を指定し、インスタンスを生成します。 ファイル操作系
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
ゆーすけべー日記: YourAVHost その後
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
CodeRepos::Share – Trac
Fuse::Hatena - Hatena FileSystem About はてなダイアリー、グループなどの日記エントリーをファイルシステムとしてマウントするPerlモジュールです。 Download svn export http://svn.coderepos.org/share/lang/perl/Fuse-Hatena/trunk/ Fuse-Hatena Usage 起動 (マウント) ./bin/hatenamount --username {username} {mountpoint} 以上のコマンドにより、{username} のアカウントのエントリーなどが {mountpoint} 以下にマウントされます。 {mountpoint} 直下には d や g などのディレクトリができます。これらはそれぞれ d.hatena.ne.jp, g.hatena.ne.jp と結び
Perl で作る画像類似検索システムの考察
今日はとてもショッキングな出来事がありました。あまりにショックがでかいので何かに没頭しなければ気が紛れそうにありません。と言うわけで全く専門分野でもないし当面使う予定もないのですが、１年ほど前にちょっと気になっていた画像の類似検索についていろいろ調べてみました。 どうやら ImgSeek ってソフトが結構有名らしいです。最新バージョンは 0.86 で Linux Only です。１つ前のバージョン 0.85 は Windows binary があります。 過去にいくつか画像類似検索ソフトを試したような記憶がありますが忘れてしまいました（vector でも結構類似検索ソフトありますね）。まずは windows binary 版をダウンロードしてきて実行してみました。 それなりに使えそうな予感がします。Linux 向けの imgSeek-0.8.6.tar.bz2 をダウンロードしてインストー
livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
仙石浩明の日記: オープンソース版 VPN-Warp リレー サーバ (Perl POE を使って実装)
「Perl の非同期I/Oモジュール POE を使って VPN-Warp relayagent を書いてみました」に 続いて、 同じく POE を使って VPN-Warp リレー サーバも書いてみました。 これで、オープンソースだけを使って VPN-Warp を実現することができます。 今までも、 BIGLOBE の VPN ワープのページから証明書を取得すれば、 月額 525円で VPN-Warp を試してみることはできたわけですが、 ちょっと試してみたい場合など、 有料であることがネックである感は否めませんでした。 特に、 常日頃からオープンソースを使いこなしている方々だと、 ちょっと使ってみたいだけなのにお金を払うのはねぇ、 と思ってしまうのではないでしょうか。 かくいう私も、 無料「お試し版」のサービスやソフトウェアに慣れきってしまっているので、 試しに使ってみようとする場合に、
キーワード抽出モジュール Lingua::JA::Summarize を使うコツ (nakatani @ cybozu labs)
いわゆる「Web2.0」っぽい要素である「タグ」。 一般にはタグ付けは手動で行うわけですが、自然言語テキストへのタグ付け(キーワード抽出)を自動で行うことができれば、あれこれと可能性が広がって楽しそう……しかし、それは実現が難しかったり高コストだったりして、簡単に手を出せる解はあまりありません。 ラボの奥さんの作成したキーワード抽出モジュール Lingua::JA::Summarize は次の特徴を持っています。 動作要件の敷居が低い 辞書のメンテナンスをしなくても、未知語や熟語もある程度抽出してくれる 希望の結果に近づけるためのチューニングが可能 本モジュールを使って、サイボウズ・ラボ内での情報交換を行っている社内掲示板をスレッド単位で解析しているのですが、辞書を一切チューニングしていない状態でも「しょこたん☆ぶろぐ」や「猫かぶり隊隊員ニャンコ達」などの特徴的なキーワードが抽出されます（
HTML::TreeBuilder::Selectがウマーな件 - 日向夏特殊応援部隊
以前、id:naoyaさんのd:id:naoya:20061006:1160134639にて「HTML::TreeBuilder + CSSセレクタがいい感じな件」ってエントリがあったんですが、まさにそのコンボとなるモジュールがリリースされてました。 HTML::TreeBuilder::Select 例えばtext-vimcolorの出力の中でsynIdentifier扱いされるブロックで変数と思しき物だけvar要素に置換して、出力するなら下記みたいなソースになる。 #!/usr/bin/perl use strict; use warnings; use HTML::TreeBuilder::Select; my $html; read(STDIN, $html, -s *STDIN); my $tree = HTML::TreeBuilder::Select->new; $tree-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Query: Active Repositories
mogilefs
Efficient data transfer through zero copy
Efficient data transfer through zero copy