はてなブックマーク

• あとで読む

  開発メモ: Adobe RGBの写真を適切に扱う方法

  4 users

  fallabs.com

  sRGBとAdobe RGB デジカメで写真を撮る際には、sRGBとAdobe RGBという二つの色空間を選択できることが多い。色空間とは、RとGとBの3次元空間の個々の座標をどの色に対応づけるかという仕様である（3次元以外の規格もあるが）。詳しくはこちらのサイトが非常にわかりやすい。 たいていのデフォルト設定であるsRGBは、普及品の多くのディスプレイやプリンタで表示できる色を表現するために必要十分な仕様になっている。また、sRGBはJPEGのデフォルトの色空間でもあり、画像を表示するためのほぼ全てのソフトウェアやハードウェアはsRGBのプロファイルを持っている。よって、sRGBの画像データは特別な設定なしに同じ色で表示される。 一方のAdobe RGBは、普及品のディスプレイやプリンタでは出力できないような鮮やかな色も表現できる仕様になっている。Adobe RGBに対応したディスプレイ

  • 学び
  • 2014/05/15 05:56
• あとで読む

  生活メモ: 誕生日プレゼントでMacbookに写真のレーザー刻印をする

  5 users

  fallabs.com

  妻への誕生日プレゼントとして、Macbookの表面にレーザーで写真を刻印したものを作ってみた。その作り方のメモ。 電化製品に特別感を付加 パートナーの誕生日に何か素敵なものを贈りたいが、指輪やネックレスなどのアクセサリーは既に贈ってしまったのでネタに困るということがあるだろう。俺の場合、ちょうど妻が4年前に買ったMacbookの遅さにぼやいていたので、Macbook Proの13インチRetinaモデルを贈ることにした。しかし、同僚にその話をしたところ、「誕生日に電化製品を贈るのはいかがなものか」という苦言をいただいた。家電や日用品は特別感がないので誕生日に相応しくないということらしい。そう言われてみるとたしかにその通りだ。 そこで、特別感を演出すべく、Macbookにレーザー刻印をしてみることにした。それなら特別感もあるし、確実に実用してもらえるし、予算的にもまあ許容範囲内である。俺も以

  • 暮らし
  • 2013/10/08 11:27
• あとで読む

  開発メモ: 顔検出とリキッドリスケールの併用による露出補正

  4 users

  fallabs.com

  前回に引き続き、requid rescaleに基づく主要被写体推定の改良案について述べる。今回はOpenCVの顔検出結果を応用する。 requid rescaleと顔 requid rescaleは、画素間の差異が少ない領域を優先的に削ることで、画像の中の目立った要素を残しつつ、画面のサイズを縮小する手法である。この手法は顔を含む画像と相性が悪い。顔は重要な被写体であるにもかかわらず、肌が滑らかなので、liquid rescaleによって旺盛に削られてしまうからだ。例えば、何も工夫せずに人物写真にliquid rescaleをかけるとこんな風に可哀想なことになってしまう。 主要被写体を抽出するにあたり、顔を捨ててしまってはいけない。人物を写す場合、スナップ写真でもポートレート写真でも、その人物の顔が判別できるように露出を決めるのが一般的であろう。よって、人物が写っている場合にはその顔を主要

  • 学び
  • 2013/04/21 21:17
• あとで読む

  開発メモ: 怠け者のためのデジタル写真自動露出補正ツール

  3 users

  fallabs.com

  今までの実験結果をまとめて、Web上で気軽に使えるCGIスクリプトとして実装してみた。どんな写真でも見栄えがよくなるサービスである。諸事情によりソースは公開できないが、自由に使っていただきたい。 http://fallabs.com/photobinder/demo/correctphoto.cgi 補正の概要 基本的には、我々素人が適当に撮った写真の輝度を適正露出っぽくなるようにしてくれるツールである。白トビや黒ツブレが発生しない程度にコントラストを拡大させた上で、撮影時の被写体の輝度に応じたガンマ補正を行なって全体の印象を調整する。また、一般的なディスプレーで扱いやすくするためにデフォルトで長辺1500にサイズを縮小する。 適当な写真を実際に補正してみてほしい。もともとうまくとれている写真は大して変わらないが、いまいちな写真を補正するとかなりまともになることがおわかりいただけると思う。

  • 暮らし
  • 2013/03/24 20:53
• あとで読む

  開発メモ: KTの更新ログの管理方法

  3 users

  fallabs.com

  非同期レプリケーションなどのHA機能群を備えるKyoto Tycoonだが、そのための更新ログの管理方法についてまとめてみた。 更新ログの仕様 更新ログとは、MySQLではバイナリログに相当するもので、データベースの各レコードに対する更新操作を記録したデータだ。更新ログはファイルの末尾に追加されていくのだが、その書き込み先のファイルは一定のサイズ（デフォルト256MB）毎に切り替えられる。つまり複数のファイルに書かれていくことになる。更新ログの格納先は、ファイル名でなくディレクトリ名で指定し、その中に番号が振られたファイルが作られる。最初は 0000000001.ulog というファイルに書かれ、その次は 0000000002.ulog といった具合である。 更新ログの削除方針 更新ログファイルの数はどんどん増えていくので、いつかは消さないと、ディスクがいっぱいになってしまう。一方で、更新

  • 世の中
  • 2013/02/03 00:50

  • kyototycoon
• あとで読む

  開発メモ: ロック自作による高速化

  4 users

  fallabs.com

  マルチスレッドのロック機構を自作してKyoto Cabinetを高速化したよという話。 背景 以前の記事にも書いたとおり、組み込みのrwlockはmutexに比べても遜色ない速度で動作して素敵なのだが、実はロック処理自体の並列性があんまり高くないんじゃないかなぁと思い始めてきた。というか、pthreadのロック機構は遅い（期待ほど速くない）んじゃないかなぁと感じる今日この頃。 特にspin lock（pthread_spinlock_t）とrwlock（pthread_rwlock_t）が遅い気がしている。プロファイルをとると、Kyoto Cabinetの実行時間の多くをロック回りの処理が占めているので、こいつらを自作のロックに置き換えて軽量化してみよう。pthreadのロックプリミティブはPOSIXの規程に基づいたいろんな機能を備えているが、自分で作れば自分のユースケースに必要な機能だけ

  • 暮らし
  • 2012/11/26 02:01

  • 高速化
  • プログラミング
• あとで読む

  開発メモ: Kyoto Tycoonのバイナリプロトコル

  5 users

  fallabs.com

  Kyoto Tycoonをバイナリプロトコルで通信できるようにして、時間効率を向上させられるようにしたという話。 HTTPの位置づけ Kyoto Tycoonの売り文句の一つは、HTTPで通信して手軽に使えるということである。HTTPは素晴らしい。大抵の言語にHTTPを喋る便利なライブラリが付属しているので、専用のクライアントライブラリを作らなくてもKyoto Tycoonをすぐに使い始められる。データの内容が人間の目で見て判別できるので、デバッグも拡張もしやすい。ロードバランサなどのHTTP用の仕組みを流用して多彩なアーキテクチャを構成できる。 しかし、そのような汎用性の半面、HTTPは非常に冗長なプロトコルになっている。DBMのネットワークインターフェイスとして利用して小さいレコードの授受を行うということを前提とすると、本質的な処理内容に関わるデータは送受信されるデータの半分以下、下手

  • 学び
  • 2012/11/13 16:23

  • kyototycoon
  • http
• あとで読む

  Simple Photo Binder

  3 users

  fallabs.com

  Overview Simple Photo Binder is a system to manage photo albums on your server. It completely automates a series of operations to make your photos viewable through Internet. When you upload photos, they are assorted according to date and you can take a look at them with web browsers. You can complete every operation of registering, editing, managing, and publishing your pictures with a web browser

  • 世の中
  • 2012/11/10 14:22

  • oss
  • photo
• あとで読む

  開発メモ: 自動補正機能付き写真管理サービス

  13 users

  fallabs.com

  スペック上のコスパはFlickerが最強で、機能的にも十分だろう。Picasaは長辺1600px以下の画像はカウントされないので無料のままでも実質的に容量無制限で使うことができる。Eye-fiのデフォルトのデータ送信先であるEye-fiセンターは、無料版だと7日間でデータが消えてしまうし、管理機能があんまりいけてないので有料版を使うのも気が進まない。はてなは妻が使っているが、月に30GB以上もアップロードすることはまず考えられないので、実質Flickerと同等のコスパだと言えるだろう。 ところで、自分でサーバを持っている場合、自分でデータを管理したくなるのが人情ってものだろう。外部のサービスにデータを置くということは、そこの仕様を全面的かつ一方的に受け入れるということであり、自分の好き勝手にはできない。大手と言っても、サービス自体が下火になったり終了してしまうリスクはあるし、突然の仕様変更

  • 暮らし
  • 2012/10/21 19:12

  • データ
  • image
  • photo
  • 写真
  • web
• あとで読む

  開発メモ: アグレッシブだけど白トビしない自動画像補正スクリプト

  8 users

  fallabs.com

  室内や日陰で撮った写真が期待より暗くなってしまうという失敗をバッチ処理で修正する方法について模索する日々だが、かなり実用的な方法が実装できたので紹介してみる。 トーンカーブの手動修正 何も考えずにオートで写真を撮ると、室内や日陰だと以下のような暗い写真ができ上がってくることが多い。サングラス越しに見ているような陰鬱な感じだ。 このような暗い写真は、PhotoshopやGIMPで開いてヒストグラムを確認すると、ハイライト側が完全に開いてしまっていることがわかる。これを修正するには、山の右端が最も明るくなるように、トーンカーブの右肩を天井にくっつけてあげればいい。

  • 暮らし
  • 2012/10/11 11:12

  • imagemagick
  • 画像
• あとで読む

  開発メモ: KTのレプリケーション諸機能

  4 users

  fallabs.com

  Kyoto Tycoonのレプリケーション関連の細かい機能や設定方法についてメモっておく。 最新版 Kyoto Cabinet 1.2.26とKyoto Tycoon 0.9.11をさっきリリースした。前者は単なるリファクタリングだが、後者は結構機能追加した。主にレプリケーション関連のユーティリティを足してある。あとついでに、古めのLinuxカーネルでepollのEPOLLRDHUPがサポートされていない問題にも対処してある。 動的レプリケーション設定 RemoteDBクラスにtune_replicationというメソッドが加わって、稼働中のサーバに対して、レプリケーション先の設定を変更できるようになった。これはデュアルマスタ環境にて無停止でフェイルオーバを行うのに必須の機能である。もちろん、この機能をコマンドライン（ktremotemgr tunerepl）で呼び出せるようにもしてある。

  • 暮らし
  • 2012/07/12 22:05

  • KyotoTycoon
• あとで読む

  開発メモ: オリジナル英単語帳を作って語彙学習を効率化するツール

  16 users

  fallabs.com

  自分がまだ習得していない語に絞った英単語帳を作成して、効率的に語彙力を強化することができるツールを作ってみた。難易度別の英単語が次々に表示されるので、意味を確認しつつ、苦手なものにマークをつけて行く。マークをつけたもの一覧を印刷すれば、あなたの苦手な語に絞った英単語帳のできあがり。 背景 英語で書かれた新聞や雑誌やWebサイトを読みこなすために、最低限覚えておかなければならない語彙の水準がある。上級者は毎日それらのコンテンツを読むことで語彙の維持と強化ができるのだが、中級者以下だとそうはいかない。楽しく英文を読めるという段階にまだ達していない我々は、単語集を使って最低限の語彙セットを身につける作業と、実力に見合った英文を読む作業を並行して行なっていくのが一般的だろう。 単語集を使うと必要な語彙を網羅的に記憶していけるが、それだけだと様々な文脈に合わせた実際の使い方を習得することができない。

  • 世の中
  • 2012/07/06 02:08

  • english
  • tool
  • web
  • 語学
  • language
  • まとめ
• あとで読む

  英語力年齢診断

  10 users

  fallabs.com

  あなたの英語の語彙力は、ネイティブスピーカの何歳に相当するでしょうか？ 20問のクイズで診断してみましょう。

  • 学び
  • 2012/05/08 03:00

  • english
• あとで読む

  開発メモ: 和英辞書の高精度なサジェスト検索を作った

  8 users

  fallabs.com

  英辞郎から作った和英辞書にWordNetを組み合わせて、精度と再現率の双方を向上させたという話。 和英辞書の課題 日本人が英和辞書を引く時には、所望の単語の綴りがわかっていて調べる場合がほとんどなので、精度も再現率もほぼ100%である。言葉の定義や用法の説明の良し悪しが辞書の優劣を決めることになるだろう。一方で、和英辞書を引く時には、検索語としてどんな言葉を選べばよいか迷うことが多く、結果として不適切な言葉を引いてしまったり、所望の言葉が見つけられなかったりすることがある。つまり、和英辞書では精度や再現率が課題となり、それが辞書の使用感の優劣に大きく影響することになるということだ。 今回の開発のそもそもの発端は、英辞郎を転置して作ったEngHelperの辞書検索ツールで「叫ぶ」という言葉を前方一致検索した時に「scream」が出てこなかったことである。英辞郎における「scream」の訳語は

  • テクノロジー
  • 2012/04/22 20:12
• あとで読む

  開発メモ: Kindle用のフリーの英和辞書を作った

  68 users

  fallabs.com

  WordNetのデータを使って、Kindleで利用できるフリーの英和辞書を作ってみた。ここで言うフリーとは、無料かつ誰かに特別な許可をとることなく再配布したり改変したりできるということである。 ダウンロード 以下にデータを置いておく。これをUSB経由かネット経由でKindleに転送すれば辞書として利用できるようになる。 wordnet-ja.prc 背景 ここのところ、EngHelperプロジェクトで英辞郎を使ったKindle用辞書を作っていたのだが、ライセンスの制約上、生成したデータの再配布はできない。手前味噌ながら、EngHelperの辞書の使い勝手はかなり良いのだが、より手軽にKindle上で英和辞書を試したいという人達のために再配布可能な辞書を作ろうと思い立った。で、WordNet日本語版を使うとそこそこうまくできそうな気がしたので、実際やってみた。 WordNetはプリンストン大

  • テクノロジー
  • 2012/04/15 03:13

  • kindle
  • 英和辞書
  • english
  • 辞書
  • dictionary
  • 英語
  • wordnet
• あとで読む

  開発メモ: アトミック演算の性能

  4 users

  fallabs.com

  GCC拡張のロックフリーなアトミック演算機能と、自分でロックしてアトミックに演算するのとではどれくらい違うかを実験してみた。 TCやKCでのユースケース TCやKCのデータベースオブジェクトでは、ファイルサイズやレコード数をメタデータとして保持している。それらの更新（主に加算）をする操作は頻繁に行われるので、なるべく処理効率を上げたい。 いわずもがな、変数の更新を行うという操作をミクロ視点で見ると、既存の値をメモリから読み出して、その値に対して演算を行って、それをメモリに書き戻す、という3ステップからなる。普通に「+=」演算子などを使うとそれら一連の操作群がアトミックに行われる保証はないので、mutexなどを使ったクリティカルセクションで一連の操作群を包むのが一般的である。 しかし、変数の値を加算するという操作ごときにわざわざロックのオーバーヘッドが伴うのは嫌な感じである。ところで、上述の

  • 暮らし
  • 2012/03/23 21:31
• あとで読む

  開発メモ: 和英辞書の高精度化

  3 users

  fallabs.com

  英和辞書である英辞郎を使って使いやすい和英辞書機能を作ったという話。EngHelperの辞書検索ルールで実装している。 和英辞郎 英辞郎をには和英辞書として和英辞郎というデータがついているが、これは英辞郎のデータを転置したものをベースとして、多少人間が編集を加えたものらしい。例えば、英辞郎において「波動」を訳語を含む見出し語は以下のものである。 fluctuation [名] 波動、〔波のような〕振動 pulsation [名] 脈拍、拍動、脈動、動悸、波動、振動 surge [名] 大波、うねり、高潮、波動 undulation [名] 波動、うねり、振動、音波、光波、動悸 wave [名] 波動 そして、和英辞郎において「波動」という見出し語の内容は以下のものである。 波動 : fluctuation●pulsation●surge●undulation●wave ということで、たまに

  • 学び
  • 2012/03/23 20:44

  • NLP
  • english
• あとで読む

  開発メモ: 編集距離による曖昧検索

  6 users

  fallabs.com

  英和辞書の曖昧検索を実装したという話。それにあたってDB層で編集距離による絞り込みを実装している。 image:1:1331519319-spelling.png 曖昧検索 二つの文字列があったとして、一方をもう一方と一致させるために何回の編集操作が必要かという尺度を編集距離といい、それは二つの文字列の類似性を測るのに利用することができる。最も典型的なのはレーベンシュタイン距離である。 スペルミスをしてしまった場合に最も似た候補を出力してくれると英和辞書の機能としては嬉しい。というか俺はスペルミスをしまくるので俺にとっては必須の機能である。入力されたクエリから数文字分ずれていても検索できる曖昧検索機能が欲しいということだ。EngHelperの辞書機能にもそれを搭載しておきたい。 LとRの区別がつかない日本人としては、「english」を探そうとして「engrish」とか入力しがちである。そ

  • 暮らし
  • 2012/03/12 12:18

  • 自然言語処理
  • NLP
  • algorithm
  • 機械学習
  • search
  • 検索
• あとで読む

  開発メモ: ハッカー養成塾！: はじめなきゃ はじまらない

  3 users

  fallabs.com

  この記事は、オープンソースマガジン2006年4月号の連載「ハッカー養成塾！」に寄稿した記事の校正前の版です。 講師履歴書 名前 : 平林 幹雄 所属 : 某OA機器メーカ勤務 アクセス : http://qdbm.sourceforge.net/mikio/ プロフィール : 1978年2月11日生まれ水瓶座O型。動物占いはタヌキ。NHK教育の「ピタゴラスイッチ」が大好き。特番かなんかでヒープソートやBツリーを取り上げてくれないかと妄想中。 オープンソース開発やろうぜ 最近になってハッカーの人達と仲良くしてもらえるようになり、おこがましくも本誌に記事を載せてもらえるまでになってしまった。でも、僕自身はいわゆるハッカーの典型とはかけはなれた存在だ。数学が苦手で因数分解もできないし、学校で計算機科学の教育を受けたこともないし、PCの自作や収集にも全く興味がないし、ハッカー達のイベントで活躍する

  • 学び
  • 2012/03/05 23:55

  • オープンソース
• あとで読む

  開発メモ: EngHelper version 0.5

  8 users

  fallabs.com

  ここ数ヶ月間コツコツ作ってきた辞書ユーティリティを集大成して、EngHelperというオープンソース製品として公開した。Web上の英和辞書と任意のWebコンテンツに和訳ルビを振るシステムを連動させる。辞書の作成手順も大幅に簡略化した。プログラムのインストール方法や使い方については以下のプロジェクトページを作ったので、そちらをご覧いただきたい。 http://fallabs.com/enghelper/ ---- 使い勝手 和訳ルビ振りシステムに関しては、多分、TOEIC600点から900点くらいの人には嬉しいシステムになっていると思う。600点以下の読解力の人は単語の意味だけわかっても複雑な英文を読むことができないので、先に単語集をやった方がいいだろう。一方で、900点以上の読解力の人にとっての難解語はルビの和訳で理解できるものではなく、個別に辞書を引いた方がいいということになる。そんなわ

  • 学び
  • 2012/03/05 09:31

  • english
  • ツール
• あとで読む

  EngHelper: 英文読解補助ツール群

  28 users

  fallabs.com

  これは何？ 背景 英辞郎の加工 辞書検索ツール 英単語学習ツール Kindle用辞書データ 英単語和訳ルビ振りツール eijiroconv.rbの仕様 権利と連絡先 これは何？ EngHelperは、日本語を母国語とする英語学習者が英文を読む際に役立つツール群です。以下の4つの機能を提供します。 Webブラウザ用の英和・和英辞書検索システム 学習者向けに最適化して見やすさと精度と機能性を追求した辞書。読解と英作文の友達。 Webブラウザ用の単語学習システム 単語リストを閲覧しながら未知語を拾って独自の単語帳を作る。語彙力の維持と強化の効率化。 電子書籍リーダ用の英和辞書データ Kindleで英文を多読したいけれど、付属の英英辞書だとちょっと辛いという場合に。 英単語和訳ルビ振りシステム 辞書を引くのすら面倒なあなたに贈る究極の英文読解補助ツール。 本システムは辞書データとして英辞郎を用いま

  • テクノロジー
  • 2012/03/05 07:46

  • english
  • tool
  • アーキテクチャ
  • 英語
  • 研究
• あとで読む

  開発メモ: KCのRubyバインディングの並列化

  7 users

  fallabs.com

  Kyoto CabinetのRubyバインディングの使い方については以前の記事で説明してあるが、今回はそこで触れていた並列化をやってみたという話。 Ruby 1.9のスレッドモデル Ruby 1.9のマニュアルには以下のように書いてある。 ネイティブスレッドを用いて実装されていますが、現在の実装では Ruby VM は Giant VM lock (GVL) を有しており、同時に実行されるネイティブスレッドは常にひとつです。ただし、IO 関連のブロックする可能性があるシステムコールを行う場合には GVL を解放します。その場合にはスレッドは同時に実行され得ます。また拡張ライブラリから GVL を操作できるので、複数のスレッドを同時に実行するような拡張ライブラリは作成可能です。 ということは、DBMの操作をGVLを外してから行ってあげれば、DBMの操作同士およびDBMの操作とRubyコードの

  • 学び
  • 2012/02/26 19:53

  • ruby
  • concurrent
• あとで読む

  開発メモ: Wikipedia日本語版で英辞郎を鍛える

  4 users

  fallabs.com

  Wikipedia日本語版をMeCabで解析して作った頻度DBで、英辞郎の説明文を並び替えることでポップアップ辞書への最適化をさらに推進してみた。 背景 Kindleで使える英和辞書を作っている。元ネタとしては英辞郎を利用し、収録語の選別をCOCAとWikipedia英語版から作ったN-gram頻度DBで行い、WordNetで品詞を補完したところで、かなり実用性の高い辞書ができた。とはいえ、人間の欲は限りなく、使い込むほどに改善点が浮んでくるものである。 一つの語が複数の意味を持っている場合、一般的によく使われる順に並んでいてほしい。ポップアップ表示した際の表示文字数は限られているため、最初の方に特殊な用法が並べられると、そのビューでは意味が把握できない。ポップアップの中にある「show full description」ボタンを押せば全部の意味を見ることができるが、そこに時間をかけではポ

  • 世の中
  • 2012/01/28 18:29

  • 自然言語処理
  • 辞書
  • wikipedia
  • 研究
  • Ruby
• あとで読む

  開発メモ: memcachedとKyoto Tycoonの空間効率

  7 users

  fallabs.com

  Kyoto CabinetおよびKyoto Tycoonに新たに導入された「StashDB」を使うとmemcachedよりも空間効率を向上させられるという話。 StashDBとは 前回の記事で説明したように、Kyoto CabinetではローカルMapReduceのキャッシュとしてTinyHashMapというクラスを実装して省メモリ化を図っている。丁寧にシリアライズしてデータを詰めていくとかなりメモリを節約できるものなのだ。 同じ構造をDBMのインターフェイスで実装したのがStashDBである。ProtoHashDB, ProtoTreeDB, CacheDB, GrassDB, HashDB, TreeDB, DirDB, ForestDBに続く第9番目のDBMということになる。もちろん、マルチスレッドセーフにして、レコード単位の粒度でロックを施して一貫性を確保し、VisitorやCur

  • 世の中
  • 2012/01/21 21:54

  • KyotoTycoon
  • memcached
  • db
• あとで読む

  開発メモ: 英単語自動辞書引きルビ振りシステム

  14 users

  fallabs.com

  英文中に含まれる難しめな単語の意味（和訳）をルビとして自動的に付与するシステムを模索している昨今である。そのプロトタイプの実装を紹介する。現状で精度はまだまだだが、方向性としてはいけてるんじゃないかと。 背景 前回までの記事では英辞郎を使ってKindle用の辞書を作り、大変満足している。おかげで、新聞や技術書などの論理的・説明的な文章は比較的容易に読めるようになった。俺って結構いけてんじゃんと思ったものだ。 しかし、依然として、小説などの凝った文章や気取った文章は読みづらい。なぜなら、未知語が鬼のように出てくるからだ。圧倒的に辞書が引きやすいKindle Touchですら、単語を指定して意味を読み終わるまでにトータルで5秒はかかってしまう。辞書を引けば意味はわかるが、苦労して意味を拾いながら読んでも小説の類は全く面白く感じないというのが問題である。ピーターパンやトムソーヤなどの児童文学です

  • 学び
  • 2012/01/21 01:10

  • ruby
  • 辞書
  • 英語
  • english
• あとで読む

  開発メモ: WordNetで英辞郎を補完する

  5 users

  fallabs.com

  英辞郎の野良Kindle版を作るにあたり、WordNetのデータを使ってデータの質を向上させてみたら、なかなかうまくいった。品詞タグの補完と収録語の再選定ができた。 英辞郎の品詞タグ 英辞郎の収録語には動詞や名詞などの品詞がタグとしてつけられていてとても便利である。例えばこんなのだ。 drug [名] 麻薬、薬物、覚醒剤、ドラッグ [名] 薬 [自動] 薬物中毒である、麻薬漬けになっている [他動] ...に薬を飲ませる、麻酔をかける、（人）に薬を盛る［一服盛る］ ただ、残念ながら、全ての収録語に付けられているわけではない。マイナーな語や熟語や慣用句には付いてないことが多い。人間が読む分には品詞タグがなくても説明文から品詞を推定でないことはないが、やっぱりタグ付けしてあった方が一目で理解しやすい。Kindleのポップアップ辞書として使うならなおさらだ。また、機械がデータを使う場合にも品詞タ

  • 暮らし
  • 2012/01/14 00:33

  • 自然言語処理
  • english
  • 研究
• あとで読む

  開発メモ: WikipediaのN-gram頻度DBを作る

  26 users

  fallabs.com

  Wikipedia英語版の本文中に出てくる単語の5-gramまでの組み合わせの頻度を数えてみた。全部で10億N-gramくらい処理した。 背景 英和辞書の収録語を選定するにあたり、単語N-gramの出現頻度を知っておくことが重要だ。前回の記事ではCOCA（Corpus of Contemporary American English）のN-gram頻度DBを利用したが、その他の選択肢も検討してみたい。COCAは口語とフィクションと雑誌と新聞と学術論文をバランスよく選定していると主張していて、確かに俺が知っているような英単語・熟語は大抵網羅されている。が、コーパス自体を自分で入手して前処理できると各種のチューニングができて嬉しいこともあるだろう。 で、簡単に手に入る大量のコーパスといえば、Wikipediaの記事である。Wikipediaの方が偏りがひどいという話もあるが、一般人が書く英語と

  • テクノロジー
  • 2012/01/07 12:18

  • Wikipedia
  • N-gram
  • NLP
  • Corpus
  • 自然言語処理
• あとで読む

  開発メモ: オンメモリB+木による省メモリ連想配列

  4 users

  fallabs.com

  Kyoto Cabinet 1.2.2から加わったGrassDBは、オンメモリでページ管理を行うB+木を実装してメモリを節約しちゃう仕組みである。それを使ってJava、Python、Ruby、Perlなどのハッシュ（連想配列）機構を鬼のように省メモリにしてみる。頑張ればなんと20分の1になる。 前提 B木やその変種のB+木などは、キーの順序が近いレコード群を「ページ」という単位にまとめてシリアライズしてストレージに書き込むことで、入出力の頻度を減らして高速化することを意図している。メモリに比べて低速なストレージの上で大量のデータを管理するために使われる。多くのRDBMSやいくつかのDBMがB+木をサポートしているのはそれが理由であろう。一方で、メモリ上で検索可能なデータ構造を表現するためには、二分探索木やその特殊例である赤黒木が使われる。STLのstd::mapの実装にも赤黒木を使うのが一

  • 世の中
  • 2012/01/04 16:06

  • algorithm

次のページ