テキストから意味を読み取るというのは非常に難しく、そのための専用ソフトウェアが存在するほどです。そしてテキスト解析手法の一つとして知られているのが分かち書きです。日本語であればChasenがよく知られています。 kuromoji.jsはそんな分かち書き処理をJavaScriptで行ってしまおうというソフトウェアになります。KuromojiというApache財団のオープンソース分かち書きエンジンをJavaScriptにポーティングしています。 kuromoji.jsの使い方 こちらはデモです。Webブラウザベースで動作しています。nodeでも使えます。 適当な文章をリアルタイムに分かち書きできます。 kuromoji.jsは辞書ファイルをAjaxで取得しています。そのためサイズは大きくなりますが、分かち書きの精度はとても高くなります。サーバサイドで辞書を用意したり分かち書きエンジンを用意する

先日、「428 ～封鎖された渋谷で～」「3年B組金八先生 伝説の教壇に立て!」なんかのアドベンチャーゲームで有名なゲームクリエイター、イシイジロウさんと、出版界で知の巨人とも呼ばれる編集工学研究所の所長、松岡正剛という方の対談がありまして、僕はその対談の司会をしていました。 松岡正剛さんという方は、出版の世界では大変な重鎮なんですが、この方がサイバードのスマートフォン向けゲームアプリ「NAZO」の制作に関わったということで、物語の表現方法の1つとして、ゲームというものに興味を持ってらっしゃいます。で、ゲームで物語を表現してきた、しかも本に近い、テキスト主体の物語をを作ってきた人と言えば、イシイジロウさんの名前が挙がります。 この2人が、本における物語と、ゲームにおける物語について、クロスして話をしたら面白いんじゃないか、というのが対談の趣旨です。 そこでは色んな面白い話がでるんですが、その

「人は食べなくても生きることができる」ー それを証明するために、私が食べない実験を開始したのは、2001年の7月のことでした。実をいうと、なぜこんな無謀なことを始めたのか、自分でもよくわかりませんでした。 私が2014年最大の名著であると睨んでいる「食べない人たち」の中で、著者のひとりである山田鷹夫さんは述べている。山田さんは私と同じ新潟県の出身で、過去に無人島で130日間（！）一切の食物を摂らずに元気溌剌で無事に帰還し、「人は食べなくても生きることができる」ことを実証した。 私は「不食」という言葉があることさえ知らなかった。だからこそ、日本だけでも何も食べないで生きる人達が少なからず存在しているという事実は、極めて衝撃的だった。山田さんは「不食」という概念の生みの親でもあり、同時に、実践者でもある。共著者でもある食べない弁護士・秋山佳胤さんも述べている。 不食とは、食べるのをがまんするこ

この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて

ちょっと趣向を変えてJavaScriptの情報をどうやって集めているかという話を書きたいと思います。 使っているもの Twitter RSS(feedly) Pocket はてブ TwitterはただフォローしてTL見ていたり検索してたまに見ているだけでリストを作ったりはしてなくて暇な時に見ている感じです。 RSSはこれから紹介するようなサイトとかこの人のブログ面白い！というものだけを登録しています。未読が100件増えると消化する気がどんどんなくなっていくので...。 PocketはTwitter、RSSで気になったものを後で読むためにとりあえず突っ込むのに使っています。 こうすることでRSSはすぐに終わるので、その後で時間があればPocketで読みます。 Pocketに溜まった記事はちょっとした合間に読んだりしていて、たまにまとめて読んだりして消化しています。 今見ると20件くらいあるの