Ruby + Mecab で日本語テキストから頻出キーワードを抽出する
こんにちは。Sleipnir Mobile for Android 開発担当の西田です。 最近 Android アプリで、日本語テキストから頻出キーワードを抽出したいなあ等といったことを考えており、ちょっと調べてみました。 まずは 日本語の形態素解析ライブラリの Mecab を使おうと思いつくわけですが、これをアプリに組み込むにはちょっと辞書のサイズが大きすぎる感じです。(50MB 以上！）なのでどっかのサーバーで API を用意してやるのが良さげな感じです。 Mecab には各種スクリプト言語のバインディングが用意されているので、今回は Ruby でやることにしました。 まずは Mecab + Ruby バインディング + 辞書をインストールします。Ubuntu 10.04 だと以下のようなコマンドでインストールできます: sudo aptitude install ruby1.9.1
震災直後、中学生がネットでニュース違法配信 ＮＨＫは黙認 （産経新聞） - Yahoo!ニュース
３月１１日の東日本大震災発生直後、大津波警報が赤く点滅するＮＨＫのニュース画面を見ながら、広島県に住む中学２年の男子生徒＝当時（１４）＝は「この画面をネットに流したら、助かる人がいるんじゃないか」と考えた。 その瞬間、脳裏を懸念と不安が駆け巡った。「相手はＮＨＫ、あとでどうなるか」。手持ちのｉＰｈｏｎｅ（アイフォーン、高機能携帯電話）を使って動画投稿サイト「ユーストリーム」で配信した経験もほとんどなかった。しかし、母親が阪神大震災の被災者だったことが、少年の背中を押した。「今、東北には自分よりも不安を抱えている人がものすごい数いるんだ。自分がやらなければ」 配信を始めたのは、最初の大きな揺れから１７分後の午後３時３分。ミニブログのツイッターを介し、「ユーストリームで地震のニュースを見られる」という情報は、またたく間にネットを駆け巡った。 配信に気付いたユーストリーム・アジアの担当者は
YAKINIQUEST - ヤキニクエスト やきにくえすと 焼肉
焼肉を愛する皆様へ 早いもので、サイト「YAKINIQUEST」の開設からまる10年が経ちました。 この間、私達は他の食べ物には目もくれずに全国の焼肉屋のべ1500軒超を食べ歩きつつ、「焼奥義」に代表されるような、焼肉をより楽しむための方法を探究してきました。 一方、おかげさまでYAKINIQUESTは多くの方にご覧いただくサイトへと成長し、出版や各種メディア、イベントへの出演など身に余る機会を数多く与えていただきました。 また嬉しいことに、そうした舞台に上がるに足るだけの準備をしようとした積み重ねが、通常であれば学び得なかったような知識や見解を得ることにもつながりました。 サイトを見て下さった皆さんのおかげで、私達の焼肉への愛もますます深まっていったのです。 この10年間の経験を通して確信したことがひとつあります。 それは「焼肉は日本を代表する食文化の一つだ」ということです。 焼肉の誕生
Ruby+MeCab+MySQLでスクリプト書いた
今日は夜勤前の調整日(徹夜して身体のリズムを変更する日)だったので、第5回北海道開発オフの熱気が冷めないうちにプログラムに打ち込んでみました。真剣にプログラムに打ち込むと時間の経つのは早いもので、あっという間に朝です。しかし久しぶりにSQLを弄ったのですが、忘れていることが多くてショックでした。やはり勉強は継続していかないとダメですね。 さて、今日はTwitterのArchiveをMeCabで形態素解析を行い、結果をMySQLのテーブルに保存するスクリプトを作りました。 (1)MySQL本体と、RubyからMySQLを使うためのlibmysql-rubyのインストール。 $ sudo aptitude install mysql-server mysql-client libmysql-ruby (2)初期ユーザroot/パス無しで使ってみる。 $ mysql -uroot Welcome
単語の出現頻度を求める --- 興味語の抽出は簡単じゃありませんよ ---
日本語文章から、単語の出現数を数えるためには、文章から単語を抽出しなくてはいけません。すなわち分かち書き（単語の間に空白などを入れる）しないといけません。 本来ならば、分かち書きは大変な作業ですが、MeCab (和布蕪)やChasen(茶筌)などといった形態素解析ソフトがありますので、これの出力を使うと簡単です。形態素解析（ソフト）は、入力文を単語単位に分割し、かつその品詞を与えてくれます。 PerlやRubyなどのスクリプト言語のモジュールとして、提供されていることもあります。ですが、たいていの場合そのようなモジュールを使わなくても、簡潔さを損なうことなく記述することができます。(*1) (*1) 本格的に解析している人は除きます。多くの人が「分かち書き＋品詞を知りたいくらい」だろうと想定しています。 まず分かち書き まず、日本語文章を分かち書き形式に変換しないといけません。分かち書きす
MySQL GUI Tools - 脱・下流エンジニア (仮)
インストール http://dev.mysql.com/downloads/gui-tools/5.0.html から，Mac OSX downloads の MAC OSX 10.4 (Universal binaries) 5.0-r12 を選んでDLする．Leopardでも問題なく動きます． mysql-gui-tools-5.0-r12-osx10.4-universal.dmg 以下の2つのツールがインストールされる． MySQL Administrator MYSQL Query Brouwser 設定 MySQL Administrator を起動して，Connection設定をする．MoreOptionsを開いて，Socketの設定をすること． Server Hostname : localhost Port : 3306 Username : root Password
MacでWeb開発-(1) XAMPP for Macの環境設置
Webアプリケーションの開発＆運用環境の定番である、「Apache + PHP + MySQL」の環境を簡単に構築できるのが「XAMPP」。Windows版、Mac OS X版、Linux版がある。 ここではXAMPP for MacOS Xのインストールと起動、設定方法を紹介する。 現時点で最新版は、XAMPP for Mac OS X Ver.0.7.2。以下のソフトが含まれている（抜粋）。 Apache 2.2.8（Webサーバ） PHP 5.2.5 （アプリケーション実行環境） Perl 5.10.0 + mod_perl 2.0.3 （アプリケーション実行環境） MySQL 5.0.51 （データベースサーバ） phpMyAdmin 2.11.4 （MySQLのGUI環境） SQLite 3.4.0 （データベースサーバ） phpSQLiteAdmin 0.2 （SQLiteのG
福島 避難区域で餓死の疑い NHKニュース
東京電力福島第一原子力発電所の事故で設定された福島県の避難区域内で、自宅などに取り残されて餓死した疑いの強い人が少なくとも５人いることがＮＨＫの取材で分かりました。 警察や遺体の状況を調べた医師は、自力での避難や助けを求めることができず、取り残された可能性があると指摘しています。 やせ細った状態で 東日本大震災で、福島県内では津波による「溺死」やがれきに巻き込まれて１６０５人が亡くなっています。 ＮＨＫが、福島県内の自治体や警察などに取材したところ、こうした人たち以外にも、原発周辺の避難区域内の自宅やその周辺で、自力では逃げることができず、食事や水をとれないまま餓死した疑いの強い人が少なくとも５人いることが分かりました。 このうち原発からおよそ５キロの住宅では、去年３月下旬、７０代の男性が２階部分で遺体で見つかりました。 関係者によりますと、住宅は１階が津波の被害を受けていたということです
福島 フクシマ ＦＵＫＵＳＨＩＭＡ 原発収束作業の現場から ある運動家の報告
（車両のサーベイを受けている。サーベイに当っているのは、中国電力から応援にきた放射線管理員。Ｊヴィレッジ・除染場） 反貧困の社会運動に長年とり組んできた大西さん（仮名）が、現在、福島第一原発と第二原発の事故収束作業に従事している。 その大西さんから、昨年末から今年２月にかけて、お話を聞いた。 〔インタビューはいわき市内。掲載に当たって、特定を避けるための配慮をした。〕 お話が多岐にわたる中で、編集上、４つの章に整理した。 【Ⅰ】【Ⅱ】【Ⅲ】では、高線量を浴びる現場で、放射線管理員として作業に携わっている状況の報告。被ばく労働、雇用や就労、地域との関係などの実態が語られている。 【Ⅳ】では、原発労働者の立場から、反原発・脱原発の運動の現状にたいして、鋭角的な問題提起が行われている。 事故収束作業に従事する労働者へのインタビューや、ライター自身が中に入るという形で書かれたルポはある。しかし、原
テクノロジー : 日経電子版
電気自動車（EV）にコネクテッド（つながる）、自動運転――。新技術を搭載するクルマが続々と登場しているが、大ヒットを記録しているものは少ない。どうすれば普及期に突入できるのか。 「…続き エコカーに「無関心の壁」 米自動車市場の現実 ［有料会員限定］ ＥＶ時代はまだ来ない 現実解は「マイルドＨＶ」
朝日新聞デジタル：福島の人口、３０年後に半減の予測も 政策大准教授試算 - 社会
印刷 関連トピックス原子力発電所東京電力被災３県の人口予測 東日本大震災の被災３県のうち、福島県の人口だけが減少を加速するとの予測を政策研究大学院大学の出口恭子准教授がまとめた。震災前からの３０年間で半減すると試算。東京電力福島第一原発の事故による避難で、子どもの世代と母親の世代が大量に県外へ転出。この傾向が続く場合、少子化が著しく進むためだ。 震災後の死者数や都道府県間の転出・転入者数など、震災の影響を織り込んだ場合と、仮に震災がなかった場合の２通りについて３０年間の人口を試算した。 ３県とも震災前から人口が減っているため、２０１０年の人口を１００とした場合、震災がなくても２０４０年には福島が６３．８（３６．２％減少）、宮城が７５．０、岩手が５９．４になると試算。 購読されている方は、続きをご覧いただけます
今のGoogleには、すでに総合的な技術力は無い...かもしれない。
厳密に言うと、「今のGoogleには品質管理を含めた総合的な技術力が余り無い」ように思う...世界中の優秀な技術者を結集しているようなイメージ戦略をしているのにも関わらず、だ。gmailやgoogle mapを作ったGoogleは、どこかに行ってしまったんじゃないかと思う。 スマートフォンOSはここ数年で３つか４つ出た。iPhone,Android,WebOS,Windows Phone,MeeGoなどなどだ。正直言おう。Androidが最も出来が悪くて、最も使い勝手が悪いスマートフォンOSだ。たぶん、多くの人が同意すると思う。おそらくこれらのスマホの中で通話アプリが落ちることがあるのは、Androidだけだと思う。まぁ、Android社は元々googleではないと、いわれればそれまでだけど。 クラウド環境もここ数年いくつか出た。GoogleやAmazonやGMOやNiftyやさくらや、N
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.episode4.net/archives/2012/03/05/000000.html
Google Sites: Sign-in