Mecabにニコニコ大百科 はてなキーワード Wikipediaの名詞辞書を追加して強化する - Qiita
require 'csv' def output(title, type) title_length = title.length return nil unless title_length > 3 score = [-36000.0, -400 * (title_length ** 1.5)].max.to_i [title, nil, nil, score, '名詞', '一般', '*', '*', '*', '*', title, '*', '*', type] end CSV.open("user.csv", 'w') do |csv| # niconico Dir::foreach('./niconico') do |f| next unless f =~ /^head[0-9]{4}\.csv$/ open("./niconico/#{f}").each do |line|
Python で Twitter から情報収集 (MeCab による形態素解析編) - Qiita
形態素解析について 様々なユーザーの Tweet を収集して利用するパターンで最も多いのは、 Tweet 中に含まれる特定の単語を抽出して利用するパターンである。 今回は形態素解析器の MeCab を利用して、単語単位に分割して名詞、動詞、形容詞を抽出する。 Python で Twitter からの情報収集 (環境構築編) 環境構築等はこちら MeCabの出力形式 出力形式はオプションにより変わる。 'mecabrc': (デフォルト) '-Ochasen': (ChaSen 互換形式) '-Owakati': (分かち書きのみを出力) '-Oyomi': (読みのみを出力) デフォルトだと 表層形\t品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音 という出力になる。 サンプルコード ある文を単語単位(表層形そのまま)に分割して、 全単語 名詞のみ 動詞の
PythonからMeCab - Qiita
課題 Python から MeCab の形態素解析の機能を利用可能にする。 手法 MeCab の Python バインディングをビルド／インストールする。 前提 対象: mecab-python-0.996.tar.gz 環境: Windows 8.1 64bit, Python 2.7, MeCab 0.996 内容 1. ビルド環境の構築 Visual Studio 2008 Express Edition with Service Pack 1 をインストールする。 Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1 をインストールする。 2. libmecab.lib と libmecab.dll の作成（MeCab のビルド） mecab-0.996.tar.gz（MeCabのソース）をダウンロードする。
英文高速リーディングの仕組みでさだまさしの名曲を体感する - Qiita
英文高速リーディングでさだまさしの名曲を再生する 記事を読む前に動作するサンプルを準備したので以下URLで挙動をご確認下さい。曲は関白宣言 / 案山子 / 防人の詩 / 秋桜 の4つを準備しました。 この記事はサンプルの実装方法と背景についての説明です。 クリスマス後が本番。1/1は毎年恒例「今夜も生でさだまさし」 今年も残り少なくなってきました。こうやって毎日カウントダウンされてるとクリスマスまで楽しみになります。 そしてクリスマスが過ぎるとファンにとってのメインイベント、毎年恒例「今夜も生でさだまさし」の生放送があります。来年2016年の放送は1月1日0:25～ですので除夜の鐘を聴いて年越しした後はそのままTVの前にかぶりつきましょう。 英文高速リーディングのSpritzと歌詞のインプリンティング 定期的に話題に上がるSpritzは英文を高速に読むために単語を整えて連続して表示するツー
フリガナを自動入力する - Qiita
名前、ふりがなが連続しているフォームにおいて、ふりがなを自動入力する機能は、よく要求としてあがってきます。 jquery.autoKana.jsがよく使われているようですが、これはキーイベントを拾って、フリガナを作るので、 Google日本語入力やATOKの予測変換 スマフォのフリック入力 などで、ちゃんとキーイベントが発生しないものは、うまくフリガナを作ることができません。 (参考) https://github.com/harisenbon/autokana http://qiita.com/u-chida/items/6c07d558b3f06c9ed8d8 サーバサイドでフリガナを作る ちょっと考えを変えて、サーバサイドで漢字からフリガナを生成するようにしてみます。 MeCabやKuromojiで形態素解析すると、漢字の"読み"も取得できます。 IPA辞書だと人名が弱いので、NEo
PythonでMeCabの制約付き解析を使う - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? MeCabには制約付き解析という機能がありますが、これについて説明している記事がほとんどなかったので手探りで試してみました。 MeCab 0.996 Python 3.4 mecab-python3 0.7 制約付き解析とは 入力文の一部の形態素情報が既知である、あるいは境界がわかっているときに、 それを満たすように解析する機能です。 たとえば、「にわにはにわにわとりがいる。」という文に対して、「はにわ」の部分が名詞であるとか、「にわとり」の部分が一つの形態素であるというように指定した上で解析することができます。このとき、制約に反する4
PHP で Mecab を使って日本語形態素解析の結果を簡単に取得する! - Qiita
■MeCabについて MeCab は、オープンソースの形態素解析エンジンです。 MeCab 以外でもフリーで入手可能なものには、ChaSen、Juman、KAKASI などがある。有償のものだと Basis Technology の Rosette 形態素解析システムなどもある。 MeCab - Wikipedia によると、 MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓氏によって開発されている。名称は開発者の好物「和布蕪（めかぶ）」から取られた。 開発開始当初はChaSenを基にし、ChaSenTNGという名前で開発されていたが、現在はChaSenとは独立にスクラッチから開発されている。ChaSenに比べて解析精度は同程度で、解析速度は平均3-4倍速い。 品詞情報を
MeCabで形態素分析してTwitter Cloudをつくってみる - Qiita
PHP、JavaScriptでやってみます。 環境はMac。 使ったもの XAMPP PHPのall in one開発環境 MeCab 形態素分析ライブラリ php-mecab PHPでMeCabを使うためのライブラリ jqcloud タグクラウドをjavascriptでつくるためのライブラリ twitteroauth twitterの認証ライブラリ 準備 参考にしたURL： ※準備はこっちを見たほうが丁寧です。。。 XAMPPをインストール インストールは省略。 macの場合、デフォルトでPHPが入ってて、XAMPPのPHPと混ざってちょっと困る。 なんで、XAMPPのPHPを使うように、以下の設定をしておく。 1.自分のホームディレクトリの .bash_profile ファイルに以下を追記（ファイルがなければつくる）。 export PATH="/Applications/XAMPP/
Qiita::Teamからメンバーのスキルやお仕事マップをつくろう - Qiita
エンジニアチームのみんながどんな事に詳しいのかをざっくり知るため、Qiita:Teamをテキストマイニングしてスキルマップを作ってみる、というお話です。 ご挨拶 こんにちは。2015年10月にfreee株式会社にJoinした @kompiro こと近藤寛喜と申します。(本日34歳になりました)普段はフルスタックエンジニアとしてfreeeのユーザーさんにマジ価値を提供すべく日々奮闘してます。 freeeはまだ若い会社ですが猛烈な勢いでサービスが成長しており、結構な量のコードがあります。僕は入社したてということもあり、これまでチームの誰がどの仕事をしてきたのかがわかりません。なにか改善すべき点があったとして、 また、ここまでのAdvent Calendarの流れを見ていただいてもわかるとおり、freeeのエンジニアのみんなには得意技、言い方を変えればとんがっている分野を持っています。freee
PythonでのMeCabを速くするtips - Qiita
ちゃお... Python Advent Calendar 2015 18日目の記事です... Pythonといったらデータサイエンスに強いし、データサイエンスといったら形態素解析が必要になることがあるし、形態素解析といったらMeCabだし――ということで、今回はPythonでのMeCabの処理を少しでも速くする豆知識を共有したいと思います！ parseToNodeを捨てよ parseを使おう MeCabの解析結果を得るにはparseとparseToNodeの2つのメソッドがあります。 わたしはもっぱらparseToNode使ってたのですが、なんか遅いなーって思って、本当に遅いのか確かめるために処理時間測ってみました。現実的な設定でやった方が実用的だと思ったので、今回は夢野久作のドグラマグラから名詞を抽出することにします。 コード import MeCab tagger = MeCab.T
64bit Windows + python 2.7 + MeCab 0.996 な環境をつくる - Qiita
修正履歴 2016/2/19 コードの修正・必要なファイルの更新 2016/2/19 トラブルシューティングの追加 はじめに そもそもWindowsでなぜ？という話があると思いますが、理由は一つ。Windowsには強力なIDEであるVisual Studioがあるからです。 コード補完、スニペット、デバッグ・・・・多くのメリットがあるIDEですが、いかんせんWindowsでの環境構築には難所が多く、Python関係だとビルドの問題で詰まることが多いようです。 理由は様々ですが、Unixのコマンドが通用しなかったり、ファイルパスの書き方が違ったりといったことがあげられます。 今回は、そんなハードルを乗り越え、自然言語処理屋さん御用達、MeCabのPythonライブラリを入れてみようという話です。 MeCabって？ MeCabは、形態素解析ツール。形態素は意味の通る単語の最小ブロックといった感
[AWS Lambda]S3にテキストファイルが置かれたらイベントドリブンに形態素解析(kuromoji) - Qiita
はじめに lambdaハンズオンを参考にlambdaを触ってみました。 プログラム書きたくて社会人になったのに気がついたらインフラエンジニアになってた人がアプリケーションもやれるのがAWSの良いところ！ Lambda in JAVA! いろんなjavaアプリケーションをイベント駆動で実行できるようになりますね！(知ったかぶり AWS Lambda Update – Run Java Code in Response to Events | AWS Official Blog Amazon Web Services ブログ: 【AWS発表】AWS Lambdaのアップデート、イベントに応じてJavaコードを実行 なにを試そう… パッと思いついた kuromoji.jar をLambda Functionの中で使ってみよう。 外部からS3 Bucketにテキストファイルが置かれたら自動で形態素
![[AWS Lambda]S3にテキストファイルが置かれたらイベントドリブンに形態素解析(kuromoji) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/717b518c925b6e2fddee2e95b6ead9c1222e4b63/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTc1MTglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2ODIxNzg_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9NzNjNmJmZDdlMTQ2YTQ2MDc1Yjg3N2ZlMTE3ZTI2NmE%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D692e7c7b3048742350041fae0fdb3cd9%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCQVdTJTIwTGFtYmRhJTVEUzMlRTMlODElQUIlRTMlODMlODYlRTMlODIlQUQlRTMlODIlQjklRTMlODMlODglRTMlODMlOTUlRTMlODIlQTElRTMlODIlQTQlRTMlODMlQUIlRTMlODElOEMlRTclQkQlQUUlRTMlODElOEIlRTMlODIlOEMlRTMlODElOUYlRTMlODIlODklRTMlODIlQTQlRTMlODMlOTklRTMlODMlQjMlRTMlODMlODglRTMlODMlODklRTMlODMlQUElRTMlODMlOTYlRTMlODMlQjMlRTMlODElQUIlRTUlQkQlQTIlRTYlODUlOEIlRTclQjQlQTAlRTglQTclQTMlRTYlOUUlOTAlMjhrdXJvbW9qaSUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTMxM2VmM2JhODNkNzZmNjIyMDUwNGE4YTQwZGVmODgy%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpbXVyYTgxZ3QmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01ODEwNzA0Mzk3ZTgwZmI3MzhhOTgzMjNjYzYxMTEyNA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5b4bc42f872c601553c6a112b041395e)
kuromoji.jsを使って日本語クローズテスト
クローズテストってものがあるらしい オライリーから出ているインタフェースデザインの実践教室という本を読んでいたところ、文章のユーザビリティをチェックする為のクローズテストについて説明がありました。 簡単に説明すると一定間隔で穴が開いた状態のテキストを読んで、ユーザーが文章の意味をくみ取れるかをチェックする為のテストです。 ある程度の単語が隠れた状態でも伝わる文章を書けという事でしょうか。 詳しくはこちら Testing Content · An A List Apart Article 実装してみよう 先に上げた本の中で訳者が、日本語でUI用途の利用例が見つかれないよーと書いてあったので早速実装してみました。 また、先日からJavaScriptで言語処理100本ノック2015というのに取り組んでいる最中でしたので、kuromoji.js というライブラリを使いJavaScriptでの実装を
Scalaでkuromojiを使ってみるメモ - Qiita
import org.atilika.kuromoji.Tokenizer import org.atilika.kuromoji.Token object Main extends App { val tokenizer = Tokenizer.builder.mode(Tokenizer.Mode.NORMAL).build val tokens = tokenizer.tokenize("僕の夢は、不労収入を得て一生遊んで暮らすことです。").toArray tokens.foreach { t => val token = t.asInstanceOf[Token] println(s"${token.getSurfaceForm} - ${token.getAllFeatures}") } }
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPからMeCabを利用してよみがなを取得する - Qiita
https://qiita.com/BeatsMe1978/items/c322de69758dcef0788f
mecabの辞書を自動コストで作成 - Qiita
ElasticSearch 1.x インストール (kuromojiも添えて) - Qiita
kuromoji.jsの辞書に単語を追加する - Qiita
kuromoji.jsでmecab-ipadic-NEologdを使う - Qiita
