Announcing SyntaxNet: The World’s Most Accurate Parser Goes Open SourcePhilosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more
RECRUIT TECHNOLOGIES Member's blog 自動要約APIを作ったので公開します
リクルートテクノロジーズの大杉です。 広島市立大学修士２回生の飯沼さんと一緒に、自然言語要約ツールを作りましたので、リクルートテクノロジーズのgithubアカウントにて公開します。このapiでは、入力した文章から、指定したパラメータ（行数など）に応じて、重要だと思われる文の抽出ができます。例えば、当ブログ当記事の直前のこの記事を3行で要約すると、以下のようになります。 1. “リクルートテクノロジーズでは、ここ最近、UXデザインの専門家とビッグデータの専門家が、協力してリクルートグループ内の各事業に入り、プロジェクトを推進していく事例が多くなっています。”, 2. “UXデザインでは、定性的なリサーチと定量的なアクセスログ解析を組み合わせて、ユーザ行動を可視化することは以前からやってきました。”, 3. “「成功体験とは何か」を定義して、きちんとデザインできるかが、UXデザインの大きな
ツイートから好みのタイプの女の子を見つけるセンチメント分析とDeep Learning | 株式会社サイバーエージェント
業務経歴： 2012年株式会社サイバーエージェント入社。現在、子会社WAVESTにてJCJK向けメイクと自撮りの研究サービス「メイクme」のシステム責任者を担当。主にサーバサイドを担当しています。 概要 膨大なツイートから好みの女の子を見つけたいです。 好きな女の子のタイプのキーワードを入力すると、該当するアカウントを出力するステキなシステムを作ります。 作成したコードやデータはこちら https://github.com/inkenkun/tech_twitter 目次 1. 女の子だけのアカウントを取得したい Twitterには性別という属性がないため、まずは女の子のアカウントを何とかして大量に取得してこなければなりません。 おっさんとマッチングされても困りますからね。 1-2. 女性単語辞書を作る。 確実にこれは女性だってわかるアカウントを30個ほど目視で取得します。 そして抽出した
パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース
（これまでのあらすじ）前回、パソコン工房から「統計処理用のPCのPR企画をやりたい」と依頼を受けて、はてなエンジニアと一緒にword2vecで遊んでみた編集部。読者の皆さまにも好評だったので、調子に乗って第2弾を実施することにしました。今回は「"word2vec"で艦これ加賀さんから乳を引いてみる」で一世を風靡した、あの統計屋さんが全面協力です！ 記事の最後にはプレゼントのお知らせも。 （※この記事は株式会社ユニットコムによるPR記事です） 皆さまは前回の記事を、覚えておりますでしょうか？ ▽ Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース パソコン工房の統計処理用PC × はてなブログのデータ × word2vec という記事でした。ブックマークコメントから感想をいくつかピックアップし
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
「高速文字列解析の世界」を読む前に知っておくと良いこと - EchizenBlog-Zwei
「高速文字列解析の世界」という大変すばらしい本が発売された。わりと敷居が高い本ではあるので読む前に知っておくとよさそうなことを書いておく。 「高速文字列解析」とは 本書でいう高速文字列解析というのは主に2つのことを指している。ひとつはデータを圧縮して小さくしてディスクよりメモリ、メモリよりキャッシュというようにより高速な記憶装置で扱いましょう、という話。もうひとつはデータ構造を工夫することで複雑な操作もそこそこ高速に扱えますよ、という話。つまり「圧縮」の話と「効率的なデータ構造」の話があると考えておくと良い。 キーワードは3つ オビにも書いてあるけれど、本書が主に扱うのは「BWT」「簡潔データ構造」「ウェーブレット木」の3つ。具体的には「BWT」が「圧縮」に関わっていて「ウェーブレット木」が「効率的なデータ構造」に関わっている。「簡潔データ構造」は基本的な道具として本書の色々なところで出て
第250回 Ubuntuに日本語を話してもらおう（前編） | gihyo.jp
今回から2回に渡り、Ubuntuで利用可能ないくつかのソフトウェアを組み合わせて、入力テキストを喋る仕組みを作るレシピをお届けします。Mbrola、MeCabを使って音声を合成し、Linuxのサウンドサブシステムを通じて音声を出力します。 MBROLAプロジェクトとは MBROLAとは、汎用音声合成エンジン「mbrola」と、mbrolaで利用可能な音声データベースを開発するプロジェクトです[1]。1995年にベルギーのFaculte Polytechnique de Mons大学のTCTS研究室が開始しました。音声合成エンジンもデータベースもバイナリーの形で提供されているためオープンソースソフトウェアではありませんが、フリーなライセンス[2]のもとで利用できます。 DebianやUbuntuではmbrolaのパッケージが提供されています。Ubuntuソフトウェアセンターでmbrolaを
NLTK :: Natural Language Toolkit
Natural Language Toolkit¶ NLTK is a leading platform for building Python programs to work with human language data. It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an ac
日本語 WordNet (wn-ja)
日本語 WordNet リリース * 画像 * ダウンロード * 今後の予定 * 参考文献 * リンク * English 本プロジェクトでは、 Princeton WordNet や Global WordNet Gridに 着想をえて、日本語のワードネットを構築し、オープンで公開します。 独立行政法人情報通信研究機構（NICT）では、自然言語処理研究をサポー ト する一環として、2006年に日本語ワードネットの開発を開始しました。最初の 版、version 0.9は、2009年2月にリリースされました。このversion 0.9は、 Princeton WordNetのsynsetに対応して日本語をつけています。もちろん、 Princeton WordNetにはない日本語synsetを付与する必要があり、また、 Princeton WordNetにみられるsynsetの階層構造に、
シソーラスを用いた関連度計算
ここで，d_qとd_dは見出し語q,dが属する意味属性の深さである．また，c_qdは見出し語qが属する意味属性と見出し語dが属する意味属性の共通の上位属性の中で最も下の階層に位置するカテゴリの深さである． 3 実装 本章では，関連度計算をシステムに実装する際に必要なライブラリ等について紹介する． 3.1 EPWING形式辞書 EPWINGとは，電子辞書の標準形式のことである．EPWINGのサブセットがJIS X 4081日本語電子出版検索データ構造として制定されており，様々な機種やOS用に検索ソフトが開発されている．EPWINGは拡張されており，現在では計6つの仕様とEPWING STがある． EPWING形式は，電子出版の共通フォーマットとなっており，広辞苑をはじめ，新英和・和英中辞典やジーニアス英和大辞典や三省堂スーパー大辞林など様々な辞書がEPWING形式となっている．本稿で扱う日本
テキスト解析 - Yahoo!デベロッパーネットワーク
LINEヤフーが提供するテキスト解析WebAPI 日本語形態素解析 日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。 かな漢字変換 ローマ字、ひらがなの文を文節に区切り、変換候補を提示します。短い文字列から変換候補を推測するモードも提供します。VJEと同じ方式のかな漢字変換です。 ルビ振り 漢字かな交じり文に、ひらがなとローマ字のふりがな（ルビ）を付けます。 校正支援 日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 日本語係り受け解析 日本語文の係り受け関係を解析する機能を提供します。 キーフレーズ抽出 日本語文を解析し、特徴的な表現（キーフレーズ）を抽出します。 自然言語理解 日本語文を解析し、情報の抽出を行う機能を提供します。 固有表現抽出 日本語文を解析し
ブレインパッド、"文脈を理解する"独自のセマンティック自然言語処理エンジンを開発 ｜株式会社ブレインパッド
"文脈を理解する"独自のセマンティック自然言語処理エンジンを開発 〜次世代のテキストデータ解析の試験利用にご協力頂けるユーザーを募集〜 株式会社ブレインパッド（本社：東京都品川区、代表取締役社長：草野 隆史、東証マザーズ証券コード：3655、以下ブレインパッド）は、ソーシャルメディアの台頭により注目されている、"消費者の声"であるウェブ上での口コミ情報や発言、書き込みなどのテキストデータを解析し、有用な情報を抽出する「自然言語処理（注１）エンジン」を開発中です。この自然言語処理エンジンは「"文脈を理解する"テキストデータ解析」、すなわち「セマンティック技術（注２）」の実現をコンセプトに開発しており、従来の言語処理サービスにはない独自のものとなります。 ブレインパッドでは、本サービスの公開を2012年夏頃に予定しております。 このたび、ブレインパッドでは本サービスの品質向上を目的として、開発
試しに - kkobayashi_a’s blog
少し昔に流行したマルコフ連鎖で文章を作る話、ちょっと気になってざっくり作ってみた。 どっかから文章をクロールしてくる MeCabとかで形態素解析 マルコフ連鎖を作る 組み合わせる 今回はDMM.R18のレビューから適当にコピーしてきた。形態素解析したものからマルコフ連鎖を作る。 位 から 連続 から 連続 舌 連続 舌 上 舌 上 発射ぐぐってみると、どうやら3階のマルコフ連鎖がよい、とのことらしい。3階と言われてもよく知らないが、まあ3つってことでしょう。Perlで実装する場合、先頭の文字をキーにして、残りを値、最後の要素を次のキーに・・・とすれば2以上の任意のN階のデータが使える。 ただ組み合わせただけでもそれなりになるが、字数の範囲（たとえば100〜200の範囲とか）を決めた方が文章っぽいものができる。とりあずパラグラフを作って、字数の範囲に収まってなかったら捨てる、を繰り返すだけで
毎日ぴよぴよ 【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録
覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。 バラバラになってしまった「嵐にしやがれ」 これを、固有名詞と判断させるためにどうしたらいいのか。 はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。 ということでがんばってみた。 【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加 【はてなキーワード編】 ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。 で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。 例えばこんな感じ。 嵐にしやがれ
Rubyによる形態素解析エンジンokura 0.0.1をリリースしました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました｡ まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが､いちおう動くレベル*1になったので公開します｡ 注意事項 バージョン0.0.xのうちは､インタフェースや辞書フォーマットは頻繁に変更される予定です｡ ある程度安定したら0.1.0出します｡ 今のところ､Ruby1.9系専用です｡ 取得 gem install okuraでインストールできます｡ ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します｡ 動作確認はMeCab用NAIST辞書で行いました｡ 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
テキストマイニングのための機械学習超入門 一夜目 - あんちべ！
テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追って解いていきますし、必要な数学知識はその都度説明し、前提知識は求めませんので「数式出てくるの？じゃあついていけないのでは…」という心配は不要です。この記事の特徴は「機械学習の手法をやたら冗長な数式と過剰なまでの例を用いて、くどくどと同じ話を何度も説明する」ことです。 筆者ことあんちべは純文系出身で、数学や統計学、プログラミングは全然学生時代やってこなかった上、業務でも機械学習を使うことなんて皆無、それどころか機械学習なんて言葉は就職してからよう
自然言語処理 - Wikipedia
自然言語処理（しぜんげんごしょり、英語: Natural language processing、略称：NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野である。「計算言語学」（computational linguistics）との類似もあるが、自然言語処理は工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い[1]。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な（コンピュータが理解しやすい）表現に変換するといった処理が含まれる。応用例としては機械翻訳や仮名漢字変換が挙げられる。 自然言語の理解をコンピュータにさせることは、自然言語理解とされている。自然言語理解と、自然言語処理の差は、意味を扱うか、扱わないかという説もあったが、最近は数理的な言語解析手法（統
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大語彙連続音声認識システムJulius
ruigo.jp - このウェブサイトは販売用です！ - 類語 シソーラス 工学 研究所 言語 辞書 ログイン 会員 リソースおよび情報
分かち書きとマルコフ連鎖でカオスな文章を生成するまで | oitake blog
