Pythonで自然言語処理のタスクをやってみる。 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。 qiita.com 自然言語処理には様々なライブラリ（NLTKやCoreNLP）があります。 せっかくの機会として、本記事では紹介が少ないspaCyを紹介します。 spaCy spaCyとは spaCyはPythonの発展的な自然言語処理のライブラリです。 実際に使われていることを想定しており、英語、ドイツ語、フランス語、スペイン語に対応しています。 トークナイザーは日本語もあるとのこと（確かJanomeで動作します）。 github.com 次のリンク先には他の自然言語処理ライブラリの アルゴリズムの観点や精度（Dependency parsing、Named entity comparison）が 載っており、他のライ
DeepMindが自然言語理解の２難題を解決した - mabonki0725の日記
ランニングできず 英語30分 The Boune Leagacy (1) DeepMindの自然言語を理解するUNREALモデルの論文を読み、深い感動を覚える。 このモデルは自然言語理解に於ける２つの懸案事項を解決している。 ・計算機が言語を教える事を可能にした。 言語理解で正解すれば計算機がエージェントに報酬を与えることで、 数十万の繰り返し学習を可能にした。従来は人間が計算機に教えるしかなく、 試行回数の壁があった。 ・複雑な文章理解では、単純な文章学習を経ていけば可能になることを実証した DeepMindの証明したかったことは以上の3点である ・言語理解を解明するには、人間の環境に似た３要素の模擬環境が必要 ・動作できるエージェント ・エージェントが存在する３D環境 ・報酬と罰則 ・言語学習には相当な繰り返しが必要 ・複雑理解では適切な学習手順が必要
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
golang で形態素解析を並列実行させて Word Count する - 押してダメならふて寝しろ
はじめに kagome は goroutine セーフに作ってあるんですが，あんまり並列実行的なサンプルとか書いてないなと思って並列実行でテキストに出てくる名詞を引っこ抜いて数えるサンプルを作りました． あと，昨日 suzuken =san が 形態素解析をした後の品詞が取り出しにくいよという Issue を上げてくださって，Token に Pos() という品詞を取り出すメソッド追加しました．今までは， if t := tok.Features(); len(t) > 0 && t[0] == "名詞" { // 名詞の時の処理 } と書いていたのを if tok.Pos() == "名詞" { // 名詞の時の処理 } と書けるようになりました．suzuken = san ありがとうございます． ( '-`).oO( 品詞以外も便利関数欲しいところですが，辞書によって辞書内容がかなり自
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
