pythonによる日本語前処理備忘録 | ブログ一覧 | DATUM STUDIO株式会社
はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた＆用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化 ・URLテキストの除外 ・Mecab + neologd 辞書による形態素解析 ・形
はてブの闇を可視化してみた - 坂本から君へ
三ヶ月ほど前に僕が「作ります！」と宣言していた、はてブホッテントリの感情分析サイトだが、ようやく完成したので公開したいと思う。 hotentry-sa.appspot.com このサイトでできること はてなブックマークのホッテントリ内の各エントリーについた全てのブクマコメントを解析して、感情的なネガティブ度・ポジティブ度を算出して表示している。 次の３種類の分析結果が表示できるようになっている。 闇ホッテントリ⇒ネガティブなコメントの多いエントリを順に表示する。 きれいなホッテントリ⇒ポジティブなコメントの多いエントリを順に表示する。 揺れホッテントリ⇒ネガティブとポジティブの間の揺れ幅が大きい、つまり賛否両論の激しいエントリを順に表示する。 サイトが出来上がるまでの経緯 今年の始めにネットのどこかのサイトを覗いていたら、グーグルが自然言語処理に関するWebAPIを提供しているということを
AIに「Clova、今日の天気は？」を理解させることの面白さ - LINE ENGINEERING
LINEのData Labsに所属している佐藤敏紀（@overlast）です。この記事はLINE Advent Calendar 2017の23日目の記事です。 この記事では、スマートスピーカーで対処を求められる自然文クエリの言い換えがどれほど多様であるかを示し、「スマートスピーカーを実現するための自然言語処理の楽しさ」をお伝えしたいと思います。 はじめに みなさんはスマートスピーカーを家に置いていますか？ 私は自宅のリビングに弊社が販売しているClova FriendsとClova WAVEを置いていますし、それ以外に、Google HomeとAmazon Echo Dotも設置しています。 ちょっと多すぎでしょうか (;^_^A これらのスマートスピーカーは、主に人間の言葉を聞いてその内容に基づいた動作をします。たとえばClova Friendsに「Clova！小町さんに電話して（クロ
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
単純なキーワードマッチングを超えたWikiPediaの知識を利用した自然言語処理を行いたい方へ - Qiita
キーワードマッチングを超えた知識を利用する価値 人間間の会話では"Twitter"や"Facebook"がSNSだなと分かって会話ができたり、"ヤマハ"と言われても前後の文脈で"ヤマハ"がバイクの"ヤマハ"かピアノの"ヤマハ"か分かります。 これは単語の背景に関連する知識情報を利用できているからです。 この単語を知識情報と繋げる手法として近年の自然言語処理ではエンティティリンキングという手法がよく用いられています。 コードを使ってすぐに確認したい方は下記でインストールしてください。 コード： - https://github.com/SnowMasaya/WikiPedia_Entity_Vector_Get_Similarity_word 必要なデータ： - 分析したいデータ - Wikificatation - 日本語 Wikipedia エンティティベクトル ユースケース これを実際
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラーメンと自然言語処理
A Natural Language Query Engine without Machine Learning – ayoungprogrammer's blog