LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm
gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。 小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました 論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。 コーパスの作り方 以下の公式の例で説明します この例ではリスト内のそれぞれの要素が1つの文書となります
NLTK :: Natural Language Toolkit
Natural Language Toolkit¶ NLTK is a leading platform for building Python programs to work with human language data. It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an ac
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット
日本語Wikipediaなどの「辞書型コーパス」からLucene/Solr用の類義語辞書を自動作成するシステムを開発しましたので、簡単にご紹介します。 参考資料（SlideShare） 辞書型コーパスからの類義語知識の自動獲得（SlideShare） Lucene/Solrと類義語検索 Lucene/SolrではSynonymFilterを使って類義語検索を簡単に実現することができます。たとえば次のような内容のsynonyms.txtを用意し： 自動車損害賠償責任保険, 自賠責保険 Solrのschema.xmlファイルに次のようなフィールド型を定義すれば： <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.Japane
![[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット](https://cdn-ak-scissors.b.st-hatena.com/image/square/05aaa2c0891efcc9c0687adc729c2094a968ac35/height=288;version=1;width=512/http%3A%2F%2Fwww.rondhuit.com%2Fwordpress%2Fwp-content%2Fuploads%2F09b26830239f52887ae9193ddee1694e-480x224.png)
単語感情極性対応表
単語感情極性対応表 日本語および英語の単語とその感情極性の対応表を、 研究目的の利用に限り公開します。 感情極性とは、その語が一般的に良い印象を持つか（positive） 悪い印象を持つか（negative）を表した二値属性です。 例えば、「良い」、「美しい」などはpositiveな極性、 「悪い」、「汚い」などはnegativeな極性を持ちます。 感情極性値は、語彙ネットワークを利用して自動的に計算されたものです。 もともと二値属性ですが、-1から+1の実数値を割り当てました。 -1に近いほどnegative、+1に近いほどpositiveと考えられます。 リソースとして、日本語は「岩波国語辞書（岩波書店）」を、 英語はWordNet-1.7.1を使わせていただきました。 こちらからダウンロードしてください→[日本語] [英語] フォーマットは、各行が一単語に対応し、 見出し語:読み:品
日本語評価極性辞書 - Open Resources/Japanese Sentiment Polarity Dictionary - 東北大学 乾・岡﨑研究室
日本語評価極性辞書（名詞編） † 評価極性を持つ（複合）名詞，約8千5百表現に対して評価極性情報を付与した，人手によるチェック済みのデータ．名詞の評価極性は概ね以下の基準に従う（東山, 2008）． 〜である・になる（評価・感情）主観： 「○○が〜である・〜になる」ことは，○○をP/Nと評価しているか？ ポジティブ：誠実，安寧，親切，中立，名手，英雄，第一人者，幸せ ネガティブ：弱気，鬱 〜である・になる（状態）客観： 「〜（という状態）になる」ことは良いことか悪いことか？ ポジティブ：合格者，快晴 ネガティブ：ガン 〜い（評価・感情）主観： 「〜い」は良いか悪いか？ ポジティブ：美しさ ネガティブ：弱さ 〜する（感情）主観： 「〜する」は良い感情か，悪い感情か？ ポジティブ：感嘆 ネガティブ：失望 〜する（出来事）： 「〜する」ことは嬉しいことか嫌なことか？ ポジティブ：善戦，成就，合格
mecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる - CLOVER🍀
注意） このエントリでは、mecab-ipadic-neologdをLucene Kuromojiに適用するにあたり、2つほど問題が発生したのですが、作者の@overlastさんにそのうちのひとつを対応いただきました。 修正版mecab-ipadic-neologdを使ってLucene Kuromojiに適用するエントリは、以下を見るようにしてください。 修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150316/1426520209 こちらのエントリは、備忘録的に残っているだけです。 以降は、それを踏まえた上で読まれますよう。とりあえずLucene Kuromojiに適用したい場合は、上記のエントリをご覧ください。 先日、ちょっと気になるエントリが世の中に出ていま
感情語辞書を用いた日本語テキストからの感情抽出
修 士 学 位 論 文 感情語辞書を用いた 日本語テキストからの感情抽出 Affect Extraction from Japanese Text using Emotional Dictionary 菅原 久嗣 東京大学 大学院 情報理工学系研究科 電子情報学専攻 指導教員 石塚 満 教授 目 次 概要 2 1 背景と関連研究 3 1.1 感情抽出手法の研究動向 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.1 コーパスと分類器を用いた手法 . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.1.2 感情語辞書を用いた手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
感情・意志分析
人々の生活はコンピュータに依存するようになり、個人がWeb上に情報を配信する機会が多くなっている。こうしたテキストを分析することで、人々がどのような出来事に対してどのような感情を抱いたか、どのような意思を持って発話しているかを知ることは企業や行政のサービス向上にとって重要である。このような背景から、テキストマイニングツールSTMに、感情・意志分析機能を追加した。 感情カテゴリと感情語辞書、慣用句辞書、顔文字辞書 感情表現辞書（中村明著,東京堂出版 (1993)）を参考することとし、こちらで採用されている基本感情10種類{ 喜・ 怒・ 哀・ 怖・ 恥・ 好・ 厭・ 昂・ 安・ 驚 }を感情カテゴリとして分類することとした。この分類をもとに、感情を表す言葉の語意（EDRの概念ID)からなる感情語辞書、複数の語の組み合わせで感情を表す慣用句辞書、感情を表す顔文字辞書を作成した。 まず感情表現辞書
感情辞書 - PukiWiki
単語の感情値：0~1の値 単語の感情値が1に近い場合，単語の感情が「楽しい」「うれしい」「のどか」に寄る．（例：「初受賞」「勝つ」「ひなまつり」） 単語の感情値が0に近い場合，単語の感情が「悲しい」「怒り」「緊迫」に寄る．（例：「偽装」「死刑」「拘束する」） ↑ 構築原理 † 「ある感情を有する単語はその感情を表現する感情語群と共起しやすく，逆の感情を表現する感情語群とは共起しにくい」という仮定のもと， 新聞記事データを用いて，ある単語と対比的な感情を有する2 つの感情語群との共起の仕方を調べ，数値化したものを，その単語の感情値として感情辞書に登録する． ↑ 感情軸の設定 † 任意の感情軸を構成できるが，代表的なものとして3軸の感情辞書と4軸の感情辞書があげられる． 3軸の設定： 楽しい⇔悲しい，うれしい⇔怒り，のどか⇔緊迫 感情特性を多変量解析手法を用いて分析することにより，感情語
驚異的な解析速度を誇る日本語係り受け解析器J.DepP - 自然言語処理 on Mac
日本語の係り受け解析器といえば、KNPやCaboChaが有名ですが、J.DepPは線形分類器を用いて大規模な対象を非常に高速に、また高精度に解析できることが特長です。2009年末に公開されてから着実にバージョンアップされていますが、ビルドの方法が簡単になって、モデルの学習機能が追加されたことで大変使いやすくなっています。また、J.DepPは線形分類器のpeccoやopalを利用していますが、ベースの分類器が高速化されたことが、そのまま解析器の性能向上につながっているようです： ソフトウェアの更新も一人旅になってきた - ny23の日記 このJ.DepPをMacPortsとして登録しました。デフォルトの状態でjdeppをインストールすると、jumandicを参照するMeCabを組み込んだ解析器と、解析済みのブログコーパスであるKNBコーパスを対象とした学習モデルが利用できるようになります：
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
GitHub - rakuten-nlp/rakutenma: Rakuten MA - morphological analyzer (word segmentor + PoS Tagger) for Chinese and Japanese written purely in JavaScript.
ラーメンと自然言語処理