【統計とかテキストマイニングとか】今年の私が、歌詞読みのお勉強のために読んだ本まとめ - 5日と20日は歌詞と遊ぼう。
こんにちは。 私の趣味は歌詞を読むことです。妄想を歌詞に当てはめてその一致を楽しんだり、ツイートをスクレイピングして歌詞と符合させたりして遊んでいます。 そのためにはたくさん知らないといけないことがあります。私はぜんぜん知りません。 そこで、私は、学ぶことにしました。この記事は学びの軌跡です。主に書籍をまとめました。 載せる本を選んだ基準は以下の通りです。 私は、下記のあらゆる分野で初学者です。専門的なことはわからないので、入門書を選びました。 私は、独学でお勉強します。ひとりで読んでも大丈夫だと思う本を選びました。 私は、いろんな本を読みました。今回はその中でも、よかったものだけを選びました。 分野は、おおむね以下のように分かれました。 統計学 プログラミング データマイニング 数学 国語 文学理論 音楽 グッズでは、順番に書いていきます。読むときはお好きなとこからご覧ください。統計学最
都立大 自然言語処理研究室 - 自然言語処理を学ぶ推薦書籍
自然言語処理を学ぶ推薦書籍を紹介します。2021年03月現在、自然言語処理を勉強したい理工系の学生・エンジニアの人は、以下の本を推薦します。 （概要）自然言語処理（放送大学出版） （理論）言語処理のための機械学習入門＋深層学習による自然言語処理 （実装）Python 機械学習プログラミング 第3版 自然言語処理を勉強したい、非理工系・非エンジニアの人には、以下の本を推薦します。 （数式なし）自然言語処理の基本と技術 （数式あり）自然言語処理（放送大学出版） オライリーから出ている「入門 自然言語処理」は特殊な本（詳しい人がこれを使ってレクチャーしてくれるならともかく、独習に向いていない）で、Python 2 で書かれているだけでなく、すでに動かなくなったコードも多々あり、2019年時点では読まない方がいい本です。（それでもどうしても、意地でも読みたい人は、本家にある Python 3 対応
RMeCabFunctions - アールメカブ
詳細は manual081108.pdfと，追加関数の解説を加えた ism091124doc.pdf を参照してください．簡単な紹介スライド tokei2010prosper2.pdf _ ユーザー辞書 すべての関数に,実行時にユーザー辞書を指定できるようにしました.ただし Mac や Linux ,Windows でMeCab? へのパス設定を行っている場合は,システム側でmecabrc ファイルを設定ください.この引数は,Windowsユーザーで環境設定が難しいと感じているユーザーのための仕様です.詳しくは, RMeCabをご覧ください. かならず mecab で正しくコンパイルした辞書ファイルを指定してください. テキスト59ページのユーザー辞書の作成方法は Windows を対象とした説明です．Mac および Linux では http://mecab.sourceforge.ne
RでYahoo!の日本語解析APIを使うパッケージを作ってみました - yokkunsの日記
Rでテキストマイニングをする場合、RMecabや、RCaBoChaがあるんですが、事前にMecabやCaBoChaをインストールする必要があり、これから始める人にはちょっと敷居が高いところがあるかと思います。 RMeCabとRCaBoCha - yokkunsの日記 RCaBoChaの64bit版が公開されたので試してみた - yokkunsの日記 もっと気軽にRだけで動かしてみるものがあっても良いかなと思い、Yahoo! Japanが提供しているテキスト解析APIを使うパッケージを作成してみました。CRANにコミット済みです。 CRAN - Package YjdnJlp 以下の機能をサポートしています。 形態素解析 係り受け解析 キーフレーズ抽出 インストールと読み込み > install.packages("YjdnJlp") > library(YjdnJlp) 要求されたパッケー
[連載]フリーソフトによるデータ解析・マイニング第61回 統計的テキスト解析(6)～語のネットワーク分析～
[連載] フリーソフトによるデータ解析・マイニング 第61回 統計的テキスト解析(6)～語のネットワーク分析～ 1．ネットワーク分析とは ネットワーク分析は、社会学や通信ネットワークなどの分野で多く用いられている。数学のグラフ(Graph)理論に基礎を置いている。したがって、分野によってはグラフ分析とも呼ぶ。ネットワークは、頂点(V: Vertex)と辺(E: Edge)を基本構成要素とする。頂点を「点」「ノード」、辺を「線」とも呼ぶ。ネットワークは、線で点と点の関係を示す。線が方向性を持つグラフを有向グラフ(Directed Graph)、線が方向性を持たないグラフを無向グラフ(Undirected Graph)と呼ぶ。図１に、有向グラフと無向グラフの例を示す。
TTC: TinyTweetCrawler β version
OAuth認証の設定 Twitter API 1.1からOAuth認証が必要になったので、Twitter Application Managementからアプリを登録して、「Access token」「Access token secret」「Consumer key」「Consumer secret」を取得してください。 コードを取得したら、 以下のように4つのコード（このコードはダミーです）を記載したファイル（ファイル名は key_token.yml）を作成し、TTCと同じ場所に置いてください。 CONSUMER_KEY : anRCxaTNt096NLYyO***** CONSUMER_SECRET : KoNovQcsVdtmB5b6G17ldMUyNfA1ih8MfAy***** ACCESS_TOKEN : 4972441-VP75borAnbkb0p1CqrKOqxU7296
「日本語テキストを分類するベイジアンフィルタ」を簡単につくるyo - download_takeshi’s diary
数週間前の話になりますが、「はてブのリニューアル会見」の記事を読んでいたところ、はてブにも「自動カテゴライズによる記事分類」の機能が搭載されるとか。。。 同じようなタイミングで「似たようなモノ」というか「ほぼ同じようなモノ」を作っていたので、すごーくインスパイアされてしまいました。ジュワ〜。（アドレナリンの放出音） 数週間たってもいまだ興奮冷めやらぬ状態なので、今日はその件について書いてみようと思います。 Lingua::JA::Categorize - a Naive Bayes Classifier for Japanese document. http://search.cpan.org/~miki/Lingua-JA-Categorize-0.00001/ 「はてブのパクリ」ではありません。「ベイジアンによる日本語テキスト分類器」を「簡単に作る」ことを目的としたモジュールです。 も
ツールの紹介
LinuxまたはWindows上で動く自然言語処理のツールや，Web上で実際にすぐに試せるツールを紹介しています．実際に触ってみてくださいね． 紹介するツールは随時増やしていきます． Web上ですぐに試せるツール ここで紹介するツールはどれも，インストール作業不要でWeb上ですぐに試せるツールばかりです．気軽に試してみてください． Ajax IME, Sumibi.org 海外でインターネットカフェに行ったとき，メールを読むことはできても，日本語を入力することができなくて困ったことはありませんか？こんなときは，どちらかのサイトを使ってみてください．Webの技術を利用することにより，仮名漢字変換のソフトが入っていなくても日本語を入力できます． 専門用語（キーワード）自動抽出サービス「言選Web」 専門的な文書から専門用語をピックアップしてくれます．東京大学の中川裕志先生の開発
TreeTagger
The TreeTagger can also be used as a chunker for English, German, French, and Spanish. The tagger is described in the following two papers: Helmut Schmid (1995): Improvements in Part-of-Speech Tagging with an Application to German. Proceedings of the ACL SIGDAT-Workshop. Dublin, Ireland. Helmut Schmid (1994): Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of International C
KH Coder: 計量テキスト分析・テキストマイニングのためのフリーソフトウェア
概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介（スクリーンショット） スクリーンショット集 ［旧ページ：言葉・文書・可視化・他］ KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチュートリアル ヘルプ 質問＆エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要（無料）［旧掲示板］ よくある質問（FAQ） 開発者が語る公式セミナー & サポート：㈱SCREEN A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストマイニング技術の活用に向けて読んでおきたい12のプレゼン資料 - コーパスいぢり 〜langstatの研究日誌〜
汎用連想計算エンジン GETA ファミリー