第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
評判辞書の中身を覗いてみた - nokunoの日記
先日のにこにこテキストマイニング勉強会で、東工大の高村大也先生の「単語感情極性対応表」が話題になりました。PN Tableそこでこの辞書（仮に評判辞書と呼びます）を覗いてみます。wget http://www.lr.pi.titech.ac.jp/~takamura/pubs/pn_en.dicwget http://www.lr.pi.titech.ac.jp/~takamura/pubs/pn_ja.dicwc pn_ja.dic 55125 59133 1723987 pn_ja.dicwc pn_en.dic 88015 88015 1931411 pn_en.dicnkf -w pn_ja.dic > utf8.dicまず、辞書の上位を見てみると「優れる」を筆頭にポジティブな単語が並んでいます。less pn_ja.dic優れる:すぐれる:動詞:1良い:よい:形容詞:0.9999
テキストマイニングの歩き方 2011.2.19 にこにこテキストマイニング.pdf
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
バギング - 機械学習の「朱鷺の杜Wiki」
バギング (bagging)† ブートストラップサンプリングを繰り返して生成した判別器を合成して，より判別精度の高い判別器を生成する方法． Bagging 以下の手続きを \(t=1,2,\ldots,T\) について反復 入力訓練データ集合 \(D\) から，事例の重複を許してブートストラップサンプル \(D_t\) を得る． \(D_t\) を弱学習器に与えて仮説 \(h_t\) を得る． 最終結果は，クラス分類問題の場合は \(h_1,\ldots,h_T\) の多数決投票で，回帰問題の場合は，平均 \(\frac{1}{T}\sum_t^T h_t\) とする． 名称は Bootstrap AGGregatING に由来 ブースティングと違って，弱学習器が事例を重み付け出来なくても適用でき，また，回帰問題への適用も容易． 比較実験では，ブースティングに対して負けることが多い． 回帰
最近読んだ論文(半教師CRF、教師有りLDA、TextRank) - 木曜不足
読んだ自然言語処理や機械学習の論文を twitter でちょこっと紹介してみたりしている。 さらっと手短に書けていい感じ(と勝手に思っている)なのだが、論文名を書く余白がないのと、短いとは言え２個３個の tweet には分離してしまうあたりが減点。 というわけで、はてなダイアリーの twitter 記法で試しにまとめてみたのだが、うーん、決して見やすくはないなあ……。 再編集してまで紹介したい論文なら、別途記事を書けばいいし。悩ましい。 半教師CRF "Semi-Supervised Conditional Random Fields for Improved Sequence Segmentation and Labeling" (Jiao+, COLING/ACL 2006) http://www.metabolomics.ca/News/publications/Jiao_et_al
第15回 パターン認識・メディア理解研究会(PRMU) アルゴリズムコンテスト
実行委員会(敬称略) 実行委員長 山田 敬嗣(NEC) 副実行委員長 近藤 一晃 (京都大) 実行委員 栄藤 稔(NTT), 大町 真一郎(東北大), 玉木 徹(広島大), 藤吉 弘亘(中部大), 関 真規人(三菱電機), 飯山 将晃(京都大), 青木 義満(慶応大) 安倍 満(DENSO), 石川 博(早稲田大), 岩井 儀雄(鳥取大), 奥村 文洋(豊田中央研), 大山 航(三重大), 柏野 邦夫(NTT), 喜多 泰代(産総研), 酒井 智弥(長崎大), 島田 敬士(九州大), 清水 郁子(農工大), 杉山 将(東京工大), 高橋 隆史(龍谷大), 高橋 正樹(NHK), 田中 宏(富士通), 出口 大輔(名古屋大), 天元 宏(釧路高専), 中村 裕一(京都大), 新田 直子(大阪大), 羽下 哲司(三菱電機), 原田 達也(東京大), 宮川 勲(NTT), LAO Shihong
Enron Email Dataset
This dataset was collected and prepared by the CALO Project (A Cognitive Assistant that Learns and Organizes). It contains data from about 150 users, mostly senior management of Enron, organized into folders. The corpus contains a total of about 0.5M messages. This data was originally made public, and posted to the web, by the Federal Energy Regulatory Commission during its investigation. The emai
Co-clustering の自然言語処理への応用 - 武蔵野日記
合同研2日目終了。岡山大高橋秀幸さんの「共通概念を持つ動詞集合獲得を指向した同時クラスタリングの精度の改善」という話がおもしろかったかな？ 動詞のクラスタリングに名詞(実際は名詞と格助詞のペア)を用い、逆に名詞のクラスタリングに動詞を用いる、という方法で、動詞のクラスタリングの精度を上げよう、という内容。ちょっと計算量が大変そうだったが、いろいろ制約を入れて計算可能なところにしているような感じ(精度の問題もあるだろうけど)。先日自分も関連研究として教えてもらったのだが、 Akiko Aizawa. A method of cluster-based indexing of textual data. COLING-2002. の他に、 Inderjit S. Dhillon, Subramanyam Mallela, Dharmendra S. Modha. Information-The
形態素解析器を作るのは包丁を作ったり研いだりする仕事 - 武蔵野日記
メールの返事をひたすら書く。 昼、電話会議。なんだか先が見えてきて楽しくなってきた。やはり生データを見ると盛り上がってくるのは自分がそういう性分なんだろうか。 夕方、takeshi-na さんの意見情報マイニングのチュートリアルに出る。マーケティングの現場ではどこまでテキストマイニングが使われているかの体験談などお話くださって、参考になる。自分の感覚では、ウェブマイニングにいまの自然言語処理の技術を適用するのは、形態素解析くらいが限界で (それでも厳しい)、それ以上は難しいと思うのだが……。企業内で分野が限定されたテキストデータのマイニングなんかだと、たとえば製品名一覧が載っている電子マニュアルがあったり、専門用語辞書を内部的に持っていたりして、そういうのを使えるからいいのだけど、ウェブだとそんなのがないのでけっこうしんどい。ウェブデータからテキストマイニングしている人って、本当に顧客が満
自然言語処理紹介(就職編)
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sig 東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Networ
卒論・修論(それとES、報告書、blog)をスムーズに書く方法 - yumulog
結論から言うと、大事なことは以下の2つ。 手が止まったら頭を動かす 頭が止まったら手を動かす 手が止まったら頭を動かす 手が止まった(執筆作業が進まなくなってきた)時にがんばって手を動かそうとしても、やっぱりなかなか進まず、集中力はどんどん落ちていく。そしてさらに進まなくなるという悪循環に陥る。手が止まったら一旦筆を休めて頭を動かそう。 ノートに何か書く 書こうとしている文章の内容を箇条書きやツリー構造にして整理してみる、考えていることを絵にしてみる、等。一度執筆から離れて頭を整理すると全体像が見えてきて、今どこで止まっていて何が足りないのかわかり、書きやすくなる。 人と話す 前の会社で報告書を書いていた時のこと。測定と分析は終わっているのに、何をどう書けばよいかわからず1週間くらい全然進まないことがあった*1。で、どうしようもなくなって先輩に相談しに行った。困っていることを説明しようと状
大規模グラフアルゴリズムの最先端 - iwiwiの日記
昨日，PFI セミナーにて「大規模グラフアルゴリズムの最先端」というタイトルで発表をさせてもらいました．スライドは以下になります． 大規模グラフアルゴリズムの最先端 View more presentations from iwiwi 当日は Ustream もされており，録画された発表もご覧になれます． http://www.ustream.tv/recorded/19713623 内容の流れとしては，以下のようになっています． 導入 アルゴリズム界隈での話題 最新の研究動向 道路ネットワークでの最短路クエリ処理 基礎的な手法：双方向 Dijkstra，A*, ALT 最新の手法：Highway Dimension + Hub-Labeling Algorithm DB 界隈での話題 最新の研究動向 複雑ネットワークでの最短路クエリ処理 基礎的な手法：ランドマークを用いた最短距離推定 最
文系の研究者になりたい人達に知っておいてほしいこと - bluelines
もしあなたが、大学の授業を通して学んだ学問分野に、ものすごく心を惹かれているとしましょう。あなたはこう考えます「この研究は面白いなあ。もっと勉強してみたいな。大学院に行くのもいいかもしれないな。ひょっとしたら、この研究を仕事にして、それで食べていけるようになるかもしれないし！」 このエントリは、そんな人に向けた、「研究で食べていくことを目指すときに、知っておいて欲しいこと」です。対象は、いわゆる「文系」に絞ります。理系でも当てはまる部分はあると思いますが、あちらにはまた色々と異なる慣習があるので。 まずは、「研究で食べていく」とはどういうことか。文系の学問分野においては、それは殆ど「大学の先生になる」ということと同義です。「大学の先生」には、大きく分けて二通りの形態があります。 専任 非常勤 専任は、「その大学でフルタイムで仕事をする人」です。授業を担当し、会議に出席し、大学運営における様
こう言い換えろ→論文に死んでも書いてはいけない言葉３０
Author:くるぶし（読書猿） twitter:@kurubushi_rm カテゴリ別記事一覧 新しい本が出ました。 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部（紙＋電子） 2022/10/26 １４刷決定 累計260,000部（紙＋電子） 紀伊國屋じんぶん大賞2021 第３位 アンダー29.5人文書大賞2021 新刊部門 第１位 第２の著作です。 2017/11/20刊行、４刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대전』、繁体字版『線性VS環狀思考』も出ています。 こちらは１０刷
僕が最新科学ニュースをチェックしているサイトのご紹介です - 蝉コロン
科学明けましておめでとうございます。旧年中は大変お世話になりました。せっかくなので僕が普段チェックしているサイトをご紹介したいと思います。簡単に言うとこのブログのネタ元です。並べてみるとメジャーどころばかりだけど、こういう紹介すらあんまり日本語では見かけないので。 というのも、こないだ「Scientific Americanを読む*1習慣をつけて英語力を鍛えよ」みたいな話を聞いたのです。讃えよ鉄兜！ただScientific Americanは情報が多いと言うか興味のない分野も充実しているので、いくつかのサイトから好きな分野だけ取ってくると良いのではと考えた次第。そして私どものように、ブログ更新をモチベーションにいろんな科学記事の英文読んだらいいんじゃないかなとというご提案です。本当に英語力が上がるのかは分かりませんが、まあ馴染みは持てるだろう。 以下、よく見ている順です。僕が興味を持ってい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
Building earthquake semantic network by mining human activity from Twitter
Social Recommender Systems
Software
河原林 健一 - 国立情報学研究所/National Institute of Informatics