「高速文字列解析の世界」を読む前に知っておくと良いこと - EchizenBlog-Zwei
「高速文字列解析の世界」という大変すばらしい本が発売された。わりと敷居が高い本ではあるので読む前に知っておくとよさそうなことを書いておく。 「高速文字列解析」とは 本書でいう高速文字列解析というのは主に2つのことを指している。ひとつはデータを圧縮して小さくしてディスクよりメモリ、メモリよりキャッシュというようにより高速な記憶装置で扱いましょう、という話。もうひとつはデータ構造を工夫することで複雑な操作もそこそこ高速に扱えますよ、という話。つまり「圧縮」の話と「効率的なデータ構造」の話があると考えておくと良い。 キーワードは3つ オビにも書いてあるけれど、本書が主に扱うのは「BWT」「簡潔データ構造」「ウェーブレット木」の3つ。具体的には「BWT」が「圧縮」に関わっていて「ウェーブレット木」が「効率的なデータ構造」に関わっている。「簡潔データ構造」は基本的な道具として本書の色々なところで出て
"高速文字列解析の世界"を読んだ - 射撃しつつ前転 改
高速文字列解析の世界というタイトルからは、どんな中身なのかあまり伝わってこないので、どんなことが書いてある本なのか、中身をちょっと紹介してみる。 1章、2章は概観や準備であり、3章からが本番なのだが、Burrows Wheeler Transform、簡潔データ構造、ウェーブレットツリー、データ圧縮、全文検索、テキストマイニングのためのデータ構造、という章題になっている。 何に使うのかという目的ベースで考えると、この本に載っているのは、データ圧縮、情報検索とテキストマイニングの基盤技術である（データ圧縮については基盤と言うよりはそのものだが）。ただ、この本には本当に基盤技術の話しか載っていないので、「この本で情報検索はバッチリだぜ！！」というような訳にはいかない。テキストマイニングに関しても同様である。別途入門書を読むなりしないと、より高次元（ここでの高低は技術の積み重ねの高低であり、難し
テキストマイニングのための機械学習超入門 二夜目 パーセプトロン - あんちべ！
一夜目はパターン認識と機械学習の概要を学びました。今夜は、識別部で用いられる機械学習の基本的な線形識別器である「パーセプトロン」を具体的に学びたいと思います。「線形識別器？パーセプトロン？何それ？」字面は厳しいですが、手を動かしてみると意外と簡単に理解できます。今夜からは数式をバリバリ使っていきますし、手を動かしていただきます。「必ず」手元にペンと紙を用意してください。そうは言ってもパーセプトロンが一体何なのか、機械学習の中でどのような位置づけなのかがわからないと混乱するかもしれません。パーセプトロンの説明へ入る前に、機械学習の3つのアプローチをご紹介します。 ●機械学習の３つのアプローチ - 識別関数、識別モデル、生成モデル 機械学習は大きく分けて識別関数、識別モデル、生成モデルという３つのアプローチがあります。 識別関数 := 入力データを見て、特定のクラスに属するよう識別（代表的な手
テキストマイニングのための機械学習超入門 一夜目 - あんちべ！
テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追って解いていきますし、必要な数学知識はその都度説明し、前提知識は求めませんので「数式出てくるの？じゃあついていけないのでは…」という心配は不要です。この記事の特徴は「機械学習の手法をやたら冗長な数式と過剰なまでの例を用いて、くどくどと同じ話を何度も説明する」ことです。 筆者ことあんちべは純文系出身で、数学や統計学、プログラミングは全然学生時代やってこなかった上、業務でも機械学習を使うことなんて皆無、それどころか機械学習なんて言葉は就職してからよう
第6回 ソーシャルメディアから有用な情報を選り抜く方法
本連載の第5回からは、「Twitter」や「フェイスブック」といったWeb上の文章を顧客の声（VOC＝Voice of Customer）と見なして分析するための手法を紹介している。まず第5回では、自動投稿ツールなどによるゴミ情報と、引用文を選り分けて捨てる手法を解説した。これらがWeb情報の約20％を占めるので、ここまでで分析対象のコンテンツは8割程度に減っている。 しかし、まだWeb上のテキストを分析するうえでの4つの課題のうち、3つが残っている（図1）。第5回で紹介した分析手法は、｢顧客の声はゴミまみれ」に対応するものだった。 2つ目の課題は「顧客の声の主旨がばらばら」だ。意味のある話題を選り分けなければ、自社にとって関係のない話題や、アフィリエイト目的の記事、根も葉もないデマ・風評なども分析対象になってしまう。 3つ目と4つ目の「顧客の声はすぐに変化する」「顧客の声の拡散が速い」と
Rによるtwitterテキストマイニング 〜テキストに対する学習とは〜 - あんちべ！
あんちべのすべらない話〜俺のツイートがこんなにウケないはずがない〜 View more presentations from AntiBayesian 自分のtweetがウケるか滑るかをpostする前にrandomForestで判別してみよう！ LTは制限時間10分だったため、詳細は意図的に省きました。 本記事では皆さんにも実践頂けるよう、学習データの作り方についてスライドより詳しく説明したいと思います。 ●そもそも「学習する」とは？ 今回の目的は、自分のツイートがfav(面白い), non(普通)のどちらになるか分類することです。 そのためには「favになるツイートはどのような特徴を持っているか？」を明らかにしなければなりません。 特徴が明らかになっていれば、 ・このツイートはfavの特徴を強く持っている→favに分類 ・このツイートはfavの特徴を殆ど持っていない→nonに分類 という
Rによるtwitterテキストマイニング 〜テキストに対する学習とは〜 - あんちべ！
あんちべのすべらない話〜俺のツイートがこんなにウケないはずがない〜 View more presentations from AntiBayesian自分のtweetがウケるか滑るかをpostする前にrandomForestで判別してみよう！ LTは制限時間10分だったため、詳細は意図的に省きました。本記事では皆さんにも実践頂けるよう、学習データの作り方についてスライドより詳しく説明したいと思います。 ●そもそも「学習する」とは？今回の目的は、自分のツイートがfav(面白い), non(普通)のどちらになるか分類することです。そのためには「favになるツイートはどのような特徴を持っているか？」を明らかにしなければなりません。特徴が明らかになっていれば、・このツイートはfavの特徴を強く持っている→favに分類・このツイートはfavの特徴を殆ど持っていない→nonに分類というモデルを作成可能
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
第4回 類似話題を自動抽出して時系列観察すれば予兆は見つかる
前回の第3回では、B to Cビジネスにおいて、トラブルの予兆管理が不可欠な課題になってきたことと、予兆発見のヒントについて解説した。さらに予兆発見のヒントとして、（1）予兆を補足するキーワードは事前に設定できない、（2）「類似する意見が複数あること」が予兆の手かかりになる、（3）複数の類似意見があるだけでなく、時系列で急増していることを示せれば、「おかしい！」と気づける可能性が増える――の3点を説明した。 今回は、テキストマイニングツールのどんな機能をどう活用すれば、予兆管理が現実になるのかを解説していく。 予兆の発見は、テキストマイニングの分野では古くから取り組まれてきた課題である。ただし、ツールが普及し始めたおよそ10年前に提案された活用法はこのようなものだった。 もちろん方法（a）では、予兆を抽出できない。この方法は、過去にあった事象を見つけるだけであり、実務で役に立つことはほとん
大量のテキスト情報を課題解決に役立てる - 大量のテキスト情報を課題解決に役立てる：ITpro
企業は顧客の声などの大量のテキスト情報を容易に収集し蓄積できるようになった。だが、その全体像や動向を効率的に把握する手段を持たなければ、業務改善や課題解決には役立てられない。そこでテキストマイニングツールを「VOC（Voice of Customer＝顧客の声）への対応」「僅かな予兆への対応」「ウェブマーケティング」といった課題解決に役立てるコツを、事例をベースに解説していく。 目次
テキストマイニング 見える化エンジン│プラスアルファ・コンサルティング-テキストマイニング-
テキストマイニングツール「見える化エンジン」のご紹介│テキストマイニング（アンケート分析・収集、コールログ分析、ブログ分析・収集、クチコミ分析）のソリューションカンパニー
言語理解とコミュニケーション研究会 - 言語理解とコミュニケーション研究会
お知らせ 第11回自然言語処理シンポジウムの発表募集中です． 日程：2024年12月12日（木），13日（金），14日（土） 場所：名古屋大学 第11回自然言語処理シンポジウム：発表募集 研究賞2023年被表彰者を公開しました NLC研究会紹介 NLCとはこんな研究会です 直近で行った研究会 2024年9月2日，3日 第21回テキストアナリティクス・シンポジウム 2024年3月10日，11日 2024年3月研究会（NLC＆NL合同研究会） 2023年12月2日〜4日 第10回自然言語処理シンポジウム 2023年9月6，7日 テキストアナリティクス・シンポジウム（FIT2023併催） 2022年8月16日 2023年8月研究会（NLC＆ICS合同研究会） 2023年3月18日 2023年3月研究会（NLC＆NL合同研究会） 2022年11月29日〜12月1日 第9回自然言語処理シンポジウム
第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
Text Mining Studio 分析 -- テキストマイニングツール Text Mining Studio
Text Mining Studio ( TMStudio ) は、豊富な分析機能を備えています。 各分析結果は以下のようなグラフによる表示以外にもグリッドによる表示、CSV等による書き出し、レポート出力もできます。こちらも合わせてご参照ください。 基本情報 データの総量や 1 行の平均的な単語の数、品詞の情報などのテキストに関する基本情報や、属性毎の集計など、分析を行う上でまず知っておく必要のある情報を得るための分析です。 ビジュアル集計 属性情報を様々な角度から集計・可視化することができます。キー毎の集計やクロス集計をインタラクティブに行い、その結果を豊富なグラフ表示機能により、手軽に閲覧することができます。 単語頻度解析 単語の頻度に関する情報を表示します。属性毎の集計も可能です。様々なグラフでの表現により、多くの情報を得ることができます。また、属性を 2 種類指定し、クロス集計結果
Hidden CRFを用いた評判分析 - nokunoの日記
Google社員の公開論文のRSSを購読しているのですが、そこで面白い論文を見かけたので流し読みしました。この論文自体はGoogleでインターンをした学生の研究のようですが、Hidden CRFを用いた評判分析というテーマでなかなか面白いと思いました。“Discovering fine-grained sentiment with latent variable structured prediction models”, Oscar Tackstrom, Ryan McDonald, European Conference on Information Retrieval, 2011.(pdf) 問題設定入力文書が複数の文で成り立つとき、「文書単位の評判」と「文単位の評判」を判別したい。ここで評判とはポジティブ/ネガティブ/中立の３値を取る。評判の対象の決定は手法に含まれない。与えられた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストマイニング技術の活用に向けて読んでおきたい12のプレゼン資料 - コーパスいぢり 〜langstatの研究日誌〜
TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』
TRUE TELLER｜統合型テキスト・マイニング分析システム
http://.jp/wiki/