「きのこたけのこ戦争」ついに決着か NTTデータ、バレンタインデーのデータを解析
NTTデータは、2015年のバレンタインデーに起きた「きのこたけのこ戦争」をデータ解析。自社で開発している高精度テキスト分析API「なずきSA」を用いて調査した。 「なずきSA」はインターネット上の日本語テキストデータを解析するツール。単語などからポジネガ分析（ポジティブ・ネガティブ分析）するだけでなく、分野や感性を示す表現の判定を行い、高い精度で評価情報を抽出することができる。例えば、「ヤバイ」という単語はポジネガどちらの感情でも使われ得る言葉だが、前後の文脈などからポジティブに使われているか、ネガティブに使われているかを判定可能となっている。 「なずきSA」の仕組み 例1 例2 今回調査の対象となったのは、2015年2月1～17日までのツイート。最初に、バレンタインのソートとして「もらった」「あげた」「プレゼント」といったアクションの単語と、「きのこ」「たけのこ」という名詞でツイートを
プラスアルファ・コンサルティング、「ビッグデータ全社活用ソリューション」提供
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
ツイート分析で犯罪予知、米大学チーム報告
トルコ・イスタンブール（Istanbul）で警官隊との衝突をスマートフォン（多機能携帯電話）でソーシャルメディアに報告するデモ参加者（2013年6月3日撮影、資料写真）。(c)AFP/OZAN KOSE 【4月25日 AFP】マイクロブログのツイッター（Twitter）上に広がる世界には、犯罪捜査官らにとって有益な情報が隠されており、正しい分析が行われれば、特定の犯罪を予知できるとする研究報告が、米バージニア大学（University of Virginia）の研究チームによって発表された。 科学誌「意思決定支援システム（Decision Support Systems）」に先月発表された報告によると、ジオタグ（位置情報）のついたツイートの分析は、ストーカーや窃盗、特定の暴行など19～25種類の犯罪の予測に役立つ可能性があるという。 この研究を率いた同大予測技術研究所（Predictive
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
Apache Mahoutの使い方：テキスト分類のアルゴリズムを活用する
ビッグデータ活用：その分析実装として注目されるMahout 長年蓄積した企業内データや、ソーシャルネットワークサービス、センサ端末から集められる膨大なデータを活用し、企業における利益向上やコスト削減などに活用する動きが活発になってきました。 データの分析手段として最近とみに注目されている技術として「機械学習」があります。大規模データの処理を得意とする大規模分散処理基盤「Apache Hadoop」の強みを生かし、簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを用いたデータ分析の例として「文書分類」を取り上げます。マシンを用いて分析実行する際の手順や陥りがちなポイント、チューニング方法の一例を紹介します。 Mahoutとは？ MahoutとはApache Software Foundationが公開しているOSSの機械
都立大 自然言語処理研究室 - 自然言語処理を学ぶ推薦書籍
自然言語処理を学ぶ推薦書籍を紹介します。2021年03月現在、自然言語処理を勉強したい理工系の学生・エンジニアの人は、以下の本を推薦します。 （概要）自然言語処理（放送大学出版） （理論）言語処理のための機械学習入門＋深層学習による自然言語処理 （実装）Python 機械学習プログラミング 第3版 自然言語処理を勉強したい、非理工系・非エンジニアの人には、以下の本を推薦します。 （数式なし）自然言語処理の基本と技術 （数式あり）自然言語処理（放送大学出版） オライリーから出ている「入門 自然言語処理」は特殊な本（詳しい人がこれを使ってレクチャーしてくれるならともかく、独習に向いていない）で、Python 2 で書かれているだけでなく、すでに動かなくなったコードも多々あり、2019年時点では読まない方がいい本です。（それでもどうしても、意地でも読みたい人は、本家にある Python 3 対応
自由回答データを定量的な切り口で分析するには？ ― ＠IT情報マネジメント
Webなどを通じて、顧客や利用者の意見を集めることが簡単にできるようになってきた。しかし、非定型の自由回答データは非常に有意義な意見を得ることができる反面、分析するのに手間が掛かる。手軽に定量分析する方法はないだろうか？ Webや電子メール、ケータイの普及で、幅広くさまざまな意見を募ることが安上がりにできるようになってきました。最近ではブログやSNSなどのCGMと呼ばれる口コミ系メディアも花盛りです。 Webアンケートも広く行われていますが、アンケートの回答は「出題側の仮説に影響される」という制約があり、“意外な発見”にはなかなか結び付きません。 一方、メールなどで寄せられる自由回答や意見・要望はそうした制約もなく、何かビジネスのヒントがありそうですが定量的な分析ができないという弱みがあります。せいぜい分析者が文章を読んで主観的に解釈するぐらいにしか活用していないのではないでしょうか？ あ
高速文字列解析の"別"世界 - 気ままなブログ
1月に「高速文字列解析の世界」を購入してから半年が経ちました。以下、文字列本と呼びます。 高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング (確率と情報の科学) 作者: 岡野原大輔出版社/メーカー: 岩波書店発売日: 2012/12/27メディア: 単行本購入: 15人 クリック: 324回この商品を含むブログ (4件) を見る 全文検索として、「CSA」や「FM-Index」が紹介されていますが、「全文検索システム」を作るには、これらだけでは不十分です。なぜなら、以下のような特徴があるからです。 文書IDの識別が遅い。 各文書IDに出現する頻度を求めるのが遅い。 ちなみに、転置インデックス(or N-gramインデックス)を使った場合、これらの処理は高速ですね。 インデックスを圧縮しているのだからしょうがないとも考えられますが、作りたいですよねぇ、「全文検索システム」。こ
テキストマイニング技術の活用に向けて読んでおきたい12のプレゼン資料 - コーパスいぢり 〜langstatの研究日誌〜
10年同じお店に通い続けたことなんてなかったんじゃないかな 1月末で行きつけの飲み屋が閉店してしまった。ひとりで飲みに行けるようなお店はそのお店しかなかったので、完全にひとり飲み難民である。 とはいえ、子が生まれてからの1年以上、もっといえば生まれる少し前からなので1年半以上はそれ以前（たぶん週2くらい）のペース…
専門外の人でも『遺伝統計学の基礎』を読むべき理由｜Colorless Green Ideas
遺伝研究者だけでなく、統計を使う必要がある人ならば読むに値する。やさしくはないが、様々な統計手法が分かりやすく書かれている。また、概念でなく、目的や意義をベースに説明しているという特徴がある。 はじめに 今日は、以下の遺伝統計学に関する本を紹介したい。タイトルに「遺伝統計学」と書かれているが、遺伝と関係のない分野の人にとっても、統計を学ぶ際に有用な本であると思う。 山田亮 (2010). 『遺伝統計学の基礎―Rによる遺伝因子解析・遺伝子機能解析』 東京：オーム社． この本は、タイトルにあるように、遺伝に関わる現象を数理的・統計的に扱う手法について書かれている。このため、出てくる事例は遺伝に関するものが多いが、この本で扱われている数理的・統計的手法は他の分野に通用する。 また、説明も非常に分かりやすく、かなり読みやすい教科書である。遺伝の研究者であるかどうかに関わらず、統計を使う必要がある分
Rubyによる形態素解析エンジンokura 0.0.1をリリースしました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました｡ まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが､いちおう動くレベル*1になったので公開します｡ 注意事項 バージョン0.0.xのうちは､インタフェースや辞書フォーマットは頻繁に変更される予定です｡ ある程度安定したら0.1.0出します｡ 今のところ､Ruby1.9系専用です｡ 取得 gem install okuraでインストールできます｡ ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します｡ 動作確認はMeCab用NAIST辞書で行いました｡ 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
goo ラボ - ベータサービス&トライアルサービスを体験
Amazon CAPTCHA