[B! テキストマイニング] kitanowのブックマーク

【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法

はじめまして、レバレジーズSEOチームです。私達は自然言語処理を用いてSEO施策を行っています。自然言語処理というのは、人間が普段使っている言語をコンピュータなどの機械に処理させることを指します。Googleなどの検索エンジンがWebページを理解するために用いていると考えられています。今回は、自然言語処理を行うためのテキストマイニングの手法をいくつか紹介しようと思います。 ■形態素解析とテキストマイニングまず第一に、検索エンジンがWebページを読み込んで、そのページに何が書かれているのか・何を強調したいのか・どのような文脈なのかを人間のように理解することは一般的に難しいとされています。とりわけ日本語の場合、The pen is made in German.など、 ”The”,”pen”,”is”,”made”,”in”,”German”とスペースで区切られた英語とは異なり、「ドイ

kitanow 2014/10/04

リンク

Clojure/kuromojiでテキストマイニング入門　～形態素解析からワードカウントまで～ - あんちべ！

[テキストマイニング] Clojureでテキストマイニングをしたい！という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。この記事の通り手を動かすと、様々なテキスト、例えばアンケートの自由記述やブログ、twitterなどの文章に形態素解析を掛け、ワードカウントと呼ばれる、ある単語が何回出現しているのかを解析する手法を使えるようになります。これを利用し、出現単語を頻度順に並べてランキングを作るなどして、その文書の特徴を明らかにするなどが出来るようになります。ある程度コンピュータを使えることは求めますが、プログラミングの前提知識はさほど求めていません。そのため、所々天下りなところ（ここはとりあえずこうやってください！と説明無しの記述）もありますが、ご容赦ください。形態素解析とは？形態素解析とは、

kitanow 2013/09/15

リンク

TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』

This appendix contains 34 tables and figures with thermodynamic property data for various common gases, liquids, refrigerants and other substances. Table A-1 lists the molar mass, gas constant and critical point properties for over 30 common gases and refrigerants. The appendix provides property data including temperature-dependent properties of saturated liquids and gases, ideal gas properties, e

kitanow 2012/03/11

リンク

テキストマイニングのための機械学習超入門　一夜目 - あんちべ！

テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追って解いていきますし、必要な数学知識はその都度説明し、前提知識は求めませんので「数式出てくるの？じゃあついていけないのでは…」という心配は不要です。この記事の特徴は「機械学習の手法をやたら冗長な数式と過剰なまでの例を用いて、くどくどと同じ話を何度も説明する」ことです。筆者ことあんちべは純文系出身で、数学や統計学、プログラミングは全然学生時代やってこなかった上、業務でも機械学習を使うことなんて皆無、それどころか機械学習なんて言葉は就職してからよう

kitanow 2011/11/05

リンク

Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム

Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム：テキストマイニングで始める実践Hadoop活用（最終回）（1/3 ページ） Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します Passive-Aggressiveとロジスティック回帰で精度向上前回の「実践！「MapReduceでテキストマイニング」徹底解説」では、「青空文庫」の作品から学習を行い、テキストデータから著者の寿命を推定するMapReduceプログラムを作成しました。今回は、前回のプログラムを少し変更するだけで、精度が上がる「Passive-Aggressive」というアルゴリズムを実装します。また、テキスト分類のアルゴリズムと

kitanow 2011/09/30

リンク

Amazon.co.jp：テキストマイニングを使う技術/作る技術―基礎技術と適用事例から導く本質と活用法: 那須川哲哉: 本

kitanow 2011/09/23

リンク

第3回さくさくテキストマイニング勉強会に参加しました #sakuTextMining - nokunoの日記

というわけで参加してきました。会場は数理システムさんです。第3回さくさくテキストマイニング勉強会 : ATND 入門セッション（AntiBayesian）第三回さくさくテキストマイニング勉強会　入門セッション View more presentations from AntiBayesian 単語重要度入門〜テキストをダイエットさせよう〜（ toilet_lunch ） TF*IDFの話えっ私のテキストマイニング力低すぎ！？例：大量のアンケートの自由回答文から重要な単語を抜き出す例：エビオス嬢についての文章 TF*IDFとは TF（単語の頻度） * IDF（単語が含まれる文書割合の逆数（の対数））直感的ば解釈：ある文書でよく使われていて、他の文書ではあまり使われていない単語は、その文書をよく表しているなんで対数取るんだっけ・・・ IDFの影響が大きすぎるので小さくしたい→対数

kitanow 2011/06/19

テキストマイニング

リンク

第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記

というわけで参加してきました。第1回にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201