Perlではじめるテキストマイニング - JPerl Advent Calendar 2009
Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ ■前置き みなさんこんにちは。ダウンロードたけし（寅年）です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング／テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは
クリック統計学に陥らない、とりあえず5つの方法 - 女教師ブログ
クリック統計学をマスターする、ただ５つの方法 - 女教師ブログのＢ面クリック統計学エクセルや統計ソフトのボタンを「クリック！」することで統計解析を行う学問。最近の統計ソフトは、分析結果を提示する際に必要な係数や情報を、一回のクリックで一度に出力してくれる便利なものが多い。しかし、そうした便利さゆえ、「統計学とは何ぞや」ということをちっとも理解していないような、ひどい統計解析を行う立場。および、そうした立場を「統計はツールなんだし、数式なんて覚えなくていいじゃん」のように開き直る理論的態度。*1 1. 似た変数を統合する前に、単純集計・クロス表・グラフなどをつかって、「生データ」の特徴を徹底的に調べましょう。 たとえば、英語読解力、語彙力、発音の正確さ、流暢さなどが、すべて英語力に関係するものだからといって、それを統合していい理由は少しもありません。「似ている」「関係している」というのと、「
「膨大なデータを分析して見えてくること」ニコニコ動画データ分析研究発表会
日本最大の動画投稿サービス「ニコニコ動画」は、動画上を流れるコメントや、自由に編集できるタグ機能といった特徴を持ち、単なる動画共有サービスにとどまらず、コミュニティサイトとしての側面も持つ。多くの人がアクセスする中で「アイドルマスター」「初音ミク（VOCALOID）」「東方プロジェクト」など、いろいろなムーブメントが生まれてきた。 今も毎日多くの動画が投稿されており、各動画は「再生数」「コメント数」「マイリスト数」などの情報がわかるようになっている。すでに投稿動画数は200万本を超えるが、これら膨大なデータを分析することで、どんな現象やコミュニケーションが起きているのかを明らかにしようとするのが今回の発表会の目的である。 分析する際の2つの障壁 独自にデータ収集が必要であること しかし、そもそもニコニコ動画自体はデータを分析しやすいように広く提供しているわけではない。1つ1つの動画の再生数
IT news, careers, business technology, reviews
Heads on: Apple’s Vision Pro delivers a glimpse of the future
プログラマーに最適なデータマイニングの教科書 『集合知プログラミング』 - 図書館情報学を学ぶ
集合知プログラミング 作者: Toby Segaran,當山仁健,鴨澤眞夫出版社/メーカー: オライリージャパン発売日: 2008/07/25メディア: 大型本購入: 91人 クリック: 2,220回この商品を含むブログ (277件) を見る当初はサンプルコードがPythonということで購入した本書ですが、読んでみると内容の素晴らしさに驚嘆しました。私が今までに読んだオライリーシリーズでも屈指の名作だと思います。 『集合知プログラミング』とは 『集合知プログラミング』は、Amazonの協調フィルタリングのように、ウェブ上のデータを収集してユーザーの嗜好にあったコンテンツを推薦したり、大量のデータを分かりやすく分類・可視化するプログラムを簡単に実装する技術を解説した書籍です。Webプログラミングをかじったことのある方でしたら、だれしもAmazonのような推薦サービスを作ってみたいと思ったこと
KH Coder: 計量テキスト分析・テキストマイニングのためのフリーソフトウェア
概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介（スクリーンショット） スクリーンショット集 ［旧ページ：言葉・文書・可視化・他］ KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチュートリアル ヘルプ 質問＆エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要（無料）［旧掲示板］ よくある質問（FAQ） 開発者が語る公式セミナー & サポート：㈱SCREEN A
データの分析
以前にRFM分析について説明しましたが、データは分析してこそ役に立ちます。 データを蓄積するだけでは宝の持ち腐れで何の役にも立たないのです。 しかし、データ分析は本格的に実施しようとするとかなり専門的な知識を必要とし、それなりのコストがかかります。 今回は、データの分析そのものが目的ではなく、分析結果をビジネスに活用することを目的とした場合に何をどうすればいいのかを考えてみたいと思います。 ■分析の必要性 ずっと昔は、欲しいものはオーダーして作ってもらうというのが当たり前でした。というより大量生産されたものなどなかったので、欲しいものは作ってもらうしかなかったのです。 それが、大量生産により、必要とするものはオーダーしなくても手に入るようになったのです。オーダーと違って多少満足のいかないところがあっても少し妥協することで安くその場で手に入るのです。 しかし、生活が豊かになるにつれて、この大
MySQLクイック・リファレンス
この文書は、osCommerceで使用しているデータベースMySQLの基本的な使い方について解説しています。おもにデータベースの管理者よりも、ユーザに向けて書かれています。 はじめに ここでは、MySQLサーバは起動しているものとして説明します。 MySQLの文字について MySQLでは、データベース名やテーブル名の大文字と小文字を区別しています。それ以外は区別しません。 MySQLのフィールド名やテーブル名に使える文字は、英数字と_（アンダーバー）、$、サーバのキャラクタセットにある文字です。 知っておきたいコマンド mysqladmin（データベースの作成・削除や、MySQLサーバの情報を得る） mysqlshow（データベース、テーブルの情報を表示する） mysql（MySQLクライアントの起動） mysqldump（データベース、テーブルをダンプする） myisamchk（テーブル
R言語マニュアル1 - Pukiwiki
インストールを始める前に，自分のノートパソコンが無線ランにつながっているかどうか，確認してください．つながっていない場合は，マニュアルで必要なファイルを各自のPCにコピーします． † ↑ R言語インストールの手順 † この授業では，R言語及びGUI（グラフィカル・ユーザ・インターフェース）を以下の手順でインストールします． R-2.2.1 (Windows版)のインストール Rコマンダー（Rcmdr）と関連パッケージのインストール：マウス操作だけで解析を行うためのツールです ↑ R-2.2.1 Windows版のインストール † 日本語インターフェースを持つR-2.1.1 Windows版をインストールします． RWikiサイトの説明に準拠しています． このサイトにアクセスし，R-2.2.1-win32.exeをクリックしてください． 以下の画面が出たら，「保存」をクリックします． 保存場
R による統計処理
「Rによる統計解析」 オーム社 刊 サポートページ 目次 第1章 Rを使ってみる 第2章 データの取り扱い方 第3章 一変量統計 第4章 二変量統計 第5章 検定と推定 第6章 多変量解析 第7章 統合化された関数を利用する 第8章 データ分析の例 付録A Rの解説 付録B Rの参考図書など はじめに R とは何か，何ができるかのリンク集（日本のもののみ） R を使うためにはどうしたらいいの？ データなどの読み書き R の定石（R に限らずプログラミングの定石も） R を使って実際に統計解析をする AtoZ 一連の流れ データファイルの準備をする 分析してみる 分析結果を LaTeX で処理したり，ワープロに貼り込んだりする 道具立て 連続変数データをカテゴリーデータに変換 カテゴリーデータの再カテゴリー化 度数分布表と度数分布図の作成 散布図・箱髭図の描画 クロス集計（独立性の検定，フィ
R-2.7.2 for Windows
This directory contains a Windows binary distribution of R-2.7.2 (r46428). A pre-release build of R 2.8.0 is now available. Please test it! Patches to this release are incorporated in the r-patched snapshot build. A build of the development version (which will eventually become the next major release of R) is available in the r-devel snapshot build. In this directory:
RjpWiki - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですRjpWiki はオープンソースの統計解析システム 《R》 に関する情報交換を目的とした Wiki です † どなたでも自由にページを追加・編集できます． (初めて投稿・既存記事への追加・修正を行なう方はこのページ末の注意*1を御覧下さい) ページへのファイル添付については、画像ファイルのみパスワードなしで可能としてあります(ページ上部「画像添付」より)。その他のファイルの添付はパスワードを入力することで可能です(ページ上部「ファイル添付」より)。現在のパスワードは, Rでの round(qt(0.2,df=8),3) の実行結果です。 スパム書き込みに対処するため、書き込み系の処理に対してパスワードを設けました。ユーザ名の欄には，Rで round(qt(0.2,df=8),3) を実行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
マイクロソフト BI チームのブログ: データ マイニング
本物そっくり「疑似個人情報」を無償提供
IT news, careers, business technology, reviews
社会実情データ図録 Honkawa Data Tribune
Amazon.co.jp: 図解アンケ-ト調査と統計解析がわかる本: アンケ-ト調査の企画・実査・集計から統計解析の基本と多変量解析の実務まで (実務入門): 酒井隆: 本
Amazon.co.jp: フレッシュマンから大学院生までのデータ解析・R言語: 渡辺利夫: 本
rseek.org - rstats search engine