Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
《Gunosy》開発チームから学ぶ、WEB業界人のための“統計学入門” | キャリアハック（CAREER HACK）
今、WEB業界で最もホットなテーマの一つである“統計学”。だが、一般的にはなかなか馴染みのない分野でもある。そこで、統計解析・データマイニングに基づいた高精度なパーソナルニュースキュレーションサービス《Gunosy》の開発チームを直撃。「はじめての統計学」と題し、統計学の基礎を教えていただいた。 今さら聞けない、統計学の基礎知識。 ここ最近、WEB業界において“統計”がキーワードになっている。だが、そもそも“統計学”は数ある専門分野の一つ。実はよく分かっていなくて…という方も、少なくないのではないだろうか？ 今回、その統計学について基礎の基礎から教わるべくお話を伺ったのが、話題のニュースキュレーションサービス《Gunosy》（グノシー）を手がける、福島良典さん、関喜史さん、吉田宏司さんの3名。まずは《Gunosy》について、簡単にご紹介しておこう。 左から、吉田宏司さん、福島良典さん、関喜
Tiny TextMinerでテキストマイニング（その2）
随分と前にTTM: TinyTextMiner でテキストマイニングで、無料のテキストマイニングツールについて紹介をしましたが、最近になってまた使ってみています。TTMは、辞書機能を備えているので、形態素解析器の辞書にない語彙をキーワードとして登録したり、同義語の定義をしたり、不要な語を削除することが容易にできます。テキストマイニングで一番大切な作業はこの辞書の整備だったりもします。 Tiny Text Miner については、以前下記のように紹介しています。 Tiny TextMinerとは、大阪大学大学院経済学研究科 松村研究所の松村真宏氏が公開しているフリーのテキストマイニングツールです。形態素解析にMeCabを利用して、単語の出現頻度と出現件数（単語を含むサンプル件数）を出力します。また係り受け解析のCaboChaと連携して係り受けによる、出現頻度と出現件数を出力することもできます
第5回さくさくテキストマイニングで､形態素解析アルゴリズムについて発表しました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
今やってる仕事の関係で､形態素解析アルゴリズムについてちょっと調べる必要があったので､ついでにRubyで形態素解析ライブラリを作ってみた｡という内容の発表です(のはずだが､Rubyのコードが一文字も書いてないですね……)｡ スタート形態素解析 View more presentations from todesking ちょっとプレゼンのクオリティがひどいので､近いうちにブログで補足記事を書こうと思っております｡ ソースは https://github.com/todesking/okura にて公開中｡ Pure Rubyでgem一発で入るような形態素解析ライブラリがあると､Windowsやherokuなどで形態素解析動かせてけっこうべんりなきがします｡ 直近(来週くらい)の開発では､ gem化 辞書もgem化 辞書のコンパイル Double Array Trieの採用 未知語処理対応
テキストマイニングを活用して顧客と向き合う ライトオンの見える化エンジン活用事例
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
江崎グリコが取り組むテキストマイニングは広告キャンペーンをどう変えるのか
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
無料で読めるデータマイニングの教科書「Mining of Massive Datasets」
無料で読めるデータマイニングの教科書「Mining of Massive Datasets」 2011-03-31-3 [Algorithm] フリーで公開されてる Data Minig の教科書。PDF で入手可能。iPad で読んでいます。 - Anand Rajaraman and Jeff Ullman, "Mining of Massive Datasets" http://infolab.stanford.edu/~ullman/mmds.html Chapter 1 Data Mining Chapter 2 Large-Scale File Systems and Map-Reduce Chapter 3 Finding Similar Items Chapter 4 Mining Data Streams Chapter 5 Link Analysis Chapter 6
RjpWiki - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですRjpWiki はオープンソースの統計解析システム 《R》 に関する情報交換を目的とした Wiki です † どなたでも自由にページを追加・編集できます． (初めて投稿・既存記事への追加・修正を行なう方はこのページ末の注意*1を御覧下さい) ページへのファイル添付については、画像ファイルのみパスワードなしで可能としてあります(ページ上部「画像添付」より)。その他のファイルの添付はパスワードを入力することで可能です(ページ上部「ファイル添付」より)。現在のパスワードは, Rでの round(qt(0.2,df=8),3) の実行結果です。 スパム書き込みに対処するため、書き込み系の処理に対してパスワードを設けました。ユーザ名の欄には，Rで round(qt(0.2,df=8),3) を実行
RでYahoo!の日本語解析APIを使うパッケージを作ってみました - yokkunsの日記
Rでテキストマイニングをする場合、RMecabや、RCaBoChaがあるんですが、事前にMecabやCaBoChaをインストールする必要があり、これから始める人にはちょっと敷居が高いところがあるかと思います。 RMeCabとRCaBoCha - yokkunsの日記 RCaBoChaの64bit版が公開されたので試してみた - yokkunsの日記 もっと気軽にRだけで動かしてみるものがあっても良いかなと思い、Yahoo! Japanが提供しているテキスト解析APIを使うパッケージを作成してみました。CRANにコミット済みです。 CRAN - Package YjdnJlp 以下の機能をサポートしています。 形態素解析 係り受け解析 キーフレーズ抽出 インストールと読み込み > install.packages("YjdnJlp") > library(YjdnJlp) 要求されたパッケー
第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
TTM: TinyTextMiner でテキストマイニング
Tiny TextMinerとは、大阪大学大学院経済学研究科 松村研究所の松村真宏氏が公開しているフリーのテキストマイニングツールです。形態素解析にMeCabを利用して、単語の出現頻度と出現件数（単語を含むサンプル件数）を出力します。また係り受け解析のCaboChaと連携して係り受けによる、出現頻度と出現件数を出力することもできます。 ※ Tiny TextMinerでテキストマイニング（その2）もご覧ください csv形式のタグ付きテキストデータを読み込んで下記の６種類の出力結果が得られます。 語のタグ別出現度数（出現頻度） 語のタグ別出現度数（出現件数） 語×タグのクロス集計（出現頻度） 語×タグのクロス集計（出現件数） 語×語のクロス集計（出現件数） テキスト×語のクロス集計（出現頻度） Tiny TextMinerのインストール Tiny TextMinerのインストールを参照して下
BLOG::broomie.net: 無料でよめる機械学習・自然言語処理の教科書
夏いですね．最近この手の記事ばかりで大変恐縮ですが，機械学習に関するウェブ上で手に入る無料のテキストが紹介されていたので，共有したいと思います．ほとんどは以前に僕が紹介している(時々更新しています)「機械学習・自然言語処理のリソースリンク集」に入っているのですが，改めて紹介いたします．おそらく，他ブログでも紹介しているようにも思えますが，このサイトの紹介がてら引用させていただこうと思います． MetaOptimize / 最近ちょっと話題になっている「MetaOptimize /」という機械学習のサイトのQ&Aで紹介されていました．まじめに見ていなかったのですが，このサイト非常に有用でおもしろいですね． 特に同サイトの「qa」はかなり有用かと思いました． フリーの機械学習テキスト 話を戻しますと，興味深いQuestionsがたくさんあるのですが，今回注目したのは「Good Freely A
正しい日本語を使えていますか？文章＆会話チェックに使えるサイト - はてなニュース
「愛想を振り撒く」「合いの手を打つ」「上には上がいる」。どれもよく耳にする言葉ですが、誤用であることをご存じでしょうか。実は「愛嬌を振り撒く」「合いの手を入れる」「上には上がある」が正しい使用方法なんです。このように、日本人であっても正しい日本語を使いこなすことはとても難しいですよね。そこで今回は、正しい日本語をマスターするために役立つサイトを集めてみました。 ■日常にありがちな誤用をチェックしよう ▽言葉の誤用 - 間違って使っていませんか？ 誰かと話している時に「その使い方間違ってるよ」なんて指摘されたことありませんか？こちらのサイトでは、日常生活でついつい使いがちな「実際にはない言葉」「意味を間違えている言葉」「読み間違えやすい言葉」などが50音順で紹介されています。 ■「情けは人のためならず」の正しい意味、答えられますか？ ▽「世間ずれ」「失笑」「他力本願」の正しい意味は？ 間違っ
形態素解析で『ボジョレー・キャッチコピーメーカー』作ってみた - 5.1さらうどん
ボジョレー・ヌーヴォー 毎年「今年は最高！」の怪 - Ameba News求むボージョレ・ヌーヴォーのはずれ年 - タケルンバ卿日記ボジョレーの評価が毎年、少年漫画並にパワーインフレを起こしているよねー、というお話を聞いてしこたま笑ってた。 95年「ここ数年で一番出来が良い」96年「10年に1度の逸品」97年「1976年以来の品質」98年「10年に1度の当たり年」99年「品質は昨年より良い」00年「出来は上々で申し分の無い仕上がり」01年「ここ10年で最高」02年「過去10年で最高と言われた01年を上回る出来栄え」「1995年以来の出来」03年「100年に1度の出来」「近年にない良い出来」04年「香りが強く中々の出来栄え」05年「ここ数年で最高」06年「昨年同様良い出来栄え」07年「柔らかく果実味が豊かで上質な味わい」08年「豊かな果実味と程よい酸味が調和した味」09年「50年に1度の出来
テキスト自動要約
情報を要約して自動でまとめることができたら必要な文書を選択することが容易になる、そこで今回は情報アクセス技術としてのテキスト自動要約に関して概観する。特に現在テキスト自動要約技術が実際に情報アクセ技術としてどの程度利用可能なのかを示す実例を紹介する。 要約の種類 要約を研究するに当たって考慮するべき要因として以下の３つが提示されている 入力の性質ーテキストの長さ、ジャンル、分野、単一/複数テキストのどちらかであるなど要約の目的ーどういう人が（ユーザーはどういう人か？例えば予備知識を十分に持っているかどうかということで要約内容も変わってくる）、どういう風に（要約の利用目的は何か）など出力の仕方利用目的に応じて、要約を次の２つのタイプに分けることも多い 指示的(indicative):原文が読むべきものかどうか自分の感心に合うかどうかを判断する。原文の適合性を判断するなど、原文を参照する前の段
お金を払ってでも欲しい要約 - 書評 - テキスト自動要約
図書館で久々にぐぐっとくる文献を見つけました。自然言語処理や人工知能方面で有名な奥村先生と難波先生共著のテキスト自動要約って本です。自然言語処理に興味がある方は興味深く読むことができる無いようかと思います。やや専門的な話が多いので、自然言語処理を勉強したことがない方は、頭が痛くなる数式とかでてきます。（僕も後者ですが・・・ｗ） 本書が書かれたのが 2005 年ではありますが、その後テキスト要約の分野がめざましく発展したかというと、ケータイの高機能化が進むにつれて逆に下火になってしまった感が強いのですが、自然言語処理分野は今後も必須の web 技術なので読んでおいて損はないと思います。 本書の後書きにもあるとおり、本書はテキスト自動要約に関する要約です。 「お金を払ってでも欲しい要約」は人によって違うだろうが、筆者にとっては専門書がそれにあたる。一般に言って、専門書とはある分野の複数の研究を
)
自動要約 (用語) - 長岡技科大 自然言語処理研究室
じどうようやく automatic summarization テキストの要約を自動で行う技術。現在の技術の多くは重要文抽出によって実現しているが、文を短くする技術(文圧縮または一文要約)の研究も行われている。さらに、複数テキストから要約する技術の研究も行われている。 [編集] 市販ソフト ズバリ要約(ソースネクスト) 日本初で日本語唯一の自動要約ソフトパッケージ。1980円 「10,000字を5秒で要約できますか？」「１クリックで簡単要約」がキャッチコピー Sematics社が要約を目的に開発した日本語解析エンジンを使用 要約文字数を指定することが可能 処理速度は5,000字で約3秒、1万字で約5秒、2万字で約26秒が目安(上記Webページより) [編集] 自動要約のフリーソフト Lingua-JA-Summarize-0.06 the readme says that it is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
Wikipediaによるテキストマイニング入門 - nokunoの日記
日本語文章校正ツール - フリーで使える表現チェック・文字校正支援Webツール