第12回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 12th)－機械学習MapReduce・大規模R解析 祭り－ を開催しました - hamadakoichi blog
2011/06/19 "第12回 データマイニング+WEB 勉強会＠東京−機械学習MapReduce・大規模R解析 祭り−"を開催しました。 第12回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
ITpro SPECIAL：ITRエグゼクティブ・フォーラム「ビッグデータとビジネスの融合」Review
蓄積したビッグデータを分析・活用し、競争優位につなげるためには、そのための基盤構築が重要となる。それに対し、EMCが提供しているのが、優れた性能と高度なコストパフォーマンスを両立したデータウェアハウス「Greenplum」である。 「最大の特徴は、シェアードナッシングによる『大規模並列処理』、コモディティハードウェア（IAサーバー）上で動作する『オープンアーキテクチャ』、スケールアウトによるビジネスの成長に合わせた『拡張性』の3点にあります」とEMCジャパンの仲田 聰氏は語る。これらの特徴により、Greenplumは、新たなビジネスモデルやビジネスチャンスの創出に不可欠となる「大量データの高速処理」を可能にしている。 その端的な例としてあげられるのが、データローディングの局面だ。通常のデータウェアハウス製品では、サーバーをマスタースレーブの形で構成し、マスター側のサーバーで様々なプラン
IPA 品詞体系の構文解析器の学習 - ny23の日記
（半）指導している学生が IPA 品詞体系に基づく構文解析器が遅過ぎて実験が進まないというので，手元の構文解析器（Juman 品詞体系を想定）を IPA 品詞体系に対応させてみた．構文解析器のコードは素性抽出周りを10行くらいいじるだけで簡単に対応させることができた（公開済）． 次に，構文解析器の訓練に使う注釈付きデータが必要になるが，これには Juman 品詞体系に基づく注釈付きデータに IPA 品詞体系の品詞タグを付与して使うことにした．品詞タグを変換するには， 元の Juman 品詞体系の品詞タグを IPA 品詞体系に変換する IPA 品詞体系の形態素解析器を用いて自動付与する という二つの方法が考えられる．今回は運用時の状況を考慮して，構文解析器とパイプライン的に組み合わせる予定の形態素解析器／辞書を利用して品詞タグを再付与することにした．以下がそのスクリプト． #!/usr/bi
MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development
どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ
リビジョン（バージョン）管理システムに関して近ごろ思うこと - 檜山正幸のキマイラ飼育記 (はてなBlog)
僕は、twitterできわめて少数の人しかフォローしてません。そんな僕のtwitterタイムラインでも、何度も言及されていたのが次のブログエントリー： いっしょに仕事をしたいプログラマ 5つの特徴 - たごもりすメモ 本文は「なるほどね」という感想なんですが、コメント欄に驚くべき発言があります。 まずは本文から紹介すると、「いっしょに仕事をしたいプログラマ 5つの特徴」が挙げられていて、それらの特徴で「欠けているところがあれば、少なくとも自分はその人といっしょに仕事をしたいとは思わないだろう」と。 5つの特徴のひとつに「人のコードにパッチを送る」（適切なパッチを書ける能力）があるのですが、それに対するコメントが： ミッションクリティカルなシステムでは自分が再利用しようとする既存コードにバグがあった場合は、まるっとコピーしたうえで修正したものを使うことが多いです。 「まるっとコピー」って、い
edmar/Yahoo_LDA - GitHub
Dismiss Octotip: You've activated the file finder by pressing t Start typing to filter the file list. Use ↑ and ↓ to navigate, enter to view files.
時系列データの解析（厚労省公開の医療費データ） - データサイエンティスト上がりのDX参謀・起業家
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門 作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06/01メディア: 単行本購入: 12人 クリック: 113回この商品を含むブログ (19件) を見る サンプルデータを使っても面白くないので、厚労省が公開している医療費のデータを使いました。 厚労省の医療費データベース 例によってこのデータはエクセルで公開されていて、そのまま解析できる状態じゃありません。 今回は入院の総医療費だけを扱ったので、その部分だけ加工してcsvにしました。 一応、加工したデータはダウンロードのページに置いてます。 それでは、解析していきます。 まずはデータ読み込みと加工。 Iryouhi <- read.csv("医療費.csv", as.is = T) Nyuin <- ts(Iryouhi[, 2], fre
CS 171 - Visualization
If you are not redirected automatically, follow the link to the latest version of the class.
変化点検出エンジンを利用したインシデント検知システムの構築
All rights are reserved and copyright of this manuscript belongs to the authors. This manuscript has been published without reviewing and editing as received from the authors: posting the manuscript to SCIS 2006 does not prevent future submissions to any journals or conferences with proceedings. SCIS 2006 The 2006 Symposium on Cryptography and Information Security Hiroshima, Japan, Jan. 17-20, 2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
豊月 on Twitter: ".@understeer HBaseはNW的に分断されると、少数の方の島が自殺します。なので連続でNW分断が起きると、全ての島が少数派だと思い込んで皆死んでしまいます。Cassandraは例えどれだけ分断されようともそれぞれが独自に動き続けます #hbaseworkshop"
Map Reduce 〜入門編：仕組みの理解とアルゴリズムデザイン〜
Manabu Sassano on Twitter: "@echizen_tm SCROLL のアイデアはこれ http://aclweb.org/anthology/C/C94/C94-1033.pdf と同じかな。時間があるとき、私も論文読んで確認します。"
agilecatcloud.com
馬鹿の一つ覚えみたいに無理やりapply使ったりしてたけど間違ってたわ…orz
Loading...
はてなブログ | 無料ブログを作成しよう
時系列データからの汎用的異常検知手法の提案とその性能評価