ビッグデータの成熟期に改めて見直したいETL - About connecting the dots.
Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ
第32回 データマイニング+WEB＠東京( #TokyoWebmining 32nd ) －マーケティング最適化・最前線 祭り－を開催しました - hamadakoichi blog
2014/1/25 "第32回 データマイニング+WEB ＠東京 ( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−"を開催しました。 第32回 データマイニング+WEB＠東京 ( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 32nd 参加者セキココ：第32回 データマイニング+WEB ＠東京 セキココ (作成してくれた [T
ITエンジニアがデータサイエンティストを目指すには？
ITエンジニアがデータサイエンティストを目指すには？：ITエンジニアのためのデータサイエンティスト養成講座（1）（1/2 ページ） それぞれの専門分野を生かした「データサイエンスチーム」を結成すればデータ活用への道は短縮できる。そのとき、ITエンジニアはどんな知識があればいい？ データサイエンティストとして活動する筆者が必須スキル「だけ」に絞って伝授します。 連載バックナンバー はじめに：分析スキルの課題をどう乗り越えるべき？ 昨今では、IT系のメディアのみならず一般雑誌や新聞なども“ビッグデータ”というキーワードを見出しに使っています。この文字を目にしない日がないくらいに多用されていて“バズワード”としてとらえられるケースも少なからずあるようです。 しかし、世界の至る所で――もちろん日本でも、ビッグデータを分析することで新たな知見を見つけて利益を増大した企業や、顧客の購買行動を予測するこ
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
異常検知（変化点検出）をPythonで書いてみた | Kitchen Garden Blog
データマイニングについて勉強する機会があり、Python言語の練習がてら「変化点検出」と呼ばれる手法について、近似的ではありますが、試作してみました。 変化点検出とは 変化点検出とは、入力データの時系列的な振る舞いの変わり目（変化点）を検出する方法です（山西健司著『データマイニングによる異常検知』）。 データマイニングによる異常検知 山西 健司 Rank / Rating: 302282 / - ASIN: 4320018826 Price: ￥ 3,990 A unifying framework for detecting outliers and change points from time series (Google Scholar) DoS攻撃や新種のワームの発生による、急激な値の変わり目（トラフィック量の急増等）を検知するのに有効とされる手法です。 id:yokkun
第5回Tokyo.SciPyが開催されました - 随所作主録
Tokyo.SciPyの第5回が1/26(土)に38名の参加者を集めて開催されました。 Python用の数値計算ライブラリNumPyと科学計算フレームワークSciPyの公開勉強会、第5回 プログラム 発起人をしてるものの、今回は完全に神嶌先生（@shima__shima）に運営をお任せしてしまって自分は当日の手伝いしか出来なかったのですが、Tokyo.Rなど裏番組たくさんあったのに通常の人入りで一安心でした。会場をご提供いただいたサイバーエージェント様と当日お手伝いいただいた関係者の方に厚く御礼申し上げます。 以下それぞれの発表について。 計算ソフト PythonSf（小林憲次さん） SciPy、sympy、vpythonをベースにPythonでmatlab/mathematicaレベルのことができる環境を！！という非常に野心的な取り組みについてのお話でした。詳しくはご本人のWebサイトに
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
データからの知識発見('12)
講義一覧 > データからの知識発見 > Last Modified: 1章 2章 3章 4章 5章 6章 7章 8章 9章 10章 11章 12章 13章 14章 15章 訂正等 このサイトついて このWebサイトは秋光が主任講師を担当している 放送大学の専門科目 「データからの知識発見('12)」 のための補助資料などを掲載しています. 科目は平成27年度で閉講しました。 資料については各章ごとにページを分けています. 上記のナビから見たい章を選んでご利用ください. これらのページは放送大学の学生や講義の受講生に限らず, 一般に公開しています. 受講生以外の方がご利用になるのは自由ですが, 自己責任にてご利用ください. また, このサイトのデザインや内容については予告なく変更することがあります. サイトをご覧になったからのお問い合わせについては 必ずしもお返事できるとは限りませんが, 修
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
第12回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 12th)－機械学習MapReduce・大規模R解析 祭り－ を開催しました - hamadakoichi blog
2011/06/19 "第12回 データマイニング+WEB 勉強会＠東京−機械学習MapReduce・大規模R解析 祭り−"を開催しました。 第12回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi
時系列データの解析（厚労省公開の医療費データ） - データサイエンティスト上がりのDX参謀・起業家
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門 作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06/01メディア: 単行本購入: 12人 クリック: 113回この商品を含むブログ (19件) を見る サンプルデータを使っても面白くないので、厚労省が公開している医療費のデータを使いました。 厚労省の医療費データベース 例によってこのデータはエクセルで公開されていて、そのまま解析できる状態じゃありません。 今回は入院の総医療費だけを扱ったので、その部分だけ加工してcsvにしました。 一応、加工したデータはダウンロードのページに置いてます。 それでは、解析していきます。 まずはデータ読み込みと加工。 Iryouhi <- read.csv("医療費.csv", as.is = T) Nyuin <- ts(Iryouhi[, 2], fre
統計的機械学習入門
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
データマイニング+WEB勉強会資料第6回
2. 自己紹介（１） • 山田 直行 （やまだ なおゆき） • Twitter @satully Facebook http://www.facebook.com/yamadanaoyuki • ソーシャルアプリ.jp http://www.socialapplication.jp/ • 株式会社イストピカ所属 （ソーシャルゲーム専業のベンチャー企業） 職種：アプリエンジニア・インフラエンジニア 3. 自己紹介（２）技術的バックグラウンド • 言語・フレームワーク LAMP構成の携帯アプリ開発 CentOS Apache PHP（CakePHP Zend etc）MySQL Memcached シェルスクリプト JavaScript Perl少し Python少し 最近の興味はKey Value Store型データベース（NoSQL）やMapReduce関連、あとFlash • 小学6年生
パターン認識に関する公開プログラム
宇野毅明と有村博紀による公開プログラム（コード） このページでは、公開しているプログラムのコードがダウンロードできます。主に、列挙アルゴリズムやデータマイニングに関するものです。全て、宇野毅明、あるいは、良く一緒に研究をしてお世話になっている北海道大学の有村博紀先生によって作られたものです。各プログラムに使用言語とコード作成者が書いてありますので、質問、あるいはバグの報告などは、作成者にご連絡ください。宇野毅明は uno@nii.ac.jp、有村博紀先生は arim@ist.hokudai.ac.jp です。 !!! コードの最近のバージョンに、マッキントッシュのフォーマットではエラーが出るというバグがありました。現行バージョンではこのバグは治っています。 LCM (Linear time Closed itemset Miner) ver.2 (C言語、宇野毅明) [文献 1]
第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
第９回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −2nd Week−方法論・ソーシャル祭り− を開催しました - hamadakoichi blog
2011/01/23 "第９回 データマイニング+WEB 勉強会＠東京−2nd Week−方法論・ソーシャル祭り−"を開催しました。 第９回 データマイニング+WEB 勉強会＠東京 ( TokyoWebmining 9)−2ndW−方法論・ソーシャル祭り−: ATND Google グループ ※会場参加者ID写真（id:bob3 さんに感謝) 1st Week内容まとめ： 第９回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −1st Week− 大規模解析・機械学習・クオンツ 祭り− を開催しました - hamadakoichi blog 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思ってい
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
The document discusses graph databases and their properties. Graph databases are structured to store graph-based data by using nodes and edges to represent entities and their relationships. They are well-suited for applications with complex relationships between entities that can be modeled as graphs, such as social networks. Key graph database technologies mentioned include Neo4j, OrientDB, and T
画像認識の初歩、SIFT,SURF特徴量
6. 画像特徴量の変遷 第一世代 第二世代 第三世代 対象物全体 局所情報 局所情報のつな 輝度分布 SIFT がり wavelet SURF Haar-like Joint Haar-like HOG Joint HOG Shapelet 1990年代 2000 - 2005 2006 - 現在 7. 局所特徴量 SIFT 1999 •Google の論文で言及http://www.esprockets. com/papers/www2008-jing-baluja.pdf。ただし、アルゴリズムが著作 権で守られている。C#ライブラリ libsift, OpenCV SURF 2006 SIFT の処理速度改良版。OpenCV haar-like特徴 2001 近接する2 つの矩形領域の明度差 Haar- 顔認識に用いられ(OpenCVの顔検出) like HOG(Histogram o
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
