FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
ビッグデータの成熟期に改めて見直したいETL - About connecting the dots.
Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ
情報系主要国際会議2013のチュートリアルまとめ1: 機械学習、データマイニング、人工知能 | ぱろすけのメモ帳
情報系の国際学会の多くでは、研究発表に加えてチュートリアル・セッションが設けられています。チュートリアルではホットなテーマの基礎から応用までが扱われ、要点を絞ってわかりやすく解説されており、初心者の入門には最適です。 学会に参加してチュートリアルを受けなくても、多くの場合はその内容を知ることができます。その概要は必ず会議のプログラムに掲載されますし、発表者がスライドを Web にアップロードすることも多く、発表の様子がビデオ配信されることもあります。 オンラインに情報があることは多いとはいえ、それらは基本的には分散しています。会議のウェブサイトにはチュートリアル一覧が載っています。しかし、そこから発表者によるチュートリアルサイトにリンクが貼られていることは少なく、スライドの情報もないことが多い。これは非常に不便です。 というわけで、2013年の情報系主要国際会議で行われたチュートリアルのタ
データ分析ができないなら、ビッグデータを集めない方がいい 「日本企業はビッグデータの活用に向けて何が足りないのか」（前編） | データ経営｜DIAMOND ハーバード・ビジネス・レビュー
2014年5月号の特集は「アナリティクス」。ビッグデータの収集から分析へとステージは移っているが、いまだ積極活用ができている日本企業はまだ少ない。2013年2月号『ビッグデータ競争元年』で日本におけるビッグデータ活用の課題を指摘した、マッキンゼーのポール・マクナーニ氏に、日本のアナリティクスの状況について話を伺った。全2回。 右へならえのポイント・プログラムが収益構造を傷める ――最近のビッグデータを取り巻く環境について、どう思われますか。 小売業界の話になりますが、ビッグデータ分析をしたいと思った時にデータを集めますよね。その時、よくあるのがポイントカードの発行です。ポイント・プログラムには、ポイントを付与することで顧客が頻繁に買い物をしてくれたり、多く買ってくれたりするようになるという直接的な効果と、そうやって蓄積したデータを活用することで品ぞろえを見直したり、価格戦略を考えたりできる
第 4 回 #DSIRNLP データ構造と情報検索と言語処理勉強会でお話してきました。
３週間ぐらい前かつ発表前後は業務的に憤死しててもおかしくない時期ではありましたが、ありがたいことに主催者の @overlast さんから今回の発表オファーを頂いたしせっかくだから何か話そう、と心に決めて、いまの会社 でのお仕事でよく取り扱っているコサイン類似度や Jaccard 係数などのいわゆる「類似度計算」の時間／空間計算量的に効率的な処理を実現する方法についてお話してきました。 自分含めた発表内容の一覧は こちら を参照してください。 発表スライドはこちらです。 発表後に頂いた質問はこんな感じだったはず。寝不足ゆえの言語認識力がだいぶ低下した状態で受け答えしたので、質問／回答は超意訳になってます。悪しからず。 バスケット分析的な方法の計算量的な話 購買ログなどからバスケット分析的な方法で類似度計算しようとすると、ユーザごとにログを集約しなければならないという追加処理が必要となるものの
第28回 データマイニング+WEB＠東京( #TokyoWebmining 28th) −データマイニング・機械学習とビジネス展開 祭り− を開催しました - hamadakoichi blog
2013/7/27 "第28回 データマイニング+WEB＠東京−データマイニング・機械学習とビジネス展開 祭り−"を開催しました。 第28回 データマイニング+WEB＠東京 ( #TokyoWebmining 28th)−データマイニング・機械学習とビジネス展開 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 28th 参加者セキココ：第28回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya_atsushi さ
第27回 データマイニング+WEB＠東京( #TokyoWebmining 27th) −WEB解析・オープンデータ・クラウド 祭り− を開催しました - hamadakoichi blog
2013/6/22 "第27回 データマイニング+WEB＠東京−WEB解析・オープンデータ・クラウド 祭り−"を開催しました。 第27回 データマイニング+WEB＠東京 ( #TokyoWebmining 27th)−WEB解析・オープンデータ・クラウド 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 27th 参加者セキココ：第27回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya_atsushi さんに感謝
第26回 データマイニング+WEB＠東京( #TokyoWebmining 26th) −オープンデータ活用・ソーシャ ル・アドテクノロジー 祭り− を開催しました - hamadakoichi blog
2013/5/18 "第26回 データマイニング+WEB＠東京−オープンデータ活用・ソーシャ ル・アドテクノロジー 祭り−"を開催しました。 第26回 データマイニング+WEB＠東京 ( #TokyoWebmining 26th)−オープンデータ活用・ソーシャ ル・アドテクノロジー 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 26th 参加者セキココ：第26回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya
進撃の巨人を読んだことない人がデータだけでキャラを推測してみる - あんちべ！
はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、
「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
「アクセス解析」における5つの真実 - Real Analytics （リアルアナリティクス）
最近、講演や勉強会などで、必ず伝えている内容を簡単に紹介します。アクセス解析に限らず、分析全般に期待を抱いているケースが多く、その幻想をぶち壊すぜ！！！というわけではないのですが、アクセス解析や分析を、ビジネスゴールにポジティブな影響を与えるために知っておいてほしい、5つの内容を紹介いたします。 Image from Flickr 1.仮説無ければデータを見ても意味が無い アクセス解析ツールを利用する上で最もやっていけないことは「なんとなくレポートを１つずつ見ていく」という事です。時間の無駄なだけではなく、特にツールを使いはじめた方にとっては出てくる用語の多さやレポートの量に、すぐに解析ツールが嫌いになってしまいます。何の目的もなく携帯電話の説明書を（最近は紙の説明書は少ないですが）最初から最後まで読むようなものです。データを見る前に仮説を立て、その仮説を確認するためにどのレポートを見れば
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
情報抽出入門 〜非構造化データを構造化させる技術〜
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
ITエンジニアがデータサイエンティストを目指すには？
ITエンジニアがデータサイエンティストを目指すには？：ITエンジニアのためのデータサイエンティスト養成講座（1）（1/2 ページ） それぞれの専門分野を生かした「データサイエンスチーム」を結成すればデータ活用への道は短縮できる。そのとき、ITエンジニアはどんな知識があればいい？ データサイエンティストとして活動する筆者が必須スキル「だけ」に絞って伝授します。 連載バックナンバー はじめに：分析スキルの課題をどう乗り越えるべき？ 昨今では、IT系のメディアのみならず一般雑誌や新聞なども“ビッグデータ”というキーワードを見出しに使っています。この文字を目にしない日がないくらいに多用されていて“バズワード”としてとらえられるケースも少なからずあるようです。 しかし、世界の至る所で――もちろん日本でも、ビッグデータを分析することで新たな知見を見つけて利益を増大した企業や、顧客の購買行動を予測するこ
協調フィルタリングについてまとめてみた。 - Analyze IT.
A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE
TechCrunch | Startup and Technology News
大規模ログ分析におけるAmazon Web Servicesの活用