『ソーシャル系Webサービスのデータマイニングで社会科学をしてみたい』
こんにちは、技術本部 秋葉原ラボのデータマイニングエンジニア の高野（@mtknnktm）です。弊社で運営しているゲームやコミュニティなどのソーシャル系Webサービスをより良くしていくためのデータ関連のあれこれを主な業務としています。そんな日々の業務の中で、ソーシャル系Webサービス上での現象や課題が、社会科学系の研究と関連してるんじゃないかなーと思ったので、その関連についてつらつらと書いてみました。最近、ソーシャル系Webサービスのデータを使った社会科学研究は非常に盛んで、SocInfo、COSN、SocialCom、IC2S2などなど、それを含む Computational Social Science をテーマとした新しい国際会議も数多く開催されています。本記事で取り上げるものは、私が主に興味のあるものを挙げたため、かなり偏りが有るかと思いますが、その他にもこんな興味深いトピックがあ
統計屋による新社会人のための統計系入門書お薦め一覧 - あんちべ！
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
さらば！データサイエンティスト
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309
情報学研究データリポジトリ ニコニコデータセット
ニコニコ大百科データ ニコニコ大百科に2014年2月上旬までに投稿された記事全ての記事ヘッダ，記事本文データと，それに付随する掲示板全データです。ただし，ユーザーページ，ユーザーIDは削除されています。 記事ヘッダデータ 記事ID，記事タイトル，記事ヨミ，記事種類（a:単語，v:動画，i:商品，l:生放送)，記事作成日時などのデータです。CSV形式のファイルで，1年当たり1ファイル，圧縮ファイルで約4.9MB，展開後は約14.9MBです。 記事本文データ 記事ID，記事本文，記事更新日時などのデータです。CSV形式のファイルで，1月あたり1ファイル（例外あり），圧縮ファイルで約4.52GB，展開後は約22.7GBとなりますので，ダウンロードされる際はご注意ください。 掲示板データ 記事ID，レス番号，レス投稿日時，レス本文などのデータです。CSV形式のファイルで，1年あたり1ファイル，圧縮
オープンデータ徹底入門
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
景気の「今」を把握することは可能か？ - Yahoo! JAPANビッグデータレポート
Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。パソコンでご利用のお客様 Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge macOS：Safari 9.0以上 ※Internet Explorer 11.0以上をご利用の場合は、 「Internet Explorerの互換表示について」を参考に、互換表示の無効化をお試しください。タブレットでご利用のお客様 iOS 9以降、または、Android4.0以降のOSに標準搭載されたブラウザー ※日本国内版として発売されている端末でご利用ください。
シゴトで使える「データサイエンティスト」に必要なスキルセットってどんなもの？
シゴトで使える「データサイエンティスト」に必要なスキルセットってどんなもの？：Database Expertレポート（1） データサイエンティスト育成プログラムの先生に、使えるスキルセットって何だろう、という疑問をぶつけてみた。いわく、座学だけじゃ不十分なのだそうです。 ビッグデータブームに乗って、データ分析スキルを持つ人材が嘱望される機会が増えつつあるようだ。技術者の多くも、いち早くこうしたスキルを身に付けようと、勉強会などの活動への参加も活発になっている（関連イベントレポート）。統計解析に特化したプログラミング言語Rを学んだり、統計解析の学習をしたりと、意欲的に学習する人々が増えているようだが、果たして、実務で必要なスキルセットはどのようなものなのだろうか。 EMCジャパンでは2012年5月から、日本国内において、実務におけるデータ分析業務のスキルセットを包括的に学習するためのプログラ
究極のデータサイエンティストVS至高のデータサイエンティスト - Analyze IT.
ネットで面白いコピペを発見したので貼り付けておきますね。 山岡「こちらが我々の考える究極のデータサイエンティストです。」 京極「なんやて、経済学部出身やないか！ITに統計学、業務、この中で先の二つの技術的素養が必要なデータサイエンティストには理系出身者が定石やで山岡はん。」 山岡「確かに、数学のスキルが要求されるデータサイエンティストには普通の文系出身者は厳しい。しかし、彼の学部時代の専攻は計量経済学。実務では高度なアルゴリズムやビックデータの解析基盤の構築のスキルなんか本当は必要ない、経済学の手法が求められているんだ。」 京極「なんやてっ！」 山岡「ビッグデータといっても、小売りの場合大きくて１千万件程度、普通のRDBMSで処理可能だし、非構造化データなんて必要ない。アルゴリズムもSPSSやRなんかのツールに入力して結果を解釈できれば十分なんだ。一方で、政府の統計を駆使して地域の需要を推
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
統計学を勉強するときに知っておきたい7つのポイント
マイクロソフト社が技術分野でもっと熱い専攻の一つとして分析/統計をあげている（Microsoft JobsBlog）。同社以外でも統計学は、今後最も有益なスキルの一つだと考えているようだ（NYT - For Today’s Graduate, Just One Word: Statistics）。しかし、データマイニングの話も一般化しつつあって学習ノウハウなども公開されているが、経験にあわない部分が多い。統計学を初めて勉強するときに知っておいた方が良い7つのポイントをあげてみた。 1. 学習機会やテキストは山のようにあるので利用する 確率・統計の日本語テキストは山のようにあり、大学のコースワークを振り返っても、理文問わずにほとんどの学部で確率・統計はあったはずだ。大学院のコースワークでは英語の文献を好む傾向があるが、上級テキストでも日本語のものも少なくない。また「マンガでわかる統計学」のよ
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
Jubatus : Distributed Online Machine Learning Framework¶
Jubatus English Japanese
Islamic spells for love inter caste inter religion marriage
A new way to think about content creation. Specialized creative talent, online and on-demand. HIGHEST QUALITY TALENTOver 1000 specialized creative professionals.Hand picked and vetted for your needs.We simplify complexity FULL CREATIVE SERVICEWe can start with strategy.Integrated products and services.An extension of your team
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
Orange Data Mining
Data Mining Fruitful and FunOpen source machine learning and data visualization. Download Orange 3.36.2 Apr 15, 2024 So Sweet and So Fresh … New Text Mining Tutorial is OutA step-by-step guide on how to build a classifier to predict food types. Getting the know the widgets Test and Score, Logistic Regression, Confusion Matrix, Predictions. Jan 11, 2024 Scoring Sheets: Transform Data into Insightfu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon CAPTCHA
データ操作に役立つjQueryプラグイン
小さくで可愛いグラフが描けるjQueryプラグイン「Piety」:phpspot開発日誌