オープンデータ取得先まとめ - Qiita
2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data
実務の現場においてモデリング（統計学的・機械学習的問わず）を行う上での注意点を挙げてみる - 六本木で働くデータサイエンティストのブログ
気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ
data_sciesotist on Twitter: "統計手法（主に検定）の選び方のフローチャート https://t.co/DDp5pKYJPh （Bates大学Greg Anderson教授による）を訳した。初心者向けの本にも、あまりこういうのは載ってない。 https://t.co/Cm5ZPbrxkO"
統計手法（主に検定）の選び方のフローチャート https://t.co/DDp5pKYJPh （Bates大学Greg Anderson教授による）を訳した。初心者向けの本にも、あまりこういうのは載ってない。 https://t.co/Cm5ZPbrxkO
stats_flow_chart_v2003.cdr
Flow Chart for Selecting Commonly Used Statistical Tests Type of data? Type of question Chi-square tests one and two sample Relationships Differences Do you have a true independent variable? Continuous Discrete, categorical Yes No Tests for Equal Variances Means Parametric Nonparametric Two groups More than two groups Parametric Nonparametric Nonparametric Parametric If significant, do a post hoc
Tableauでシミュレーションを作って施策の成功率を上げていきたい - CARTA TECH BLOG
こんにちは！ システム本部データプラットフォームグループ（DPG）でエンジニアとなりました新卒のたけしと申します。 なんやかんや配属されて2カ月となりました。 今回は、データ視覚化ツールTableau（タブロー）についてちょっと便利な使い方についてお話ししようと思います。 システム本部データプラットフォームグループ（DPG）について データと名前が冠する通りにデータに関するお仕事をやる部署になっております。 お仕事を大きく2つに分けざっくり説明すると、 データを管理するお仕事 各事業部が保有するデータ（ユーザー情報だったりサービスを運営するにあたってとても大事なデータの類）をDWHに移行するようなお仕事 データを分析するお仕事 各事業部のデータをもとに分析し、施策の指標だったりデータを分析した結果から次の施策につながるようなフィードバックをするお仕事 となります。 部署は私を含めて5人で構
ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選（2016年版） - 渋谷駅前で働くデータサイエンティストのブログ
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
2014年度ベイズ統計 - Pukiwiki
2019-06-28 Data Sciences for the Resilient Society 2018-07-10 f-lab2014 過去の講義 2018-02-25 ICPSR2009 2017-07-20 ベイズ統計演習2014_4 2017-02-28 空間モデリング特論2017 2016-02-26 Sports Data Science 2015 2016-01-11 環境とビジネスのデータサイエンス/空間モデリング（2015年度秋学期） 2015-11-02 空間モデリング2015演習ページ(2) 2015-10-11 環境とビジネスのデータサイエンス/空間モデリング（2015年度秋学期）（SFC-SFCに移動） 空間モデリング2015演習ページ(1) 2015-08-14 ベイズ統計演習2014_7 2015-06-22 環境とビジネスのデータサイエンス（2015年
いまさら聞けないグラフィカルモデル入門
5. どんなグラフィカルモデルがあるか？ マルコフ確率場 （Markov Random Field） ベイジアンネットワーク （Bayesian Network） ＊これらの下位モデルとして，有向木や無向木がある．また，無向リンクと 有向リンクの両方からなる連鎖グラフ（chain graph）というものもある． 無向グラフィカルグラフ 有向グラフィカルグラフ UGM: Undirected Graphical Model DGM: Directed Graphical Model 6. どんな応用があるか？ モデル 応用例 補足 マルコフ確率場 画像復元・修復， 領域分割，画像合成， ステレオ照合, etc. 画素ベースの手法が多い．画素間 の因果関係を決めることが難しい ため，矢印を引きにくい． ベイジアン ネットワーク 物体追跡， ジェスチャ認識, etc. 系列データに対する手法が多
2014年春版：初心者にお薦めする「本当にゼロから統計学と機械学習の基礎を学ぶ」ための6冊 - 渋谷駅前で働くデータサイエンティストのブログ
前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
社会人が統計学や機械学習を学ぶなら「落下傘方式」で - 渋谷駅前で働くデータサイエンティストのブログ
今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い
TechCrunch | Startup and Technology News
VCs are clamoring to invest in hot AI companies, willing to pay exorbitant share prices for coveted spots on their cap tables. Even so, most aren’t able to get into such deals at all. Yet, small, unknown investors, including family offices and high-net-worth individuals, have found their own way to get shares of the hottest…
観光客はどこに行ってるの？ 位置情報のデータから分かったこと
観光客はどこに行ってるの？ 位置情報のデータから分かったこと：仕事をしたら“人の移動”が見えてきた（前編）（1/5 ページ） 「秘宝探偵キャリー」や「プロ野球PRIDE」などスマートフォン向けゲームでヒットを飛ばしているコロプラが、ちょっとユニークな分析をしている。「位置ゲー」と呼ばれる同社のゲームに蓄積される位置情報を統計処理し、“人の動き”をさまざまな角度から解析しているのだ。 「位置ゲー」というのは、スマートフォンや携帯電話の位置情報を利用したゲーム。例えば、自分が実際に移動した距離に応じてゲームで使えるポイントがもらえ、そのポイントを使ってバーチャルな自分の街をつくることができる。ユーザーが登録した位置情報の累計回数は20億回（2013年11月現在）を超えていて、そのデータを使えば「どこで何人が、何時に位置登録をしたのか。どこから来たのか、どこへ行ったのか、距離はどのくらいなのか」
2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 渋谷駅前で働くデータサイエンティストのブログ
5ヶ月前に書いた記事がだいぶ陳腐化してきた*1気がするので、それ以降出版された書籍や、他にも学術的知識を得るだけでなく「データサイエンティストとして働く上で必要なスキル」について書かれた書籍などを加えて、「2013年秋版」の10冊をチョイスしてみました。 これはあくまでも「データサイエンティストを目指す上で必要な素地が既にある程度備わっている人」向けのスタートアップとしての10冊です。実際にはこの10冊では知識が足りなくなる場面の方が多いので、その場合は適宜発展的な書籍に当たってどんどん独習していくことをお薦めします。逆に、本当にゼロからスタートする初学者の人にはこれでもかなり辛いかもなので、今回は見なかったことにしてください、ということで。。。 そうそう、相変わらずですが僕個人はアフィリエイトやってないので、こちらのリンクから書籍を購入されても儲かるのは僕ではなくはてなです（笑）。 （※
Rで計量時系列分析：状態変化を伴うモデル（閾値モデル、平滑推移モデル、マルコフ転換モデル） - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事までは多変量時系列モデルとしてのVARモデルを扱ってきました。今回は一旦このシリーズの最終回ということで、元の単変量時系列モデルに戻って「状態変化を伴うモデル」を扱ってみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る ただし今回の最後に出てくるマルコフ転換モデルは沖本本の説明では不足と思われるので、Hamilton本もあった方が良いです。 Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01/11メ
今さら人に聞けない「重回帰分析の各手法の使い分け」 - 渋谷駅前で働くデータサイエンティストのブログ
（※※※続編記事書きました→「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ） 今ちょうどadtech tokyo 2013の会期中で、職場からも近い＆会社から行ってこいという指示が出たということで僕も色々セッションを聞いたり企業ブースのお話を聞いたりしてる*1ところです。 ところで、いくつかのセッションの中でキーワードとして「重回帰分析」という言葉が出てきてました。ま、それ自体はこのブログでもRによるデータ分析絡みで頻出だし、ぶっちゃけありふれた手法と言って良いでしょう。やりようによっては普通にExcelでもできますし、それだけ人口に膾炙していると言って良いのかもですね。 ただし。意外にも内部のパラメータというか細かい手法の分岐というか、それこそ普通の線形モデルvs.一般化線形モデル（バリエーション多数）があることを無視して漫然と重回帰分析をや
セキュリティ対策に数学の力を――機械学習は先行防御の夢を見るか？
膨大なログの中から不審な通信を見つけ出したり、マルウェアの挙動を解析するならば専門家の長年の経験やカンに勝るものはない、という印象が強い。しかし、次々と亜種のマルウェアを生み出してくる攻撃者の「物量作戦」の前には、いくら優秀な専門家でも後手に回りがちだ。ならば「機械学習」を活用して異常を速やかに検出し、次の亜種を予想して、先回りして攻撃を防げないだろうか――そんなアプローチが始まろうとしている。 機械学習は、コンピュータの黎明（れいめい）期から研究が進んできた分野だ。コンピュータプログラムにデータを与え、その中に潜んでいる規則性を機械学習のアルゴリズムを使って抽出し、モデル化することで、あたかも人間と同じように判断を下せるようにする。かつては、膨大な計算量が必要なことがネックとなっていたが、近年のコンピューティング能力の向上に伴い、画像処理やユーザーの行動分析、それに基づくレコメンデーショ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
氷解！データ分析、機械学習手法ってたくさんあるけどいつどれを使えばよいのか - Qiita
