Overcome complex cloud challenges and build cloud talent from within
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて4つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見(いわゆるデータ分析) 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら4つの業務の中で一番時間
はじめに 前回, 大相撲のデータを正しく作るのが辛い, ということを書きました. Rでスポーツデータ解析がしたい: データを作るのって大変ですね - 300億円欲しい まだ整形できていないのですが, 現段階で可能な解析をしたいと思います. 八百長問題が気になりますので, 千秋楽の勝率を集計してみます. 先行研究 大相撲のアノーマリー. 2010年に書かれた記事です. 八百長がありそうかどうか, という解析です. 実践! Rで学ぶ統計解析の基礎(8):大相撲のアノーマリー (2) (2/2) - @IT もしも、この計算の追試や、何らかの追加計算をされた方がいらっしゃったら、是非ともその結果を教えてくださることを熱望します。 また、1999年以前10年間程度の十両・幕内の勝敗データを持っていらっしゃる方がおりましたら、そのデータを提供いただければ、より一層踏み込んだことが分析できると思います
次世代統計利用システムは、統計におけるオープンデータの高度化に向けて、総務省統計局と協力し、独立行政法人統計センターが試行提供するシステムです。次世代統計利用システムは、統計におけるオープンデータの高度化に向けて、総務省統計局と協力し、独立行政法人統計センターが試行提供するシステムです。
ほんのわずかな初期の要因の変化が最終的に思いがけないほど差のある結果を招く現象を「バタフライ効果」と呼びますが、そんな現象は身近なところでも起こっているのかもしれないと思わせるような、一見すると関係のない2つのデータに相関性を見いだすプロジェクトが「Spurious Correlations」です。 Spurious Correlations http://www.tylervigen.com/ 1999年~2009年までの「アメリカの科学・宇宙・テクノロジーに関する支出」と「首つり自殺数」の上昇傾向が一致。 「水泳プールでの溺死数」と「ニコラス・ケイジの映画出演数」が、なぜか似たような傾向で上下しています。つまり、ニコラス・ケイジが映画に出演しなければプールでの事故が激減するのかもしれません。 「アメリカ人1人あたりのチーズ消費量」と「ベッドシーツに絡まって死亡する数」がほぼ一致。 「ア
さて、前回リストの記事から半年ぐらい経ちましたよーということで、それ以降に発刊された書籍などを吟味した上で更新したリストをお届けしたいと思います。といっても引き続き今回のリストにも入っているものが多いので変わり映えしないかもですが。。。 前回同様、統計学や機械学習にまつわる学術的な知識を得るだけにとどまらず、ビジネスにおけるデータ分析のプロとして知っておきたい知識を得るために必要な書籍もリストに入れてあります。 確率論まわりの基礎理論についての書籍は僕自身が勉強途中なので割愛しました*1。またコーディングまわりの本は一旦割愛してあります。というか僕はエンジニアとは言い難い身なので(泣)、コーディングまわりや詳細な実装プロセスなどは適宜必要な本を読んで下さいということで。。。 そして改めての断り書きですが、これは「ある程度既に統計学や機械学習などに馴染みがあってそれなりにPythonでコード
データが明かす習近平の政策アジェンダ 権力の集中は政策をどう変えたか 2024年6月11日 [Special Report] 林 載桓(青山学院大学)/伊藤 亜聖(東京大学)/張 紅詠(上席研究員) 外国企業との協業により経営力を強化!―さらなる企業の成長のヒントが経産省の協業連携事例集に(配付資料・動画配信) 2024年6月 3日 [シンポジウム] 博士課程卒業者の労働市場成果 2024年5月28日 [ノンテクニカルサマリー] 森川 正之(特別上席研究員(特任)) テレワークの実態:「就業構造基本調査」ミクロデータに基づく概観 2024年5月27日 [ノンテクニカルサマリー] 森川 正之(特別上席研究員(特任)) 主要通貨圏の規模の推定とその決定要因 2024年5月22日 [ノンテクニカルサマリー] 伊藤 宏之(客員研究員)/河合 正弘(東京大学) IMF世界経済見通し(配付資料・動画配
1月からスタートしたシリーズ企画「山本一郎と燃ゆるICT界隈」。2月はビッグデータ、パーソナルデータ強化月間ということで、『統計学が最強の学問である』著者の統計家・西内啓さん、そして新潟大学大学院・実務法学科教授の田中幸弘さんをゲストにお迎えしています。今回は、注目を集めている「データサイエンティスト」について切り込んでいきます。(※本文内敬称略) 第一回「ビッグデータは幻想なのか?」(掲載中) 西内さん、田中さんのプロフィールはこちらから 第二回「データサイエンティストって、ぶっちゃけどうなの?」(今回の記事) 第三回「パーソナルデータで広告界の地殻変動は起きるか?」(掲載中) 「データサイエンティスト」という職分が謎すぎる件 山本:さて、前回はデータを扱う企業にとって「誰に何を売りたいか」が明確じゃないと迷走することになる…という話で終わったわけですが。やっぱり、本当にビッグデータを活
データセット データセットとは、ファイルやURLなどの「オープンデータ」が登録された入れ物を指します。 データポータルでは、複数の切り口からデータセットを探すことができます。
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
こんにちは! 今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。 まずはA/Bテストです。二匹の猫がいて(猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。 今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。 猫Aの大きな勝利です! ただし、このA/Bテストには二つの課題があります。 猫は二匹しか存在しないので 1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。 2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから?ベロが出ているから?目が黒いから?その猫が勝っている要因は闇の中です。 そこで「多変量テスト」の登場です。方法はほ
この記事はThe top 20 data visualisation toolsの原著者許諾済みの日本語訳です。 By Brian Suda on September 17, 2012 Translated by Tatsuo Sugimoto 2014年4月28日更新:オリジナル記事が以前のサイトから移転したため発生していた画像の非表示に対応しました。 わたしがもっともよくきかれる質問のひとつが、データビジュアライゼーションを始める方法についてです。このブログの先へ進むには、練習し、さらに実践し、利用できるツールを理解する必要があります。この記事では、シンプルなチャートから複雑なグラフ、地図、インフォグラフィックスまで、ビジュアライゼーションを作成するための20種類のツールを紹介しようとおもいます。ほとんどのツールは無料で利用でき、そのうちいくつかはすでにインストール済みかもしれません。
一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶっちゃけ単純な四則演算で十分なケースの方が多数派でしょう。 なので、普段はDB上でSQL(というかHiveなど)でサクッと四則演算だけで集計処理を済ませてしまって、その結果だけを表示するようにしておいた方が圧倒的に楽で手っ取り早いはず。多くのBIツールもそういう考えのもとで作られていると思います。 ところがどっこい。世の中には、単純な四則演算での集計結果と、データサイエンスを駆使した分析結果とで、食い違ってしまうケースが何故かあることが知られています。どちらかと言うとレアケースだとは思いますが、その矛盾をおざなりにするととんでもないことになることも多々あり
この連載では、筆者が独自に収集したデータを使って、みんな知ってるようで知らないニコニコ動画の現在を紹介していきます。第一回は初音ミクで有名な「VOCALOID」タグを取り上げてみたいと思います。 連載の一覧はこちら。 明治大学米沢嘉博記念図書館スタッフでニコニコ学会β幹事。趣味で同人誌やニコニコ動画関連の研究をしてる人。記事に使ったデータ元の『ニコニコ統計データハンドブック2013』など同人誌をコミケで頒布。ブロマガでは連載記事の補足も。Twitterアカウントは@myrmecoleon。 関わった近著に『進化するアカデミア 「ユーザー参加型研究」が連れてくる未来』(イースト・プレス刊)。 ■Amazon.co.jpで購入 「VOCALOID」タグはマイリスト率高し! 「VOCALOID」タグの動画は現在26万以上存在し、ニコ動全体の2.8%を占めます。「ゲーム」「音楽」「歌ってみた」のタ
分析レポート 統計ヘッドライン - 統計局月次レポート -令和5年10月13日更新 令和5年10月(統計ヘッドライン No.164) 統計Today - 統計をめぐる新しい動きやメッセージ -令和5年9月25日更新 令和5年住宅・土地統計調査 ~みんなのおうち調査 10月1日が調査日です~(統計Today No.198)(PDF:589KB) 統計トピックス - 「国民の祝日」や季節にちなんだ統計データ -令和5年9月17日更新 統計トピックスNo.138 統計からみた我が国の高齢者-「敬老の日」にちなんで- 労働力調査ミニトピックス - 労働力調査結果に関する分析レポート - 家計ミニトピックス - 家計調査結果に関する分析レポート - 小売ミニトピックス - 小売物価統計調査結果に関する分析レポート - 統計を学ぶ ・児童・生徒向け学習サイト ・先生向け学習サイト (授業モデル・補助教
やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい? 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw。 https://twitter.com/yawachi/status/326460494154194944 これを見て君はどう思う? twitterでは皆がこのニュースに対して嘲笑を投げかけていた。 そりゃそうだろう、大金を掛けて誰でもわかることしか出てこないなんて、笑われて当然さ。 データマイニングってのは、やっぱり、もっとこう、あの有名な「おむつとビール」ような意外性のあるものじゃないとね。 そう、データマイニングに必要なのは意外性だ! あの靴屋は全く馬鹿なことをしたもんだ、ゲラゲラ! OK、笑いが取れたようなので、もう一つ同じような話
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く