メルカリ社が運用する trocco & BigQuery のデータ分析基盤と経済性 #GoogleCloudDay / 20210526
Google Cloud Day: Digital ’21 の発表資料です。 https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo ---------------------------------------------------------------------------------------------------- データドリブンに事業を推進するメルカリグループのデータ分析基盤を紹介します。 BigQuery とマネージド ETL & ワークフローサービス trocco® の活用で、Google Cloud 領域外の新規データ連携毎に発生するフルスクラッチ開発から脱却し、希少なデータエンジニア工数を創出。決済データと紐づけた営業活動分析にも成功しています。 分析基盤構成
何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか - 渋谷駅前で働くデータサイエンティストのブログ
先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談
次世代のデータプラットフォーム「Looker」機能概要まとめ #looker | DevelopersIO
Developers.IOをご覧の読者の皆様は「Looker(ルッカー)」というBIツール・サービスを御存知でしょうか。2012年01月に米国カリフォルニアにて設立された同名企業により開発された、データ探索とデータディスカバリー(発見)のための、次世代のデータプラットフォームです。 Looker - Business Intelligence and Big Data Analytics Software Lookerは世界各国の著名な企業・スタートアップなどで採用されており、また日本国内でも下記のようにメルカリやQuipperといった企業が採用・導入をした事で知名度が上がってきています。2019年の「Gartner Magic Quadrant」でも「Analytics and Business Intelligence Platforms」部門に掲載されています。 プロダクトのリリース
統計学とはそもそも「無作為抽出された少量のデータ」を分析するためのものであった - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にQuoraにこんなアンサーを書いたことを思い出したので、ついでにリブログ記事として転載の上加筆修正したものを用意してみました。僕にしては珍しくコッテコテの頻度主義的な話題である上に、「p値なんか使うのはやめてしまえ」という記事を以前に書いておきながらこんな議論をするのは自己矛盾かもしれませんが（笑）、これまでの統計学の歴史を紐解くことで、温故知新ということで新たに理解されることもあるのかなと思っています。 小標本のための統計学と、「スチューデント」ことゴセットの話 補足 小標本のための統計学と、「スチューデント」ことゴセットの話 近代統計学とは、「無作為抽出によって得られた小標本を分析することで、その背後にある母集団の性質を推定する」ために改良が積み重ねられてきた営みです。すなわち、統計学は「少量のデータを扱う学問」そのものだとも言えます。 (Skbkekas - 投稿者自身に
総務省の無料データサイエンス入門講座、終了までのタイムアップ迫る | Ledge.ai
画像は『総務省統計局「社会人のためのデータサイエンス入門」講座PV』より オンライン講座サイト「gacco（ガッコ）」では、総務省による「社会人のためのデータサイエンス入門」が特別開講中だ。閉講日時は3月16日の23時59分まで。学習期間は4週間なので、今すぐ始めるとギリギリ間に合うはず。登録料および受講料は無料。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べる。統計学の基礎を学ぶことで、活用編の「誰でも使える統計オープンデータ」をより効果的に受講できるという。 本講座のコースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、データを理解し、分析する際に必要な統計学の基礎について学ぶ。第3週では、日ごろ目にすることの多いデータの見方について学習する。第4週では、誰も
《特別開講》社会人のためのデータサイエンス入門
2021年1月12日開講予定の「誰でも使える統計オープンデータ」にさきがけて、「社会人のためのデータサイエンス入門」を特別開講いたします。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べます。統計学の基礎を学ぶことにより、活用編である「誰でも使える統計オープンデータ」もより効果的に受講することができますので、この機会にぜひ2講座併せてご受講ください。 「誰でも使える統計オープンデータ」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用
誰でも使える統計オープンデータ
この度、「誰でも使える統計オープンデータ」の開講に先立ち、入門編となる『社会人のためのデータサイエンス入門』を特別開講しております。 データ分析の基本的な知識を学ぶことができる内容となっており、『誰でも使える統計オープンデータ』の受講前に学習していただくことで、より理解が深まるかと思います。この機会に、ぜひご受講ください。 ※「《特別開講》社会人のためのデータサイエンス入門」は、修了証の発行はございません。 ＞＞入門編はこちらから＜＜ 講座内容 オープンデータである統計データを活用したデータサイエンスをわかりやすく解説します。 今、様々な意思決定の場で、統計的な思考力によって様々な課題を解決していく能力、すなわち“データサイエンス”力の高い人材が求められている。本コースでは“データサイエンス”力の向上を目指し、事例なども踏まえ、e-Stat（政府統計の総合窓口）、統計GIS（jSTAT M
文系社会人が統計のために１から高校数学をやりなおしました｜hanaori
こういう人間です ・ 文系（英文学科） ・ Webエンジニア ・ 統計を勉強中モチベーションここ２年ほど統計を勉強しているのですが、そこで毎回立ちふさがるのが数学の壁でした。わたしは文系ということもあって数ⅡB（しかも途中まで）しか履修していなかったため、微分積分や線形代数などが出てくると理解することが難しく時間がかかってしまいます。 でももっと統計を知りたいし理解したい 😭 という気持ちをずっと感じていて今回数学をやり直すことにしました。 高校３年分と考えるとなかなか決心するのに時間がかかりましたが、やってよかったと思います。スケジュール感や実際使った本などを共有することで同じような方の参考になればよいなあ、と思います。 実際使用した本 ・ 講座■ よくわかる数学シリーズ 主にMY BESTシリーズを使用しました。カラーで説明もわかりやすく、目にも心にもやさしい仕上がりになっております
昭和の統計学利用が分かる「品質管理のための統計手法」
製造現場で品質管理を行なっている人には怒られそうだが、日本の実業分野で統計学の利用が早くから進んだところの一つが、生産管理の現場だ。戦後すぐにデミングがアメリカからやってきて、粗悪な日本製品の品質向上のために、日本科学技術連盟に品質管理の統計手法の重要性を吹き込んだことに由来する*1。今でももちろん有用なのだが、普及は昭和だ。 たまにマーケティングやトラヒック分析に統計学を使っている人々が、自分たちこそが統計学の実業利用の先駆者のような顔をしているのだが、統計学の産業利用自体は古くから行なわれている事を指摘したくなる。それにはメディアが戦前からやっている世論調査*2でも良いのだが、産業が小さすぎるきらいもあるので、品質管理の方が良いであろう。 こんな邪な目的のためにも、学部の統計学の入門テキストがちょっと重く感じる生産現場の人にも良い本が紹介されていた。「品質管理のための統計手法」は、品質
統計学の教科書から起業マニュアルまで、すごい「無料」コンテンツ集めました - グローバル経営の極北
ネットには「無料」で貴重な情報がたくさんある。統計学の教科書から、戦略コンサルによる「変革」の指南書まで、様々なコンテンツをまとめてみた。 OpenIntoro - 統計学の教科書 436ページの統計学の教科書が無償ダウンロード(PDF)可能。Openintroという米大学の教員などが「オープンソース」の試みとしてまとめた仕事で素晴らしい。編者の一人のミシガン大の教員によるCourseraの講座もある。 PDFファイルはこちら BCG - 「企業変革」の手引き 戦略コンサルのBCGによる「変革」の指南書。167ページのPDFが無償でダウンロード可能で、Kindleファイルも提供されています。かなり包括的に整理されており非常に参考になります。トップコンサルファームのこういった資料も無料で提供されるというのは本当にいい時代です。 PDFファイルはこちら Kindleファイルはこちら SaaS
統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
統計科学のための電子図書システム
2019年10⽉1⽇ 統計科学のための電子図書システムは 統計数理研究所の機関リポジトリに移行しました。 移行後のページ
文系卒社会人が統計入門する最短学習法 - Qiita
統計の学習をすると、難しい数式が出てきて躓くことも多々あると思います(経験談)。「入門」とつくタイトルの本であっても、数学当然知っているよ人間が書いていて、全然理解できないことが多いハズ。 筆者もそんな状態から2年間、試行錯誤をしながら学習し、「入門した！」ぐらいは自信を持って言えるようになりました。ただ、入門しただけなので、それより先は未知の分野です。 2年前の自分自身にアドバイスするつもりで、この記事を書きます。 関連する記事は以下のとおりです。 文系卒社会人が統計・機械学習を理解するための数学勉強方法 高校数学復習を終えると統計学の入門ができるのか？ 文系卒社会人が統計入門でのモヤモヤを克服した話 時間と目的別学習方法 統計の裏には数学が密接に関連しています。しかし、数学はどうしても苦手な人もいますし、全ての統計を学習する人が数学のような時間がかかる基礎レベルから理解する必要はないと
大学で学ぶ「統計学」の，入門用の講義ノートPDF。データ分析や確率統計の基礎 - 主に言語とシステム開発に関して
講義ノートの目次へ 統計学の基礎を学ぶための講義ノートPDF。 大学の入門レベルの統計学（データ分析や確率論の基礎）を，独学でマスターできるオンライン教科書や講義資料。 データがあふれる時代なので，データの扱い方を身につけよう。 たくさんのデータを扱うときには，自然と統計学が必要になる。 データの特徴を見抜いたり，部分的な情報から全体を推測したり，仮説を立てて検証したり。 初歩的な統計学の要点は… 平均や分散などの統計量・データの特徴量 正規分布や二項分布などの分布 標本を使った母集団の推定 検定による仮説の有意性の判断 回帰分析によるモデリング 中心極限定理・大数の法則などの数学的な理解 といったところ。 理論に加えてExcelやR言語も使いつつ，実際のデータ分析に応用する力をつけよう。 これがわかれば，数式をバリバリ使った「数理統計学」や「確率論」， 本格的な「確率統計・ベイズ統計」「
NPS調査のサンプル数、しっかり設計していますか？
1. 概要NPS調査は、顧客ロイヤリティを測るうえで最もポピュラーな調査です。今回は、このNPS調査の信頼性を担保するためにはサンプルサイズの設計がいかに重要かをシミュレーションを交えながら説明します。 なお、今回のシミュレーションに使用したR言語のスクリプトは有料（300円）で公開いたします。もしご興味のある方はご覧ください。 2. NPSとは？NPS（ネット・プロモーター・スコア）は、サービスやプロモーションなどの顧客満足度を測る際、大変ポピュラーなアンケートです。質問項目はたった1つ。「弊社のサービスを、親しい人や会社の同僚に進める可能性はどのくらいありますか？」この質問に0～10でスコアリングしてもらうのです。 NPS調査では、回答者のスコアに応じて次のような分類を行います。 ・0-6：批判者 …… サービスに対して不満を持っている人。 ・7-8：中立者 …… サービスを積極的に推
データからワンランク上の規則性を見つけるために 「分散」と「標準偏差」をざっくり理解し、エクセル分析しよう
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
ゼロからはじめた統計のお勉強の軌跡（おすすめテキスト編） - Qiita
こんにちわ、昨日今日のデータエンジニア ひろぽん(hiroponius)です。 データ分析の部署でお仕事するようになって１年、 それまでのWeb（しかもフロント）系とはぜんぜん異なるノウハウが要求される中、 「このままでは円滑な業務遂行に差し支えが、統計の勉強せんと！」 「Rとかちゃんと使えるように！」 「ていうか、データともっと深い感じになりたい！」 ということで、まさに今年2014年がんばった軌跡、主に参考にした本について。 たぶん、以下のような状況でなおかつ統計学勉強したいなーと思ってる人に、 ちょっと役に立つ内容になってるはず、です。 （学習するにあたってのマイルストーンは統計検定2級合格レベルです。） いわゆる文系、ちゃんとした数学教育は高校まで 中学校課程の数学までは理解できる／具体的な数式で解ける 微分積分は「見たことあるし解いてたはずなんだけど忘れた...」 Σ... がん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンス100本ノック（構造化データ加工編）をやってみた感想｜まりーな／エンジニア
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)