統計データ解析 Ⅱ Introduction to statistical data analysis Ⅱ | UTokyo OCWx
ビッグデータの時代と言われている。近年、データの計測およびストレージ技術の発達とともに、大規模データから適切に情報抽出し、それを意思決定に活用することが必須のリテラシーとなっている。いっぽうデータの形式と対応する解析法の変化は著しく、新しい方法を正しく利用するために、普遍的な統計科学の原理を理解することが重要である。基礎となる統計数理とともに、具体的な統計解析手法とその運用を、統計ソフトウエアによるデータ解析実習を通じて習得する。 統計データ解析Ⅱでは、統計ソフトウエアRの説明の後、高次元大規模データに潜む相関構造を発見し計量する多変量解析、および時系列データの基本的な解析法を学ぶ。統計手法の運用とデータハンドリングを実習することに加え、微分積分学、線型代数学等の前期課程数学と連携し、数理科学的側面を意識しながら、実験を介して統計手法の合理性と体系を感得する。
PythonでGoogle Cloud Data Catalog APIを使ってみた(前編) - Qiita
はじめに Google Cloud Data CatalogからPythonを使ってデータを抽出する機会があり、詰まったところ、TIPSなどをまとめてみました。 Data Catalogを使って何をするか 今回使用した Data Catalogの機能面をGoogleのサイトから拾ってみました。 フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。 Data Catalog は、さまざまな Google Cloud システムからアセット メタデータをカタログ化できます。 Data Catalog API を使用して、カスタム データソースと統合することもできます。 データをカタログ化したら、タグを使用してこれらのアセットに独自のメタデータを追加できます。 組織が大きく、データが増えるほどに以下のような課題が生じてくる為、それらをメタデータとしてData Catalo
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
シンプルな顧客セグメント戦略を使って成果を出すための方法｜樫田光 | Hikaru Kashida
Hikaru Kashidaです。 メルカリという会社で、データ分析チームのヘッドをやっています。 ここ最近は、メルカリというフリマアプリサービス全体のグロースの戦略をリードしています。 去る2018年の11月にweb担主催のカンファレンス『Web担当者ミーティングForum』にて登壇をしてきました。そちらで話した内容の概要について、こちらの記事でも文章として残して置きたいと思います。 ↑ 登壇で自分の名前がヘッドラインに載ったの初めてだったので感動。登壇のタイトルは『Simple Data Analyticsで成果を出す』としました。難しい分析の話でなく、より施策と運営に寄せた内容をテーマにしたつもりです。 具体的な内容としては、メルカリで分析を活かしてセグメント戦略の立案と運用を行った時の話になります。顧客セグメンテーションを使って売上を上げたいマーケターやプランナー、アナリストの人に
ChatGPT使い方総まとめ - Qiita
こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped
統計的因果推論、構造から見るか? 差分から見るか?：非巡回有向グラフ(DAG)、潜在反応モデル、そして構造的 (関数)因果モデルによる両者の統合的理解
応用数理学会ものづくり研究会（2020/12/18）で発表機会をいただいた、「因果推論の諸理論の統合的理解」をテーマとした発表です。Rubinの潜在反応モデルとPearlの構造的因果モデルの統合的理解がテーマです。（大きなテーマを60分枠に詰め込んだので、ややギチギチした作りになっています。大部分は過去…
GA4連載第1回：オウンドメディア担当者がGA4に移行するべき4つの理由（寄稿：小川卓） - はてなビジネスブログ
Google アナリティクス（以降「GA」）の利用停止が2023年6月末と残り9ヶ月をついにきりました。Googleは代替ツールとしてGoogle アナリティクス 4（以降「GA4」）を提供しており、多くの企業がGA4への移行を始めています。 support.google.com しかし「GA4は難しそう」であったり「今はまだGAが使えるから大丈夫」ということでGA4の移行を行っていないサイトも多いのではないでしょうか。3回シリーズとして、GA4の導入や設計など数多くの案件に携わっている株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）がGA4に関しての連載を寄稿させていただくことになります。 全3回の内容は以下の通りとなります 第1回：オウンドメディア担当者がGA4に移行するべき4つの理由 第2回：オウンドメディア担当者がGA4を導入するための初期設定と活用するべきレ
GA4の計測設計には設計ドキュメントが重要な件 - ブログ - 株式会社JADE
こんにちは、あるいはこんばんは。村山です。皆さまGoogleアナリティクス4(以下、GA4)との戯れには慣れてきましたでしょうか。GA4の使い方は「完全に理解した」という方もいれば「まだまだこれから計測実装していくから触っていない」みたいな方もいらっしゃるのではないかと思います。 今回は、後者である「これからGA4を計測実装していく」方にむけて、どのようにGA4の計測実装を推進したら良いのか書いていこうと思います。 どのようなイベントを計測するべきか？ データに関わる方が1名と少ない場合 データに関わる方が2名以上の場合 データ計測の設計書となるドキュメントが必要だ GA4はさまざまなイベント計測方法がある GA4管理画面内の「イベントの変更」 GA4管理画面内の「イベントの作成」 GA4管理画面内の「オーディエンストリガーイベント」 GTM内からイベントタグの発火 GA4の計測設計にはN
GTMを使ったGA4の設定・移行方法を【はじめから丁寧に】解説！イベント設定の事例あり ｜ユニークワン／インターネット広告会社
GTM（Googleタグマネージャー）を使うと、GA4の設定・移行をスムーズに行うことができます。 今回のコラムでは、 GTMを使ってGA4を設定・移行する方法 GA4のイベントをGTM経由で設定する方法 GTMを使ったGA4移行のよくある質問 について解説しました。 GA4でよく設定するおススメのカスタムイベントも詳しくご紹介。 設定手順は画像付きで解説しているので、初心者の方でも分かりやすい内容です！ ※2024 年7月1日以降、すべてのユニバーサル アナリティクスプロパティおよびAPIにアクセスできなくなり、すべてのデータが削除されます。詳しくは公式サイトを参照ください。 【初心者向け！GA4基礎セミナー開催！】 2024年7月11日（木）に、「【初心者向け】GA4の基本をマスター！初期設定から管理画面の見方まで丁寧に解説」を開催します！ 間もなく2024年7月にユニバーサルアナリテ
意外と簡単！Google アナリティクス4(GA4)への移行手順 | WordPress(ワードプレス)の移転、サーバーの移行の代行なら【サイトの引越しサービス】
2022年3月16日、Googleのアナウンスがあり、現在のGoogle Analyticsの計測が2023年7月1日に終了することになりました。Google Analyticsに代わりGoogleアナリティクス4（GA4）が提供されているので、なるべく早めにGoogle Analytics4（GA4）へ移行することを推奨されています。 ただ今のところGA4に関する情報が少なく、移行手順も複雑に感じたので、私自身もGA4への移行を躊躇していまいした。ところが先日GA4に移行しようとしたところ、GA4への移行手順がかなり簡単になっていたので、GA4への移行手順について詳しく紹介したいと思います。 GA4 プロパティの作成 Google Analyticsの画面の上部に下記の表示が出てきます。 右上の「開始」をクリックするとアナリティクス4(GA4)への移行が始まります。 もしくは、画面左下の
【エンジニア向け】GA4 / GTM 完全攻略マニュアル PV編 - Qiita
はじめに 2022年3月16日にGoogleからユニバーサルアナリティクス（UA）のサポート終了が発表されてしばらく経ちましたが皆さんいかがお過ごしでしょうか。 きっと上司や顧客から「2023年7月までにGA4に移行しろ」と言われている日々かと存じます。 本記事はGA4やGTMの設定を完全攻略するためのマニュアルとなっています。 既に様々な記事が出ていますが、不要な情報が多くて欲しい情報になかなか辿り着けないことも多いかと思います。 本記事では忙しいエンジニアの皆さん向けに必要な情報だけをまとめた記事となっています。 初回はPV編ということでGTMで取得したPVをGA4で確認してみます。 GA4の設定 アカウントとプロパティの作成がまだの方はこちらの記事を参考に設定してください。 トラッキングIDを確認する 「設定」＞「管理」＞「アカウント」＞「プロパティ」＞「データストリーム」＞「測定I
XGBoostとLightGBMの違い - DATAFLUCT Tech Blog
こんにちは！ 皆さんはXGBoostとLightGBMの二つをご存じですか？ 機械学習をやっている方は聞き慣れているフレームワークだと思いますが、 両者の違いを正しく理解できているでしょうか。 今回はこの二つのフレームワークの違いを解説していきます。 結論から話すと、XGBoostではLevel-wiseという決定木の作成方法を用いており、LightGBMではLeaf-wiseを用いています。Leaf-wiseでは決定木の分岐が少ないためそれを活用したLightGBMでは高速な計算が可能になります。 GBDTの計算手順を復習してから、両者の違いを理解していきましょう。 勾配ブースティング決定木とは 決定木 アンサンブル学習 勾配降下法 GBDTの計算手順 XGBoostとLightBGMの異なる点 Level-wise Leaf-wise ジニ不純度 その他のLightGBMの高速化の理由
Pythonを使ったネットワークの可視化 - Qiita
ネットワークを「見る」のに役立つツールの実践ガイド Photo by Scott Webb on Unsplash この記事のコードは、このリポジトリですべて公開されています。 【更新情報】2021年2月2日：ネットワーク可視化のためのpythonパッケージJaalをリリースしました。後述のリストのオプション4と考えることができます。ぜひ使ってみてください。詳細については、このブログに記載があります。 はじめに ネットワークまたはグラフは、相互に関係を持つエンティティの特別な表現です。ネットワークは、(1) ノード（エンティティ）と (2) エッジ（2つのノード間の接続）の、2つの汎用オブジェクトのコレクションで構成されています。複雑なネットワークでは、各ノードやエッジに関連付けられた属性や特徴もあります。例えば、人物のノードは、年齢、性別、給与などの属性、「友人」という2人の人物間のエッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DXの人気職業に異変 「企業の設計士」、米で初の首位 22年調査 データサイエンティストは3位に低下 - 日本経済新聞
Business intelligence that speaks your language
https://www.jstage.jst.go.jp/article/pjsai/JSAI2022/0/JSAI2022_2P4GS1002/_pdf
高校生の自宅内メディア利用の実像～シークエンス分析で迫るリアルな生活とメディア～株式会社ビデオリサーチ ひと研究所 渡辺庸人氏
最適化超入門
なぜ表形式のデータの予測には、ツリー系モデル（ランダムフォレスト、XGBoostなど）の方が深層学習モデルより優れているのか
https://twitter.com/kenken26679105/status/1576021253420302336