統計データ解析 Ⅱ Introduction to statistical data analysis Ⅱ | UTokyo OCWx
ビッグデータの時代と言われている。近年、データの計測およびストレージ技術の発達とともに、大規模データから適切に情報抽出し、それを意思決定に活用することが必須のリテラシーとなっている。いっぽうデータの形式と対応する解析法の変化は著しく、新しい方法を正しく利用するために、普遍的な統計科学の原理を理解することが重要である。基礎となる統計数理とともに、具体的な統計解析手法とその運用を、統計ソフトウエアによるデータ解析実習を通じて習得する。 統計データ解析Ⅱでは、統計ソフトウエアRの説明の後、高次元大規模データに潜む相関構造を発見し計量する多変量解析、および時系列データの基本的な解析法を学ぶ。統計手法の運用とデータハンドリングを実習することに加え、微分積分学、線型代数学等の前期課程数学と連携し、数理科学的側面を意識しながら、実験を介して統計手法の合理性と体系を感得する。
PythonでGoogle Cloud Data Catalog APIを使ってみた(前編) - Qiita
はじめに Google Cloud Data CatalogからPythonを使ってデータを抽出する機会があり、詰まったところ、TIPSなどをまとめてみました。 Data Catalogを使って何をするか 今回使用した Data Catalogの機能面をGoogleのサイトから拾ってみました。 フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。 Data Catalog は、さまざまな Google Cloud システムからアセット メタデータをカタログ化できます。 Data Catalog API を使用して、カスタム データソースと統合することもできます。 データをカタログ化したら、タグを使用してこれらのアセットに独自のメタデータを追加できます。 組織が大きく、データが増えるほどに以下のような課題が生じてくる為、それらをメタデータとしてData Catalo
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
シンプルな顧客セグメント戦略を使って成果を出すための方法｜樫田光 | Hikaru Kashida
Hikaru Kashidaです。 メルカリという会社で、データ分析チームのヘッドをやっています。 ここ最近は、メルカリというフリマアプリサービス全体のグロースの戦略をリードしています。 去る2018年の11月にweb担主催のカンファレンス『Web担当者ミーティングForum』にて登壇をしてきました。そちらで話した内容の概要について、こちらの記事でも文章として残して置きたいと思います。 ↑ 登壇で自分の名前がヘッドラインに載ったの初めてだったので感動。登壇のタイトルは『Simple Data Analyticsで成果を出す』としました。難しい分析の話でなく、より施策と運営に寄せた内容をテーマにしたつもりです。 具体的な内容としては、メルカリで分析を活かしてセグメント戦略の立案と運用を行った時の話になります。顧客セグメンテーションを使って売上を上げたいマーケターやプランナー、アナリストの人に
ChatGPT使い方総まとめ - Qiita
こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped
統計的因果推論、構造から見るか? 差分から見るか?：非巡回有向グラフ(DAG)、潜在反応モデル、そして構造的 (関数)因果モデルによる両者の統合的理解
応用数理学会ものづくり研究会（2020/12/18）で発表機会をいただいた、「因果推論の諸理論の統合的理解」をテーマとした発表です。Rubinの潜在反応モデルとPearlの構造的因果モデルの統合的理解がテーマです。（大きなテーマを60分枠に詰め込んだので、ややギチギチした作りになっています。大部分は過去…
XGBoostとLightGBMの違い - DATAFLUCT Tech Blog
こんにちは！ 皆さんはXGBoostとLightGBMの二つをご存じですか？ 機械学習をやっている方は聞き慣れているフレームワークだと思いますが、 両者の違いを正しく理解できているでしょうか。 今回はこの二つのフレームワークの違いを解説していきます。 結論から話すと、XGBoostではLevel-wiseという決定木の作成方法を用いており、LightGBMではLeaf-wiseを用いています。Leaf-wiseでは決定木の分岐が少ないためそれを活用したLightGBMでは高速な計算が可能になります。 GBDTの計算手順を復習してから、両者の違いを理解していきましょう。 勾配ブースティング決定木とは 決定木 アンサンブル学習 勾配降下法 GBDTの計算手順 XGBoostとLightBGMの異なる点 Level-wise Leaf-wise ジニ不純度 その他のLightGBMの高速化の理由
Pythonを使ったネットワークの可視化 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は、Mohit Mayank氏による「Visualizing Networks in Python」（2021年1月26日公開）の和訳を、著者の許可を得て掲載しているものです。 Pythonを使ったネットワークの可視化 ネットワークを「見る」のに役立つツールの実践ガイド Photo by Scott Webb on Unsplash この記事のコードは、このリポジトリですべて公開されています。 【更新情報】2021年2月2日：ネットワーク可視化のためのpythonパッケージJaalをリリースしました。後述のリストのオプション4と考
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テンソルSOMによる関係データの可視化
これからの⼈材育成を考える - ⽂部科学省 今後の教育課程、学習指導及び学習評価等の在り⽅に関する有識者検討会（第3回）2023/3/24
Statista - The Statistics Portal
DXの人気職業に異変 「企業の設計士」、米で初の首位 - 日本経済新聞
Business intelligence that speaks your language - Omni Analytics
https://www.jstage.jst.go.jp/article/pjsai/JSAI2022/0/JSAI2022_2P4GS1002/_pdf
高校生の自宅内メディア利用の実像～シークエンス分析で迫るリアルな生活とメディア～株式会社ビデオリサーチ ひと研究所 渡辺庸人氏
最適化超入門
もやし（@w_coast_0330）さん / X
なぜ表形式のデータの予測には、ツリー系モデル（ランダムフォレスト、XGBoostなど）の方が深層学習モデルより優れているのか
https://twitter.com/kenken26679105/status/1576021253420302336
GitHub - ku-nlp/kwja: An integrated Japanese analyzer based on foundation models
