フリーで使えるエクセル統計ツールの出力結果が間違っているかもしれないという話（コレスポンデンス分析について） - Qiita
1.はじめに 最近、職場のN氏からコレスポンデンス分析に関することでコメントを求められ、色々と試行錯誤した。その際、後述するエクセルの統計アドインツールの結果が、SASやRなどの統計パッケージの結果と一致しないことに気がついた。 2.問題の所在 まずは数字を適当に入力したデータテーブルを作って、SASのcorrespプロシジャを試してみる。 proc sql; create table df (brands CHAR(5) NOT NULL, attr1 float NOT NULL, attr2 float NOT NULL, attr3 float NOT NULL, attr4 float NOT NULL, attr5 float NOT NULL, attr6 float NOT NULL, attr7 float NOT NULL, constraint prim_key pr
直感的に理解するConformal Prediction
Generative Predictive Model for Autonomous Driving 第61回 コンピュータビジョン勉強会＠関東 (後編)
フランス人としてパリオリンピック開会式を分析してみた 🇫🇷｜アンジェリック
2024年パリ・オリンピックの開会式のスクショや画像を見て、「一体なにが起きてるのか」と思ったかもしれない。確かに他国の開会式を観ていると、なぜこの人が注目されているのか、なぜこの音楽が選ばれたのかを理解するのは難しい。フランス人として、この記事で説明したい。 残念ながら今回はフランスのメディアの動画は地域制限がかかっているため、記事には公開できないのでスクリーンショットしか載せられない。ご理解の程よろしくお願いいたします！ ・開会式の始まりフランスで最も人気のあるコメディアンのジャメル・ドゥブーズが偉大なサッカーチャンピオンであるジネディーヌ・ジダンに聖火を渡すことで始まる。 ジネディーヌ・ジダンジャメル・ドゥブーズ多くのフランス人にとっては常識だけど、ジャメルはジネディーヌに憧れている。それは、彼が出演している1998年から2002年まで放送されたTVシリーズ『H』にも表れていた。 開
キー局決算で見えた｢TVerによる驚きの配信収入｣
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
電通、人間の消費行動に強く影響する「11の欲望」最新版を発表
電通のプロジェクトチーム「DENTSU DESIRE DESIGN（デンツウ・デザイア・デザイン）」は3月22日、2021年から実施している「心が動く消費調査」の最新結果をもとに、人間の消費行動に強く影響を及ぼすドライバーとなる感情を分析した「11の欲望」を更新・発表した。
固定効果と変量効果の直感的理解 - 講義のページへようこそ
経営学や組織行動論を始め、近年の社会科学では、デジタル化の影響もあって大量のデータがとりやすくなってきた。さらに、１人から複数時点でのデータを取得することも昔よりも容易になってきた。そこで、同じ変数を個人とか企業（個体）から時間をおいて何度も取得したデータを分析することが増えてきた。このようなデータは、縦断データとかパネルデータと呼ばれ、より精緻な分析が可能となる。縦断データやパネルデータには、個体間の変動と、個体内での変動（時間的変動など）が混ざっているので、この種のデータを分析する際には、それらをごっちゃにしてしまう単純な重回帰分析のような方法では適切なパラメータ推定ができないため、混合モデルやマルチレベル分析などより高度な統計手法が使われる。 このような縦断データもしくはパネルデータの統計分析で頻出する用語が「固定効果」と「変量効果（ランダム効果）」である。この用語は極めて分かりにく
ゲームの面白さとは何か？ - 7つのエレメントと対応するゲームジャンル｜Jey.P.
世の中には様々なゲームがあり、ゲームごとに多様な面白さがあります。面白さの追求や議論には「面白さ」とは何か正確に把握することが不可欠ですが、「面白さ」は人によって捉え方の異なる概念です。 この記事ではゲームの面白さをいくつかの構成要素に分解し、ゲームジャンルを構成要素の組み合わせとして捉えることで、多くの人が合意できる面白さの正体に迫ります。 また、構成要素に対する個人の好みの違いが何によって生じるかを掘り下げるとともに、製品やプロモーションの実例に当てはめます。 面白さの要素分解は分析・開発に必須これまで筆者のnoteでは、たびたび対人ゲームの3要素として「技術」「意思決定」「研究」を取り上げてきた。 ゲーム体験の構成要素を抽出して言語化することはデザイン分析や開発において有用だ。言語化が不十分だと「RPG」「(作品名)っぽい」など、あやふやなジャンル分けや既存作品に基づいた表現でしかゲ
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
Google Analytics 4 で正しく理解しておくと安心な「指標」８選（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 Google Analytics 4 の本格利用がGoogle Analytics終了とともに始まり、多くのサイトや企業が移行を完了したと思われます。しかしGA4は新しい計測形式になり、混同しやすい内容が増えました。特に今までGAを使っていた人ほど、誤った理解で設定を行ったり、数値の定義を間違えて理解してしまいます。 そこで今回は誤った理解をされがちな数値を８個まとめてみました。普段なにげなく使っている指標も実はこんな仕様だった！というのを理解しておくと、適切な指標を選んだり、説明できたり出来るようになります。 みなさんが正しく仕様を理解できているかを１つずつチェックしながら、ぜひ本記事をご覧ください。 「設定」編も参考にしてみてください。 Google Analytics 4 でミスされやすい・誤解されやすい「
Running the Leiden algorithm with R on adjacency matrices
Clustering with the Leiden Algorithm in R This package allows calling the Leiden algorithm for clustering on an igraph object from R. See the Python and Java implementations for more details: https://github.com/CWTSLeiden/networkanalysis https://github.com/vtraag/leidenalg Install This package requires the ‘leidenalg’ and ‘igraph’ modules for python (2) to be installed on your system. For example:
因子負荷量と固有ベクトル - Qiita
library(tidyverse) dat <- iris %>% select_at(1:4) %>% prcomp(scale = T) biplot(dat, xpd = T) これ自体はいいんですが。 時々、この図の、例えばSepal.Widthの赤い矢印を指して、「平面中のプロットにおいて、このパラメータは、この矢印の方向に行くに従って大きくなります(なると期待されます)。」と解説する方がいらっしゃいます。 これは、アウトです。 確かめてみましょう。 Q. 「この平面内で、Sepal.Widthが大きくなって行く(と期待される)方向(線)」を求めたい。 A. Sepal.Widthに対して、主成分PC1とPC2を重回帰します。 # パラメータの整理 y <- iris$Sepal.Width %>% scale(center = mean(.), scale = sd(.))
確率予測とCalibrationについて - 機械学習 Memo φ(・ω・ )
概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通
データ分析におけるキャリブレーション - tkherox blog
キャリブレーションとは クラス分類におけるキャリブレーション キャリブレーションの評価指標 Reliability Diagram Expected Calibration Error(ECE) Maximum Calibration Error(MCE) キャリブレーション方法 Isotonic Regression Platt Scaling キャリブレーション実践 動作環境 利用データ 実装例 まとめ 参考資料 キャリブレーションとは Calibration(以下，キャリブレーション) とは予測モデルの誤差分布を改善するための後処理の技術になります． 機械学習のモデルを構築してシステムにインプリする前に，モデルから得られるスコア値と実測値の誤差における分布や推定がどの程度適切に行われるかを知ることは非常に重要です．そこで今回は一般的なキャリブレーション手法について記していきます． ク
現場で使える機械学習活用 ~その①機械学習プロジェクトの流れと留意すべきこと~｜akiraTOSEI
はじめにこのブログは、「現場で使える機械学習活用」をテーマにした4部作のうち1作目です。これらの4部作では「いかにして機械学習を使って現実世界の問題を解決するか」を軸に、陥りやすいポイントやコツを解説していきます。 第1回目は、プロジェクトの流れとプロジェクト成功のため留意すべきことを解説します。 機械学習プロジェクトの流れと留意すべきこと ←イマココ 仮想プロジェクトを題材にしたプロジェクトのコツ解説 プロジェクトで頻出する問題の対応 説明性があるAI (XAI) とその活用 機械学習プロジェクトの流れ機械学習を実務に適用するプロジェクトは、下記に示す5つの段階に分けることができます。 課題から機械学習で解決できそうな部分を見つけ、実現性を探る 機械学習で解けるように問題を設定する 必要なデータを集め、前処理をする 機械学習で学習・モデルの改善を行う 機械学習を実務に組み込む 1~4 は
データ分析の効率が10倍上がるデータサイエンティストのためのChatGPTの活用術 - Qiita
ChatGPTを使ってデータサイエンティストの生産性を爆上げする活用術をまとめました！ また、データサイエンティストがChatGPTを活用するための記事をまとめているので、こちらもぜひ参考にしてみてください。 データ前処理 「ChatGPTを使用すると、「データを分析可能な形に前処理して」といった大雑把なリクエストに対しても、すんなりと対応し、データ前処理を行ってくれます。」 今のところ、大量のデータを前処理する際にChatGPTを利用する場合は、ChatGPTに実際の前処理を行わせるのではなく、前処理用のサンプルコードを教えてもらう方が良いでしょう。 ただし、近い将来にはCSVやExcelを直接アップロード＆ダウンロード可能な「Code Interpreter」というプラグインが追加される予定とのことで、実務利用が大いに現実味を帯びると考えられます。 詳細は以下のページで紹介しています！
読了：Gao et al.(2019) MRP(マルチレベル回帰・層化)に構造化事前分布をいれる | 読書日記
Gao, Y., Kennedy, L., Simpson, D., Gelman, A. (2019) Improving multilevel regression and poststratification with structured priors. arXiv:1908.06716v2. 30 Sep 2019. しばらく前に読んだ奴。たしか勉強のつもりで読んだのだと思う。 最近の選挙予測でブイブイいわせているらしき、Mr.P こと Multilevel Regression and Poststratification (日本語ではなんていうんだろう？ マルチレベル回帰・層化？) に、構造を持つ事前分布をいれるという論文。Mr.Pの生みの親 Andrew Gelman さんも著者に入っている。たぶん未公刊。 いまみたらarXivに改訂版があがっていた。なんか内容が大幅改善さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generating binary data by specifying the relative risk, with simulations
「“超”分析」 ー問題解決力を高める技法ー - Japan - Kearney
Model Calibration
Distribution calibration for regression