ロジスティック回帰の最尤推定量にはバイアスがある - ほくそ笑む
ロジスティック回帰について調べている。 ロジスティック回帰モデルのパラメータの最尤推定量は、不偏推定量ではなく、バイアスがある。 例として、サンプルサイズ 、入力変数の数 のときを考える。 パラメータ 300個の真の値を、最初の 100個は 、次の 100個は 、残りの 100個は に設定して推定してみよう。 n <- 1500 p <- 300 # データの生成 set.seed(314) x <- rnorm(n * p, mean = 0, sd = sqrt(1/n)) X <- matrix(x, nrow = n, ncol = p) beta <- matrix(c(rep(10, p/3), rep(-10, p/3), rep(0, p/3))) logistic <- function(t) 1 / (1 + exp(-t)) prob <- logistic(X %*
物理を習ったことがある人向けの誤差逆伝播法 - Qiita
機械学習のニューラルネットワークにおける誤差逆伝播について、物理を習ったことがある人にわかりやすいようにまとめてみました。 なお、物理を習ったことがある人、というのは未定義で、「なんとなく物理をやったことがあるならわかりやすいかな」という程度です。 物理をやったことがあるなら、偏微分とか連鎖律とかはよく知っているわけです。また、あまりに煩雑な計算はうまいこと避けたいなとか思っていると思います。そして、変に図を描くよりも式変形した方がわかりやすいなとか思ったりすると思います。 参考文献 http://nnadl-ja.github.io/nnadl_site_ja/chap2.html 追記：全結合型以外の一般的な形の時の誤差逆伝播法についても追記しました。 追記：$\delta$の定義をより自然にした方法を追記しました。 ニューラルネットワーク まず、ニューラルネットワークについて考えます
2023年版データ分析の100冊 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん
Pythonではじめるベイズ機械学習入門
第1章 ベイジアンモデリングとは 1.1 データ解析とコンピュータ 1.2 ベイジアンモデリングの基礎 1.3 代表的な確率分布 1.4 近似推論手法 第2章 確率的プログラミング言語（PPL） 2.1 ベイジアンモデリングとPPL 2.2 自動微分・最適化アルゴリズム 2.3 PyMC3の概要 2.4 Pyroの概要 2.5 NumPyroの概要 2.6 TensorFlow Probabilityの概要 2.7 GpyTorchの概要 第3章 回帰モデル 3.1 線形回帰モデル：線形単回帰モデル 3.2 線形回帰モデル：線形重回帰モデル 3.3 一般化線形モデル：ポアソン回帰モデル 3.4 一般化線形モデル：ロジスティック回帰モデル 3.5 階層ベイズモデル 3.6 ガウス過程回帰モデル：ガウス尤度 3.7 ガウス過程回帰モデル：尤度の一般化 第4章 潜在変数モデル 4.1 混合ガウス
強化学習 - 星の本棚
機械学習の一種である強化学習について勉強したことをまとめたノート（忘備録）です。 尚、ここで取り上げている各種強化学習手法の一部の手法の実装コードは、以下のレポジトリに保管してあります。 github.com 目次 [Contents] 強化学習のモデル化 エージェントと環境の相互作用 環境のマルコフ性 エピソード的タスクと連続タスク マルコフ決定過程（MDP） 価値関数 状態価値関数 行動価値関数 状態価値関数と行動価値関数の関係 ベルマン方程式 ベルマン最適方程式とグリーディーな選択 代表的な古典的強化学習手法の比較 強化学習における動的計画法（DP法） 反復法による近似解 方策評価 反復方策評価 方策改善 方策改善定理 方策改善定理とグリーディー方策 方策改善のアルゴリズム 方策反復法 [policy iteration] 価値反復法 [value iteration] 一般化方策反
Kaggle Grandmasterへの軌跡
Kaggle Grandmasterへの軌跡 はじめに 嗚呼、憧れの。 Kaggle Grandmasterに…… ……というわけで、なってしまったので、Kaggleとの出会いを含めて記念にポエムにしようと思いました。 Kaggleをはじめる前 Topcoder Marathon Matchesという、中長期ヒューリスティクスプログラミングコンテストの分野で、なぜか初参加から2位、1位、1位とよく分からない順位をつけ、最初の2試合だけでRedcoderになったりしつつ、TCO(Top Coder Open)という毎年1回だけ現地開催される大会決勝に大会側に渡航費用を出してもらって計3度決勝に進出しているうちに、当時全盛期だったTopcoderは衰退期を迎えもはや参加の価値が薄れつつあり、すれ違いでコンテストでもっと勝つために再入学した大学院の博士後期課程が原因でTopcoderをはじめとし
世界最大規模のディープラーニングを「富岳」で実施して世界一になりました - fltech - 富士通研究所の技術ブログ
はじめに こんにちは。富士通株式会社ICTシステム研究所のMLPerf HPC五人衆です。先週、国際学会SC’21 において、理化学研究所/富士通が共同で開発した新しいスーパーコンピュータ（スパコン）「富岳」がスパコンランキングで4期連続の4冠(TOP500, HPCG, HPL-AI, Graph500)を獲得しましたが、同会議で発表された、実際のディープラーニング(DL)学習処理に特化したMLPerfTM HPC ベンチマークにおいても世界一を獲得しました。 本ブログでは、このMLPerf HPCの一つのアプリケーションであるCosmoFlowの学習を「富岳」で大規模に行い世界一となった、その挑戦についてお話させてもらいます。 はじめに 背景 MLPerf HPCって何？（白幡） CosmoFlowって何？（田渕） 「富岳」って何？（田渕） プロセッサ 通信ネットワーク ストレージ 準
PyTorchでの学習・推論を高速化するコツ集 - Qiita
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
新卒向け研修資料「テスト文字列に”うんこ”と入れるな」を公開しました
新卒向け研修資料「テスト文字列に”うんこ”と入れるな」を公開しました 代表の松井です。 弊社インフィニットループでは、近年「新卒ファースト」を合言葉に社内教育に力を入れています。 先日、主に新卒向け（それ以外の参加者も多くいましたが）に、「テスト文字列に”うんこ”と入れるな」という講義を行いましたので、その資料を公開します。 なぜ人は入力欄に「うんこ」と入れてしまうのでしょうか。 それはどういう経路で社外に漏れ、防ぐには何をすべきなのでしょうか。 タイトルはアレですが、内容は至って真面目に書いています。 悲しい事故を防ぐために「仕事中にはふざけないこと」など、新社会人に必要なメッセージを強く込めたつもりですので、ぜひ本資料をあなたの会社での研修にも役立てていただければと思います。 ツイート
Excel医@デザイン勉強中『Excel最速仕事術』著者 on Twitter: "これ、河野太郎さんの功績です。 【データ表記方法の統一ルール】 Excelでデータ入力するときの統一ルールを作成してくれました。マジのマジで全国民に見てほしくてまとめました。スーパー拡散お願いします🙇♂️ 全国民に配るべき！… https://t.co/j82z5RBR1S"
これ、河野太郎さんの功績です。 【データ表記方法の統一ルール】 Excelでデータ入力するときの統一ルールを作成してくれました。マジのマジで全国民に見てほしくてまとめました。スーパー拡散お願いします🙇♂️ 全国民に配るべき！… https://t.co/j82z5RBR1S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヒューリスティックコンテストで機械学習しよう
DMMの検索に機械学習を導入して、A/B テストで圧勝した考え方 - DMM inside
はじめに — 機械学習帳
TJO on Twitter: "こういう可視化凄く大事だと思った。ロジスティック回帰（だけでなく他の非線形分類でも）の決定境界が、正例・負例を動かしたり追加したりするたびにどう変わっていくかをインタラクティブに体験できるデモ https://t.co/HWmiDCc2J6"
Sato Shuntaro｜佐藤俊太朗 on Twitter: "統計学寄りの言葉と機械学習寄りの用語の対応表。助かる。 https://t.co/ijWWLO3125"
GOROman on Twitter: "苦労したベーマガの写経ももう要らない。 そう、iPhoneならね。 https://t.co/BYaMDxaQfQ"
https://twitter.com/sssugasawa/status/1461157922767970304
MIT CSAIL on Twitter: "9 Distance Measures in data science with algorithms. via: @gp_pulipaka https://t.co/37izyWPL9b"
langstat on Twitter: "付注2－1 ランダムフォレスト・決定木分類について - 内閣府 https://t.co/iaqenBaCC2 え、内閣府？w"
haltakov.eth 🧱🔨 on Twitter: "Let's talk about a common problem in ML - imbalanced data ⚖️ Imagine we want to detect all pixels belonging to a… https://t.co/TUb3GnnJoj"