LightGBMのProbabiliy(～～率)を検証・考察してみる » ラプラス・ディー
予測モデル精度競争チャンピオン Photo by RUN 4 FFWPU on Pexels.com AIは平均値をちょっと良くした物という定義がありますが、その中でもAI競技の世界では、結局勝ち残るのはLightGBMになるという経験則があります。 DataRobot や様々なクラウドで提供されているAutoMLを利用しても、結局勝ち残るのはLightGBMばかりなので、突き詰めて考えてしまうと、LightGBMを試せば最良の予測モデルが作成できてしまうという印象すらあります。 これはKaggleで上位ランキングを取った半数以上もの勝者が「勾配ブースティング」を使っている（参照：kdnuggets）という記事からもお分かりいただけると思います。一昔前は『決定木バカ』と揶揄される程、全ての課題に対して決定木を当てはめようとする方がいたのですが、最近は…『LightGBMバカ』が一世を風靡し
グラフィカルモデルに基づく因果探索手法の調査 - Fire Engine
最近，因果推論や因果探索に興味を持ち，勉強している．というのも最近，ゆううきさん と一緒に分散システムの異常の原因を即時に診断するための研究を進めている．原因を診断するためのアプローチとして，サーバやコンテナ等から取得できる様々なメトリック（CPU使用率やメモリ使用率など）を（グラフ理論における）ノードとして，因果グラフを構築することを考えている．メトリック同士の単なる「相関」ではなく，結果と原因の関係である「因果」を捉えようとするアプローチである．例えば，システムの障害が発生した場合，相関だけでは，AとBが関連がありそうというところまでしか言えないが，因果を特定できると理想的には，Aの原因はBであるといった議論ができるため，有用だと考えている． 実際に，前述のような因果グラフを構築して障害の原因を特定しようというアプローチは，以下の例に挙げるようにここ数年で増えている印象がある． 「Mi
ビッグデータから見えたママの悩みと育児あるある 生後102日頃には子供をモデルに応募したくなる？ - Corporate Blog - ヤフー株式会社
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 子供を出産後、旦那へのイライラがもっともつのるのは生後45日目頃、子供の指しゃぶりが気になるのは生後56日目頃、髪の毛の逆立ちが気になるのが生後61日目頃、わが子をモデルに応募したくなるのは生後102日目頃…… こんにちは、「Yahoo! JAPANビッグデータレポート」チームに所属する育児中のママです。 冒頭で紹介した育児に関するこの日数、決して適当に決めたわけではなく、きちんとビッグデータ分析の結果に基づいて導き出された日数なのです。どのような方法を用いればこのようなことがわかるのでしょうか？今回はビッグデータ分析から見えた驚きの発見を紹介いたします。 育児とは毎日何が起こるかわからず
ヤフー・データソリューション
無料セミナー：消費者分析・市場調査が可能！ヤフーのビッグデータを分析できるツール「DS.INSIGHT」のご紹介
【学生の意見割れる】Web・併用・対面、それぞれに拒否感《本紙調査》｜立命館大学新聞社｜Ritsumeikan Univ. Press
本紙は秋学期の開講に向け、学生の意向を把握するべく、立命館大学学部生約32,000人を対象とする調査を実施した。調査項目は前回調査を踏まえ、①秋学期に希望する授業形態②休学・退学希望の有無とした。調査は8月5日から18日にかけてインターネット上で行い、有効回答数は1,414件、全学生数に占める回答者の割合は4.39％であった。なお、調査票は選択式問題と、一部自由記述欄が設けられた。本記事は調査結果の詳報である。 0.回答者の属性 回答者の学年比率については、1回生（39.3%）、2回生（18.8%）、3回生（26.8%）、4回生（13.5%）、5回生（1.6%）。 学部ごとの回答者数・比率は、法学部（203人・14%）、文学部（306人・22%）、産業社会学部（168人・12%）、国際関係学部（37人・3%）、映像学部（42人・3%）、経済学部（95人・7%）、理工学部（122人・9%）、
自作したテニスのビデオ分析ツールで錦織・デルポトロ戦を分析してみました | DataTennis.NET
自作したテニスのビデオ分析ツールで錦織・デルポトロ戦を分析してみました 公開日： 2018/04/14 最終更新日：2018/12/28 テニスのビデオ分析ツールをつくって、先日行われた錦織・デルポトロ戦を分析してみました。 錦織がデルポトロに2-6 2-6（マイアミ3回戦）で負けてしまった試合です。 今回は、自作したビデオ分析ツールを使うことで、サーブの着弾点などの分析もできました。 自作ツールに言及するのは初めてなので、まずはビデオ分析ツールについて簡単に説明したいと思います。 自作したビデオ分析ツールについて なぜ、ビデオ分析ツールを自作したか、理由は↓になります。 ・ATPサイトServe Return Trackerでトッププロのコース毎のポイント率などが掲載されているのをみて、サーブの着弾点などを自分で記録・分析したくなった。 ・商用のビデオ分析ツールは価格が高く、個人が趣味で
広告クリエイティブと機械学習技術における現状と展望 / The Present and Future of Machine Learning for Ad Creatives
この資料は2020年度人工知能学会第34回全国大会のオーガナイズドセッション「広告とAI」にて発表した際の資料です。 広告クリエイティブは主に画像やテキストなどから構成され、デジタル広告において購買対象となる顧客に対し、効果的に製品の情報を届ける重要な役割を担っている。こうしたクリエイティブは主に人手により、大量に作成および運用されている。しかし効果の高いクリエイティブを作るのは非常にコストがかかる。そのため、配信効果の高いクリエイティブの作成や運用のために、機械学習技術を用いた研究開発が世界中で盛んに行われている。特に広告クリエイティブを構成する素材の分析や、広告クリエイティブの配信効果を事前に予測するCTR予測・CVR予測、配信効果の高い広告クリエイティブの自動生成といったタスクが注目されている。本講演では、データマイニング分野で最難関国際会議であるKDD2019において発表した広告ク
悪用厳禁：絶対に成功するA/Bテストの作り方
ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。
Rで異常検知(2): 正規分布に従うデータからの異常検知（ホテリング理論・MT法） - 渋谷駅前で働くデータサイエンティストのブログ
さて、気紛れから始まったこのシリーズですが。今回は第2章を取り上げます。 入門 機械学習による異常検知―Rによる実践ガイド 作者: 井手剛出版社/メーカー: コロナ社発売日: 2015/02/19メディア: 単行本この商品を含むブログ (4件) を見る 多変量かつ非正規データの異常検知は少し後の方になるので、例のwater treatment plantのデータセットを持ち出すのは後回しにして、今回は適当に生成したデータセットを使うことにしました。 ちなみに、今回のシリーズではあまりあれこれ引用しまくると引用の範囲を超えてしまいそうな気がしたので（笑）、要点をちろっとまとめてRスクリプトを並べるだけに留めておきます。故に、皆さんご自身がお手元で試される場合には必ず井手先生のテキストをご用意下さい、ということで。 ホテリングの（1次元） これはオーソドックスに正規分布する1次元のデータの中か
異常検知本の読書メモ Part 1 - yasuhisa's blog
異常検知本を最近読み進めていたので、自分が知らなくて新しく勉強になったところのみメモ。 ホテリングの法による異常検知 異常度はマハラノビス距離で与えることができる サンプル数Nが次元数Mより圧倒的に多い場合はは自由度M、スケール因子1のカイ二乗分布に従う これによりカイ二乗分布で欲しい閾値(逆関数か対応表から)を決めておく 「カイ二乗分布の分散はであるため、精度よく異常検知をするためにはなるべく変数選択をするか部分集合毎にを計算するのがよい」と書いてあってナルホド感があった 単純ベイズ法による異常検知 naive bayesのところまぁ知ってるので飛ばす ベイズ決定則とネイマンピアソン決定則の関係のところは勉強になった ベイズ決定則は異常判定を強く抑制する傾向にあるので、既存の二値分類の実装をあまり深く考えずに異常検知に使うと異常標本精度が非常に低くなってしまうため注意が必要 近傍法による
大規模データに対するデータサイエンスの進め方 #CWT2016
スライド中のURI - Kuduのインストール(Cloudera Manager使用) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_installation.html - Impala-Kuduのインストール(CDH5.8以前) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_impala.html#install_impala - Apache Kudu Troubleshooting http://kudu.apache.org/docs/troubleshooting.html - Apache Kudu project page http://kudu.apache.org/ - Cloudera Eng
「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ - 六本木で働くデータサイエンティストのブログ
先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線
銀座で働くデータサイエンティストのモデル選択について
『今さら人に聞けない「重回帰分析の各手法の使い分け」 』と言うブログのエントリーがあって、一般化線形モデル（GLM）の使い分け（Rの関数glmとパッケージMASS）の説明がされているのだが、理系実験室から出てきた人のせいか、色々と怪しく感じる所がある。純粋文系プログラマとして問題点を指摘してみたい。 1. 離散データだから最小二乗法が使えないわけではない 全体として、モデルの説明がおかしい。推定モデルの使い分けが良く分かってい無い気がする。問題のエントリーには、『クリック数という「カウントデータ＝離散値データ」』だから『普通の線形回帰』と表現されている一般最小二乗法（OLS）は正しく推定できない可能性があるので、ポアソン回帰モデルや負の二項分布回帰モデルにしようと言っている。しかし、離散データでもプロビットのような二項/多値選択モデルであったり、切り落としのトービット・モデルで無い限りは、
生態学データ解析 - FrontPage
生態学で使われるデータ解析・統計モデリングをあつかうサイトです． サイト管理者: 久保拓弥 内容: 統計学授業, R 関連, GLM 関連, GLMM 関連, ベイズ統計 & MCMC, よくある質問 などなど 全ペイジ一覧 統計学授業など 統計学授業: 久保の北大での授業 (cf. ELMS) 統計学授業の教科書: 「データ解析のための統計モデリング入門」 集中講義・セミナーなどはこちら 配信版: 配信版・統計モデリング入門 よくある質問あれこれ 生態学会大会などでの活動 生態学会の自由集会など (これまでの一覧) 2018 年 3 月 札幌大会: データ解析で出会う統計的問題: R の新しい作図・作表 生態学会誌などに掲載された 解説文一覧 (ダウンロードできるものものあります) 参考：Statistical Ecology Virtual Issue (Methods in Ecol
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソレユケ テレビ探偵団
Streamlit • A faster way to build and share data apps
機械学習の精度と売上の関係
Indeed CodeSprint
計量経済学と 機械学習の交差点入り口 （公開用）
Python とデータ分析コンテストの実践
