金融系データサイエンスカオスマップ2020年版 - ただのペンギンぶろぐ
今回のエントリでは金融系におけるデータサイエンス案件のカオスマップです。2020年版における以下の４分野における取り組みをまとめてご紹介いたします。 銀行 証券 資産運用 保険 ①銀行向けデータサイエンス案件 与信分析系 ②証券会社向けデータサイエンス案件 対面証券における営業効率最適化系 統計的な取引執行最適化 ③資産運用会社向けデータサイエンス案件 投資判断系 データ収集・アグリゲーション・分析系 リスク管理系 トレーディング戦略系 ④保険会社向けデータサイエンス案件 [損害保険]クレームが生じる要因分析 [損害保険]営業効率最適化系 [生命保険]デジタル診断系 ①銀行向けデータサイエンス案件 与信分析系 銀行の本業は預金者からの預金を融資して、その利子で利益を出すことです。ただし、貸し出す先はのべつ幕なしに誰でも良いというわけではありません。そのためしっかりとした融資先を見極める必要
統計初心者が時系列分析を学ぶための勉強法・オススメ本 - Qiita
私が個人的に開催しているエンジニア勉強会の2019年Advent Calendarで、『統計初心者がベイズ統計学に入門するまでの勉強法』という記事を書いたら、とても好評でした。 そこで今回は、統計初心者が時系列分析を学ぶための勉強について書いていければと思います。 この記事の目的と対象者 この記事は、統計の基礎はある程度勉強したことがあるという人が、立派に「時系列分析」統計学の一大トピックについて語れるようになることを目指します。 時系列分析の全体像を語れるようになるぐらいまでがこの記事のゴールです。 時系列分析の中でも、状態空間モデルという分析モデルを理解できるようになるところまでをゴールとします。 （そもそも統計モデリングってなに？という方は、こちら『結局、統計モデリングとは何なのか』もどうぞ） ここで紹介する書籍は、プログラミンを手を動かして学べる系の書籍ですので、プログラミングの知
結局、統計モデリングとは何なのか - Qiita
先日、つれづれなるままに 時系列分析の勉強法の記事『統計初心者が時系列分析を学ぶための勉強法』 を書き殴ってみたところ、反響の大きさに驚きました。 正直、時系列分析なんてかなりニッチな分野だ（3人ぐらいしか読まないだろう）と思ってたからです。 ステイホームしているみなさんが、暇だから時系列分析を使ってFXで一儲けしようとでも考えているんでしょうか。 時系列分析のトピックである、状態空間モデルも統計モデリングの一種なわけですが、本日は、「統計モデリングとは何なのか」について、あらためて考えてみたいと思います。 統計モデリングといえば、みんな大好き緑本『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』です。 緑本はたしかに素晴らしい本ですが、緑本を読んだだけでは、「何が統計モデリングで、何が統計モデリングではないのか」「統計学における
統計学・機械学習を自分なりに概観してみた - Qiita
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
【異常検知】異常原因を特定する - Qiita
異常検知は、正常データだけで学習できる製造業で人気のある手法です。 そして、異常検知で異常を検出したとして、「異常原因を特定したい」という 要望もよく聞かれます。 そこで、本稿では、複数のセンサが付いた異常検知システムにおいて、 異常が発生した場合に、どのセンサが異常値を示しているのかを特定する 方法を検討します。 ※コード全体はこちらに置きました。 ※こちらはPythonデータ分析勉強会#17の発表資料です。 きっかけ 以前に、こんな内容をツイートしたところ、皆さん興味をお持ちのようでした。 昨日、JFEスチールの製造ラインで異常検知する話しを聞いた。 ・数十個にわたるセンサで常時監視 ・異常検知の制約は、異常のみならず異常原因も特定する ・センサは相関が強いものだけを取り出し、主成分分析だけで異常検知 ・これによりコストと納期を大幅に削減 ー続くー — shinmura0 @ 3/14
プログラムの速度改善が誤差かどうかを統計的に調べる
Welch の t 検定を用いて 2 つのベンチマークの分布の平均が等しい（速度差は誤差の範疇）か、あるいは異なる（=有意な速度改善が成されている）かどうかを判定したい。 ベンチマーク用に TypeScript プログラムを用意した。 a.tsfunction a() { const noise = Math.random() - 0.5; const offset = 1.0; const t = noise * 2 + offset; setTimeout(() => console.log(t), t * 1000); } a(); b.tsfunction b() { const noise = Math.random() - 0.5; const offset = 2.0; const t = noise * 2 + offset; setTimeout(() => consol
統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
PyMC3を使ったベイズ推論によるA/Bテスト - ZOZO TECH BLOG
こんにちは。 データチームの後藤です。 A/Bテストはサービス改善のための施策の効果測定に欠かせないツールですが、最近のVASILYでは、運用するサービスが増えてきたことに伴いA/Bテストの内容も多様化してきました。今回はそのA/Bテストにベイズ推論を用いた具体的な例を紹介します。 問題設定 あるサービスのコンバージョン率を上げるため、コンバージョンの前提となる行動Xを増やすための修正を実施しました。ここで、「コンバージョン」は商品の購入などの成約を、「コンバージョン率」は利用数に対して成約に結びついた割合を、「行動X」は買い物カゴに商品を入れるなどコンバージョンの前提となる行動のことを指すことにします。修正がコンバージョン率の上昇に寄与したのかをデータから判断する必要があります。 修正後のページ（パターンA）を表示したグループと、修正前のページ（パターンB）を表示したグループの行動ログを
確率論、統計学関連のWeb上の資料 - yasuhisa's blog
確率論と統計学は俺がまとめるから、他の分野はお前らの仕事な。 確率論 Index of /HOME/higuchi/h18kogi 確率空間 生成されたσ-加法族 確率の基本的性質 確率変数とその分布 分布の例 分布関数 期待値、分散、モーメント 期待値の性質 独立確率変数列の極限定理 大数の弱法則(Weak Law of Large Numbers) 確率1でおこること 大数の強法則 中心極限定理 特性関数 Higuchi's Page Brown運動 Brown運動のモーメントの計算 連続性 Brown運動の構成:Gauss系として Brown運動に関する確率積分 空間L^2の元の確率積分 伊藤の公式(Ito formula) 日本女子大学理学部数物科学科の今野良彦先生のところにあった資料 最尤法とその計算アルゴリズム 収束のモード 大数の法則と中心極限定理 指数分布族モデルにおける最
1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ - ぴよぴよ.py
前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ
Zスコアと標準化 | 独立・副業支援のコンサルタント|改善リンクサービス
Zスコアとは何か Zスコアはある値xiが分布の中でどの辺りに位置するかを平均値0、標準偏差1の標準正規分布に置き換え表したものです。 Zスコアは下の算出式で導く事が出来ます。 xiが平均値と等しければZスコアは0となり、平均より高い値ならZスコアはプラスの値、低ければマイナスの値となります。このZスコアを求める式は標準偏差の値が異なる分布を、標準正規分布に置き換えたものと考えることが出来ます。 例えば上限規格値が40で、平均値30、標準偏差10の正規分布を計算すると下図の様になり、Zスコアは１となります。 Zスコアを用いる利点は平均値や標準偏差が異なる分布の値も標準正規分布という同一分布の中の値として比較が可能な所です。例えば数学と英語の成績の良し悪しは単なる点数の比較では判断できません。同じ70点でも点数の分布の平均と標準偏差によって分布のどの辺に位置するかが異なるからです。 数学の平
ビットコイン価格を計量分析して各種価格データとの相関関係を考察してみた - ビットコインの情報サイトの運営者ブログ
最近の話題といえばやはりビットコインの価格でしょう。価格予想でも書ければ面白いのですが、トレーダーでも投資家でもない私としては皆目見当がつかないので、中々探しても見つからないビットコインの価格データの計量分析を自分でやってみることにしました。 なお、どうしても専門用語を多く使ってしまっていますが、すべて説明していると1記事では収まらないのでかなり省略しています。またあくまで素人が趣味・独学の範囲で行っているものですので分析の誤り等にはご容赦ください。 使用するデータ 今回使用するデータとして、BTCJPY、BTCUSD、BTCCNY、USDJPY、EURUSD、USDCNY、TOPIX（日本株）、S&P 500（アメリカ株）、SSEC（中国株）、金、原油の11種を選びました。 為替、株、商品市場のそれぞれ代表的なものです。日経平均やNYダウでもいいのですが、より市場全体を代表する指標という
A/Bテストと統計的検定の注意点(その1) - ほくそ笑む
素晴らしい記事が上がっていたので言及したい。 仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ この記事では、A/Bテストにおいて、意味のある差が出たかどうかを統計的検定を用いて判断する方法を説明しています。 Web上にある多くのA/Bテストの記事と異なるのは、単に検定手法にデータを突っ込んでp値を出すのではなく、 意味のある差とは何かを事前に決定する サンプルサイズを事前に決定する という統計的検定のフレームワークに則ったまともな方法で判断を行っているという点です。 よく言われる統計的検定は無意味だなどという言論の多くは、このフレームワークを使っていないだけに過ぎず、不確実な事象に対する科学的な検証方法として、統計的検定のフレームワークの強力さはいまだ健在です。 さて、統計的検定のフレームワークについては上の記事および記事中で紹介されている参考文献にお任せするとして、ここでは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「因果関係」をとらえるために / To grasp causal relationship
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Amazon.co.jp: 統計的学習の基礎 ―データマイニング・推論・予測―: Trevor Hastie (著), Robert Tibshirani (著), Jerome Friedman (著), 杉山将 (翻訳), 井手剛 (翻訳), 神嶌敏弘 (翻訳), 栗田多喜夫 (翻訳), 前田英作 (翻訳), 井尻善久 (翻訳), 岩田具治 (翻訳), 金森敬文 (翻訳), 兼村厚範 (翻訳), 烏山昌幸 (翻訳), 河原吉伸 (翻訳), 木村昭悟 (翻訳), 小西嘉典 (翻訳), 酒井智弥 (翻訳)
http://park.itc.u-tokyo.ac.jp/atstat/jss75shunen/Vol3.pdf
Go言語でオンライン外れ値検出エンジンSmartSifterを実装した/smartsifter_in_golang
定量分析の教科書: ビジネス数字力養成講座 | グロービス, 鈴木 健一 |本 | 通販 | Amazon
統計学における相関分析と仮説検定の基本的な考え方とその実践
