滅多に起こらない現象を表すポアソン分布はイチローの安打数にも当てはまるのか？ １９９４年、プロ３年目のイチローはシーズン２１０安打、打率.３８５を記録して、一気にスーパースターになりました。 この年の打率１０傑は次の通りです。 （年度別成績 1994年パシフィックリーグ｜NPB.JP 日本野球機構 より抜粋） １位と２位以下の差が凄いですね。 いかにイチローが図抜けていたかが分かります。 今年のパ・リーグの規定打席以上の打者２９人の安打数を見ると、試合数より少なくなっていて安打数÷試合数＝０.９３です。 これくらいだと、１試合当たりの安打数は「滅多に起こらない事象の確率分布」であるポアソン分布に従います。 しかし、普通でない打者のイチローは、１試合当たり１.６本以上の安打を打っています。 そのような場合もポアソン分布に従うのでしょうか？ それを調べてみました。 比較対象として１９９４年打率
28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか？」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり
Pythonライブラリとは Pythonのライブラリとは、複数のパッケージをまとめたものです。パッケージは複数のモジュールをまとめたもので、モジュールは複数の関数をまとめたものです。 つまり、 のような関係性があります。 ライブラリには、標準ライブラリと外部ライブラリがあります。標準ライブラリは、Pythonをインストールした際に標準でインストールされているライブラリです。そのため、自分でインストールをする必要はありません。 対して外部ライブラリは、標準ではインストールされておらず自分でインストールが必要なライブラリです。 ではここからは、各ライブラリの紹介しましょう。 まずはこれから！標準ライブラリ3選 標準ライブラリでおさえておきたいライブラリは3つです。 pip Pythonで書かれたライブラリをインストールや管理をするためのライブラリがpip。ライブラリをインストールする場合、pi
基本情報技術者試験の表計算に出題される関数一覧とExcelを用いた簡単な練習方法 - わえなび ワード＆エクセル問題集 waenavi
基本情報技術者試験の午後試験には、選択問題として表計算が出題されます。問題冊子の最後に表計算ソフトの仕様が掲載されていますが、試験時間中に読むヒマは無いので事前に把握しておく必要があります。 基本情報技術者試験で出題される関数はすべてExcel関数で再現可能であり、仕様もほぼ同じです。選択問題で表計算を選択するのであれば、出題される関数くらいはExcelで使えてほしいものです。 そこで、今回は、基本情報に出題されるすべての関数をExcelで再現してみようという企画です。簡単な問題なので受験生の皆さんはもちろん全問正解だと思いますが、こんな簡単な問題が出題されるわけがありませんので、実際には対策テキストまたは問題集を買ってしっかりと勉強しましょう。 「基本情報表計算・関数」シリーズ 基本情報技術者試験の表計算に出題される関数一覧とExcelを用いた簡単な練習方法 基本情報技術者試験マクロ「相
Kaggle体験記：IEEE CIS Fraud Detectionで19位/6381 - kurupicalのブログ
はじめに こんにちは。くるぴー(@kurupical)です。 このたび、IEEE CIS Fraud Detectionコンペに、@pondelion1783さん、@HighGradeToppoさん、@TaTakoihirokazuさんと参加し、19位/6381の成績を残すことができました。 チームのみなさまはとても優秀で、コンペに参加した2ヶ月の間とても刺激的な時間を過ごすことができ、いい経験になりました。 チーム目標であった「金メダル」も達成できてとても嬉しいです。本当にありがとうございました！ このブログでは、これからKaggleなどのデータ分析コンペ参加しようとしている方向けに、どのようにコンペに取り組んだのかという経緯を残しておきたいと思います。 何かのお役に立てれば幸いです。 もしよろしければ、1年前に書いたkaggle体験記もあわせてご覧ください。 kurupical.hat
SREが明かす！システム監視における動的閾値設定の適応例 / 開発者向けブログ・イベント | GMO Developers
お疲れ様です。技術ブログを久しぶりに投稿します。SREチームのキム・ドンヒョンです。 SREチームは、信頼性の高いシステムを提供するため、様々な活動を通じてシステムをサポートしています。その中でもシステムの監視と通知活動は、SREチームの重要な業務の一つです。今回は、サービスの安定性を確保するための重要な活動の一つである閾値設定について詳しく説明します。 基本的な監視と閾値設定 基本的なシステムの監視は、システムのパフォーマンスが特定の閾値を超えたり下回ったりしたときに警告を発することです。こうした監視により、システムは自己フィードバックを受けて安定した正常状態を保つことができます。例えば、エアコンのように室内温度を一定に保つ必要があるシステムでは、温度が一定の範囲を外れるとイベントを発生させたり、必要な動作を行ったりしてシステムの安定性を維持します。このような閾値設定は、システムの特性に
回帰と相関，知っているようで知らない，その本質：Excel の回帰分析を例として 井口豊（生物科学研究所，長野県岡谷市） 最終更新：2024 年 1 月 19 日 1. はじめに このページでは，回帰直線とはどのようなものなのか理論的に考え，最小二乗法による直線回帰の「誤解」について取り上げたい。特に， Microsoft の Excel （エクセル）を用いて回帰分析の具体例を示し，その理論的背景を考えてみたい。 これは，読んで字のごとく，データ点からの二乗和が最小になる近似式（適合式），を求めるものである。ところが，この「データ点からの距離」の取り方が，「くせもの」なのである。 最小二乗法は頻繁に行われる直線近似法である。 Excel などの表計算ソフトでも容易に出来る。しかし，それがゆえに，どんな計算法か知らずに適用されてきているのも事実である。 ここでは，最も単純な2変数x, ｙのデ
最終更新日： 2021年4月7日 ディープラーニングなどのAI開発において、最もよく使われているプログラミング言語はPythonです。Pythonを用いれば比較的簡単に、わかりやすくAI開発の勉強ができます。 また、Pythonは教材や書籍が充実しており、独学にも向いている言語だと言えます。 この記事では、プログラミング初心者を対象に、PythonでAI開発するための勉強方法を３つのステップに分けて紹介していきます。 Pythonとは？ 「Python」は、いま最も注目を集めているプログラミング言語と言っても過言ではありません。 従来のC言語などのプログラミング言語に比べて、少ないコード数でシンプルかつ分かりやすいソースコードを作成できるので、プログラミング初心者におすすめの言語です。 また、Pythonの最大の特徴として、「ライブラリの豊富さ」が挙げられます。以下の豊富なライブラリを用い
目次 IEEE コンペ 所感 上位陣に共通しているポイント 異なる点 1st Place Solution チーム リンク 要点 時間特徴は重要でない Magic Feature Fraud な顧客 過学習の防止 詳細 Final Model UIDの見つけ方 EDA Feature Selection Validation Strategy 2nd Place Solution チーム リンク 要点 Data Cleaning CV Feature Engineering Final Blend 6th Place Solution チーム リンク 要点 User IDs CV Features Models Blending Post-processing Final submission 9th Place Solution チーム リンク 要点 ユーザーID CV Model 11
【Excel】小計が含まれる表を計算するときに！SUBTOTAL関数の使い方、活用事例を紹介 - まいにちdoda - はたらくヒントをお届け
Microsoft Excel（以下、Excel）関数のひとつであるSUBTOTAL関数は、数値の合計を算出できる関数です。使い方がSUM関数と似ているのですが、小計を含む表やフィルターを扱う際にはSUBTOTAL関数のほうが便利な場合があります。 この記事では、SUBTOTAL関数の使い方や活用事例などを紹介してきます。「SUM関数しか知らない」という方はぜひ参考にしてみてください。 合計はSUM関数だけではない！小計を簡単に計算できるSUBTOTAL関数 数の合計を出したい時によく使われるのはSUM関数です。しかし、そのほかにSUBTOTAL関数を使って合計を算出する方法があります。まずはSUM関数とSUBTOTAL関数の違いを理解するために以下の図をご覧ください。表内の数字は両方とも同じですが小計・総計の計算式が異なります。 SUBTOTAL関数には「小計や非表示セルは計算の対象から
こんにちは。HIROBUNです。 いつも当ブログをお読みいただき、ありがとうございます。 さて、お気付きかもしれませんが、私は当ブログの名称をちょくちょく変えています。 それは、「試行錯誤の現れ」なのですが、このたび、ようやくしっくりくる名称が決まりました（と思います）。 それは「HIROBUNが投資信託を見える化するブログ」、肝は「見える化」です。 前の「比較してみる」も結構気に入っていたので、当初はそのまま行くつもりでしたが、そのうちにどうも「比較してみる」だけでは弱いかなと思うようになりました。 要するに「投資信託 比較」でヒットするサイトなどいくらでもあるわけです。それも上位は大手企業のサイトです。これではどう頑張ってもブログが埋もれてしまいます。 そこで考えたのですが、私が今やっているのは、個々の投資信託の無味乾燥な基準価額の変化を、グラフや表の数字に変換して、横並びで皆さまにお
まえがき こんにちは、さつま芋です。 相変わらず、目で見るチャート分析を信奉する人（チャーチスト）が多いようです。 素朴な疑問ですが、本物チャートと偽物チャートを見分けられなくてもチャート分析に支障はないのでしょうか。 例えば、次の終値Aと終値Bの真贋は区別できるのでしょうか。 今回はランダムチャートからFXを考察してみます。 ランダムチャート 上図の終値AがUSDJPYの本物チャート、終値Bが乱数による偽物チャートです。 終値Aは2022/4/8の8:00から2022/6/3の23:00までの1時間足です。 一方、終値Bは次の数式を使ってエクセルで作った乱数です。 =NORM.INV(RAND(),平均,標準偏差) 値幅の標準偏差があれば、本物に似せたランダムチャートを作ることはできます。 ちなみに、標準偏差に0.163を入力して128に積算したものです。 正規分布 高校の数学ですが、理
多変量解析は、様々な分析方法を用いて、多数のデータから結果を予測したり、シンプルな計算式のような指標を導いたりする手法です。 本記事では、多変量解析について、基礎的な知識から具体的な手法までわかりやすく解説します。 多変量解析とは？どんなことができる？ 多変量解析とは、複数の変数に関するデータをもとに、これらの変数間の相互関連を分析する統計的技法の総称です。特定の分析方法を指すものではありません。 多変量解析には、重回帰分析やクラスター分析など様々な分析手法が含まれます。中にはエクセルで解析できる手法もあり、高度な数学的知識が必ずしも必要というわけではありません。 多変量解析でできることや手法をみていきましょう。 多変量解析でできること 多変量解析では、例えば、次のようなことが可能です。 アンケートの結果から商品の強み・弱みを知りたい 身体測定のデータから病気になる確率を知りたい 既存店舗
最近は政治家や評論家や経営者が、口をそろえて「安全安心（若しくは、安心安全）」という言葉を使う気がします。でも、安全と安心って、何が違うのか？分るような分からないような印象はありませんか？そもそも、安全と安心はセットでつなげて発信する言葉でしょうか？？ 学生時代「安全」は工学分野で学んだことがあります。或いは、運転免許を取得するとき「安全運転」に関する知識を学びました。さらには、このブログのメインテーマである、情報セキュリティの分野で、「安全性の維持」は、重要な特性とされます。IoTの進化によりネットは、医療機器への活用や自動運転に進みます。もしも、サイバー攻撃があると、生命の安全に危険を及ぼす可能性があります。 一方「安心」について、わたしは特別なことを学んだ記憶がありません。 そこで「安全」と「安心」の関係について、考えたいと思いました。 サプライチェーンマネジメントの仕事でよく使う「
文章力 - 今を大切に生きる
大学の授業で心理学の演習を行いました。その演習では3つの実験をやりました。一つはミュラー・リヤー錯視というもの。錯視とは視覚の錯覚です。錯覚は、実際の物理的現象とは異なって見えることを言います。ミュラー・リヤー錯視とは錯視のなかでも有名なものです。ご興味がある方は下記リンクをご覧ください。 illusion-forum.ilab.ntt.co.jp こちらの実験を大学で行いました。錯視について、先行研究では錯視はどのように述べられているか、そこから実験の仮説を立て、実験を行います。そしてその実験に必要な機材や手順、結果、考察、まとめをレポートとしてまとめます。 実験自体はとても楽しかったです。実際に実験者(実験を実施する立場)と参加者(実際にミュラー・リヤー錯視の装置を動かしてみる立場)の両方をやってみて、本当に錯視が起きることを知りました。 実験は楽しかったのです。が、これをレポートとし
インデックス投資で資産の一部に新興国株を採用している方もいらっしゃると思います。 いつかは大きなリターンが得られるかもしれないと期待される新興国株ですが、新興国株インデックスの過去30年間の推移を見ると 10年で1.3倍 20年で3.6倍 30年で7.5倍 と右肩上がりで成長しています。 ところで、この成績は予測できていたのでしょうか。 予測できていたとして、現在の成績はどれくらい予想通りだったのかって気になりませんか？ この記事では、新興国株インデックスの実績と、正規分布に基づくリターンとリスクを加味した乱数シミュレーションを比較し、現在の成績が良い方だったのか悪い方だったのか普通だったのかを確認しました。 シデ 結論を先に言うと、だいたい平均値くらいの成績だったことが分かりました。 今後もそのまま推移するのかは誰にも分かりません。 合掌！ 先進国株インデックスでも同様の検証をしておりま
年収が1,000万円を超えると幸福度は上がらなくなる！って話は昔からあって、私も「科学的な適職」で参照したりしました。が、近ごろ「年収が上がるほど幸福度も上がるのでは？」ってデータ(R)が出てきて、何人かの方から「あれはどうなんですか？」みたいなご質問をいただいております。 この研究はペンシルバニア大学ウォートン校のキリングワース先生が発表したもので、概要はフォーブスが「収入と幸福度の比例関係、富裕層でも変わらず 新研究結果」として説明してくれております。ちなみに、キリングワースさんは、「マインドワンダリングが多い人ほど不幸だ！」っていう有名な研究をした先生です。 で、これがざっくりどんな研究だったかと言いますと、 アメリカの労働者33,391人に「幸福度の評価アプリ」をわたして、ランダムなタイミングで「いま幸福感を感じてますか？」みたいな質問を行う 最終的に1,725,994のデータを集
突然ですが統計検定2級に合格しました！ この記事は、"データサイエンスに興味がある"、"久しぶりに机に向かって手を動かす勉強をする"、"自分の仕事・スキルが組織に最適化しすぎていて焦燥感に苛まれる"、"試験勉強とか久々過ぎて何から始めていいかわからないよぅ"、"ほかに統計検定の記事あるけど、なんか専門的過ぎてよくわからん、もっと泥臭いのないの？"、"専門家でもないけど、かといってズブの素人でもない、そんなちょうど[興味あるしちょっとやる気になってるんだけど~]という層"に向けて書きました。 著者の属性 理系卒40代会社員 大学院時代 統計や数学が嫌いすぎて全く単位を取ってない（標準偏差すら理解していない状態） 修論で指導教官から「t検定やれ」っていわれたけど、言われたとおりにエクセルにピコピコ数字入れてクリックして出てきた数字をコピペしたそれっぽく書いただけ。で、なんで卒業できたのか、マジ
増田読んでブコメ読んで、いろんなことが気になったのでまとめておく。あんまりしゃちほこばっていちいちブログに書く内容でもないのだけど、自分の言葉で説明しておく訓練の一環としてこうやって書いた。 あいも変わらず日々増田を読んでるんですけどね、今週ちょっと内容的に気になるものがあったのでその話をば。ブクマページのコメントも含めていろいろと気になりすぎたのでここで少し確認の意味をこめて書いておく。 anond.hatelabo.jp 増田は国立社会保障・人口問題研究所というところが公開している「出生動向基本調査」というもののデータを引いて表題の主張をしているのだが、その主張の裏付けのために実に不思議な計算をやっているのが気になった、という話です。 www.ipss.go.jp 増田が「出生動向基本調査」からもってきている数字は「調査別にみた、結婚相手の条件として重視・考慮する割合」（リンク先はCS
【はじめての統計学】 エクセルで学ぶマーケティング統計分析＆戦略
統計学とエクセルを使ったビジネス戦略プロセスを解説します！ テスト結果から何が言えるのか？ その平均値、本当に正しい？ 広告宣伝費と販売数、本当に関係ある？ 100人のアンケートだけで十分？ といった課題を、統計学の基本とエクセルによって解決するテクニックを学びます。 前半では、平均・分布・分散から、「このデータから、何を読み取れるのか？」を学びます。 次の相関分析では、近似曲線を使いながら「データAとデータBに関係があるのか？」というデータの関係性について学びます。 最後は、信頼区間やP値といった計算により、「そのテスト結果、正しいといえるのか？」というデータの信頼性を学びます。 1. 平均、分布、分散 平均 グラフ化(1) 縦棒グラフ グラフ化(2) ヒストグラム 中央値 標準偏差 パレート分析 2. 相関分析 近似曲線の基本(1)：R2 近似曲線の基本(2)：正の相関、負の相関 近
「安全」の捉え方について - 叡智の三猿
前回は安全在庫に関する投稿をしました。それを参考にして「安全」と「安心」の違いを書きました。 www.three-wise-monkeys.com ところで「〇〇は安全」と言われると「〇〇は危険がない」と、同じ印象を持ちます。そのまま、受け止めるのでなく、以下に書いた「安全の捉え方」を意識した行動をした方がいいと思います。 １００％の「安全」は存在しない。 前回のブログで、安全在庫は出荷量のばらつきや調達リードタイムに「安全係数」を乗算します。安全係数とは欠品をどこまで許容するかによって決まる定数と書きました。安全係数はエクセル関数のNORMSINVを使って求られますが、欠品率をゼロとした安全係数は、存在しません。これは、１００％欠品しない在庫量を数学的に求めることは出来ないことを意味しています。 安全係数「１００％の安全は存在しない」が、安全の捉え方その１です。 たとえば、最近あったニュ
統計本の教科書の巻末には、必ずついている標準正規分布表。 数字がびっしり書かれていてとても難しそうだし、見方もわからない。。 でも、実は、標準正規分布表はとっても便利です！ ここでは、標準正規分布と標準正規分布表の見方、そしてZ値との関係について、わかりやすく説明していきます。 標準正規分布と標準化によるZ値の求め方は？ まずは標準正規分布について。 標準正規分布は、“ある範囲にどれくらいの観測データが含まれているか”を知るのにすごく便利です。 標準正規分布って何? 標準正規分布は、平均が0で、標準偏差が1の正規分布です。 正規分布とは？簡単にわかりやすく標準偏差との関係やエクセルでのグラフ化を解説 で紹介しましたが、正規分布の2つの大事な特徴は 正規分布の形は平均と標準偏差（データのバラツキ）で決まる。 標準偏差がわかれば、その範囲にどれくらいの観測データが含まれているかが分かる ことで
「Excelで標準偏差ってどうやって求めるの？」 「stdevpp関数とstdevs関数の違いって何？」 例えば、テスト結果を他人と比べる場合に平均を使うことが多いですが、平均だけでは必ずしも正しい評価はできません。 そんな時に使われるのが標準偏差で、平均よりも正確に評価をすることができます。 しかし、標準偏差の計算って難しいというイメージがないですか？ ここではまず、標準偏差とは何かをわかりやすく説明しています。 そして、エクセルで標準偏差を求めるための式や、標準偏差を求める関数stdevp関数とstdevs関数の違いと使い方について解説します。 これを読めば、エクセルで簡単に標準偏差を求めることができるようになりますよ。 標準偏差の求め方始めに、「標準偏差とは何か」と「標準偏差を求めるための式」をみてみましょう。 標準偏差とは？まずは、標準偏差（σ シグマ）についてです。 標準偏差とは
はじめに 現在この記事は作成中です! 年内に完成を目指して更新していきます! はじめまして｡ jodaと申します｡ 今回､アイデミー様の「実践データサイエンス講座」における成果物を作成していきます｡ 成果物として選んだものは､ 機械学習を使用した仮想通貨botとなっております｡ 自分はここ2年ほど､C++をベースとした 為替の自動売買システム(EA)を作って稼働させておりました｡ (結果はお察しください) 心機一転､世を賑わせる仮想通貨に手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 検証方法としては､pandasを使ったり､ エクセルを使ったりいろいろな方法がある模様ですが､ どうせなら機械学習をやりたい､ ということで､アイデミー様のお世話になっている次第です｡ チャレンジな内容になって来ると思いま
統計学というと、勉強のハードルが高く文系の方には向いていないイメージがあるかもしれません。しかし、重要なのは概念的な理解であり、ポイントを押さえれば誰でも統計学の基本を学ぶことは可能です。 今回は、入門的な統計学の概要や勉強法についてお話しします。 【入門の前に】そもそも統計学とは？ 統計学とは、データの特徴を把握、比較、予測するための学問です。 データとは「ばらつきのある複数の数値、符号の集まり」を意味します。そのままの状態でデータを眺めているだけでは何の特徴も把握できません。統計学の「記述統計学」では、平均の算出、表やグラフの作成などによってデータの特徴を見出します。 また、抽出した「標本」の特徴から、さらに元となる「母集団」の特徴を推測可能です。これにより、実際には取得が困難なデータの特徴を推測することができます。「推測統計学」では、この推測の方法が体系化されています。 統計学って、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
イチローの安打数がポアソン分布にならず正規分布になる理由を考察してみた | ロジギーク
プログラミングする時に知っておきたいPythonライブラリ13選
回帰と相関，知っているようで知らない，その本質：Excel の回帰分析を例として
３ステップで学ぶPythonによるAI開発 – おすすめの勉強法も紹介！ | AI専門ニュースメディア AINOW
Kaggle IEEEコンペ 上位解法まとめ - Tak's Notebook
投資信託を見える化する（ガイド編） - HIROBUNが投資信託を比較するブログ
【FX雑談】偽チャート - さつま芋の勉強日記
多変量解析とは？入門者にも理解しやすい手順や具体的な手法をわかりやすく解説｜Udemy メディア
在庫計画の科学と魔術 - 叡智の三猿
新興国株の実績とリターン、リスクを加味した乱数シミュレーションを比較してみた！
年収が1,000万円を超えると幸福度は上がらないは嘘！はどこまで正しいのか問題
【統計検定】自分のキャリアヤベェと絶望して奮起した40代が統計検定2級に合格するまで。 - Qiita
ネットで見た話〜増田を読んで増田とブコメが気になった - 超時空超巨大小学６年生
標準正規分布表の見方や使い方！標準化やZ値の計算式はどうすればいい？｜いちばんやさしい、医療統計
エクセルで標準偏差の計算方法【基礎から教えます】－stdev.p関数とstdev.s関数の活用法
機械学習を利用した仮想通貨Bot作ってみた い BaseCode - joda!!
統計学入門！文系でもわかる基本知識とおすすめの勉強法｜Udemy メディア