リーディングテック株式会社は『デート代実態調査』の結果を公表しました。 本調査では異性とデートをしたことがある全国の18歳以上の男女を対象として調査を行い、対象となった2,450人のうち49.0%にあたる1,200人から有効回答を得ました。 デート代の平均値は男性が6,805円、女性が2,612円 デート代は「男性が多めに払う」が多いものの、若い世代では「割り勘」も多い 女性は割り勘だと思っているが、男性は自分が多めに負担していると思っている可能性がある 年収が高いほどデート代も高い 未婚だとデート代が高い デート代の金額（平均値、中央値） デート代の平均値は男性が6,805円、女性が2,612円 1回のデートで回答者が支払う金額（以下「デート代」）は、男女全体の平均値が4,041円、中央値が3,000円となりました。 しかし男女で金額に大きく開きがあり、男性の平均値は6,805円で中央値
可視化や統計でデータに『恣意的なストーリーを語らせる』16の闇の魔術【bad charts】 - Qiita
闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事をインパクトを伴って伝えられるなど非常にメリットである。 ※ただし 「可視化」の使い方によっては誤った理解をさせることも可能。 伝えたい事だけを正しいように見せる方法もあり、 可視化に詳しくない人に誤解を与えて自分の主張を通すこともできるかもしれない。 これは
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
0. はじめに 1. 因果推論~施策の本当の効果~ 1.1 TVのCMを見るとアプリのプレイ時間が短くなる！？ 1.2じゃぁ理想的な比較方法は？ 1.3 背景要因を揃えた比較が難しい問題 1.4 反実仮想：仮に「xxxしたら / しなかったら」の効果算出 2. 傾向スコアを用いた効果測定 2.1 絶対にこの条件は守ろう ~ 「SUTVA」/「強く無視できる割り当て条件」~ 2.1.1 SUTVA 2.1.2 強く無視できる割り当て条件 2.1.3 どうやって条件が成り立ってるか確認するの？ 2.2 傾向スコアとは 3. 傾向スコア算出 3.1モデリング 3.2モデルの評価 4. 傾向スコアを用いたマッチング 4.1 マッチングのお気持ち 4.2 様々なマッチング手法 4.3 マッチングのメリット / デメリット 4.4 マッチングの評価 4.5 そもそも傾向スコアをマッチングに用いるべ
世の中にはよい機械学習の結果が存在する。高い精度で推論（分類・検出）できるものがある。 だから、データの特性が、元々の想定から変わった時にも「機械学習だから、学習させればなんとかなるよね」と期待する人がいるかもしれない。 この文章は、そのような安易な考え方に立つことを戒めるために書く。 (もちろん、機械学習は今までになかった価値をいろんな分野にもたらす可能性が極めて高い。) (主張したいことは、 ビジネスとして見返りが期待できる内容の機械学習をすること。 100%の精度が期待できる機械学習は、そんなに多くない。それでも見返りが期待できる使い方をしてほしい。 1人のエンジニアに支援なしに丸投げするのではなく、チームとしての支援が有効であること。 最初の問題設定を疑ってかかること。手書き文字認識の強化で宅配便の伝票をなんとかするよりは、手書きを必要としない方がいい。 ) garbage in
デプロイ頻度やリードタイムの正確な計測にこだわらなくていい（前提はあるが） - mtx2s’s blog
デプロイ頻度とリードタイムは、開発チームが自らのパフォーマンスをモニタリングするうえで欠かせないメトリクスである。それらが、収益性や市場占有率といった組織パフォーマンスに影響を与えるからだ。その調査結果は、DevOps Research and Assessment（DORA）が特定した4つのキーメトリクス、いわゆる「DORAメトリクス」の要素として浸透した（後述するが、DORAメトリクスで扱うのは、リードタイムではなく「変更のリードタイム」である）。 その重要性ゆえに、チームや組織はこれらのメトリクスの計測と可視化に努める。可能な範囲で正確な値が欲しい。そうして、チケット管理ツールやバージョン管理システムからテレメトリを収集、集計し、チームのモニタリングダッシュボードにその実績値を可視化するのだ。 しかし、しばらくメトリクスを運用してみると、その扱いづらさに気づく。計測値や集計値のばらつ
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
ZOZOTOWN検索における精度評価手法の運用で見えた課題とその改善アプローチ - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。検索基盤部では、ZOZOTOWNのおすすめ順検索の品質向上を目指し、機械学習モデル等を活用しフィルタリングやリランキングによる検索結果の並び順の改善に取り組んでいます。 ZOZOTOWN検索の並び順の精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 検索基盤部では新しい改善や機能を導入する前にA/Bテストを行い効果を評価しています。A/Bテストの事前評価として、オフラインの定量評価と定性評価を実施しています。これらの評価によりA/Bテストの実施判断をしています。 おすすめ順検索のフィルタリング処理の効果検証として導入したオフライン定量評価の方法については以下の記事をご参照ください。 techblog.zozo.com 以前の記事で紹介したオフライン評価を日々運用する中で、幾つか課題点が見つかりました。本記事では、そ
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 最新の最適化アルゴリズムRAdam ニューラルネットワークは画像認識や自然言語処理など多方面で使われており、おもしろいことにも使うことができます。そんなニューラルネットワークが高い精度を出すためには、優秀な最適化アルゴリズムが必要不可欠です。最適化アルゴリズムとして現在デファクトスタンダードとなっているのがAdamです。Adamが登場したのは2014年のことですが、そこからAdamに取って代わるような最適化アルゴリズムは久しく出ていません。そんな現状をとうとう変えると期待されている新しい最適化アルゴリズムの論文が国際学会ICLR2020に採択されました。その名もRectified Adam、通称RAda
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。CTO直下のR&D組織であるテックラボにて、メディア処理系の研究開発に取り組んでいる志賀と三浦です。本記事ではYahoo! BEAUTYにおける「似ているヘアスタイル」表示機能の性能を改善した方法を紹介いたします。 Yahoo! BEAUTYと「似ているヘアスタイル」 Yahoo! BEAUTYは「好みのヘアスタイルからスタイリストを探せて出会えるサービス」として2019年12月にスタート。ヘアスタイルに関する検索、ヘアスタイル写真、スタイリスト情報、ヘアサロン情報などの機能やコンテンツを提供しています。 ユーザーが好みのヘアスタイルを見つけるための機能のひとつとして提供されているのが、ヘアスタイル詳細画面で表示された
Webサービス開発に携わる人たちが、今の仕事でPWAという選択肢を持ち、正しく使っていけるようなカンファレンスを目指す「PWA Night Conference 2021」。ここで株式会社サイバーエージェントの原氏が登壇。まずはCore Web Vitalsの特徴と、計測・改善について紹介します。 Webパフォーマンスにおける指標の歴史 原一成氏：サイバーエージェントの原と言います。今日は「Core Web Vitals in Practice」というタイトルで、Core Web Vitalsの実践的なお話をしたいと思います。 さっそくですがクイズです。以下の選択肢の中で、Core Web Vitalsに含まれないものはどれでしょうか。1.FID、2.PWA、3.LCP、4.CLS。簡単ですかね。ちょっと思い浮かべてもらって、さっそく解答です。ジャジャン。正解は2.PWAです。それ以外のF
年間2,200名以上の社会人が受講する、データサイエンスを学ぶビジネススクール「datamix」。同スクールを運営する株式会社データミックスが主催したオンライントークイベント「デジタルマーケティングにおけるデータサイエンスの活用事例」に、datamixの卒業生で、総合書店でデジタルマーケティングとデータ分析を担当する坂井努氏が登壇。datamix講師の立川裕之氏を相手に、データサイエンスを現場の課題解決に役立てる工夫や、検証前に「仮説」を持つことの重要性、そして最適な方法論を見つけるための「深堀り」の仕方など、さまざまなトピックを語りました。 データサイエンスを学ぼうと思ったきっかけ 立川裕之氏（以下、立川）：今日はいくつか大きい質問は用意していまして、それに沿って坂井さんにいろいろと聞いていきたいと思います。 まずは、「データサイエンスを学ぼうと思ったきっかけ」ですが、坂井さんのデータミ
本記事はJPモルガン、PEファンドのOak Hills Caitalで投資やM&A案件に携わってきたShin Kim氏のブログ記事、「Lessons on Capital Efficiency from 21 SaaS IPOs」を、著者の許可を得て翻訳、公開するものです。日米市場の違いはあるものの、成功したSaaS企業が、どういうペースで資金調達を行ったかの分析は興味深いものがあります。 SaaS企業のファウンダーが共通して抱く疑問は、資金調達を行うペースに関するものです。どのタイミングでいくら調達すると会社にとって早すぎ、多すぎとなるのでしょうか？同業他社の典型的な調達額はいくらなのでしょうか？最も優秀な企業の資本効率はどれくらいでしょうか？ 過去30か月の間で（2017年第2四半期以降）、Zoom、Slack、Datadogをはじめ¹、米国拠点でVCの出資を受けたSaaS企業、合わせ
この記事は KLab Engineer Advent Calendar 2019 24日目の記事です。 AdventCalendarどころか、Qiitaへの、もっと言えばネットに向けた技術エントリの投稿自体が初めてになります suzuna-honda といいます。よろしくお願いします。 はじめに 私は書籍をスキャンして電子書籍として読む、いわゆる「本の自炊」を趣味としています。 不眠症のケがあり、眠くなるまでの暇潰しとして、自炊した本を読書するのが日課になっています。枕の横にはiPadが欠かせません。 どの程度、深く、この「本の自炊」と向き合っているかといいますと、 書籍のスキャン 1冊ごとにパッケージング、管理の為のタグ付け スキャンした画像の画質調整、端末(iPad/iPhone)への最適化 端末(iPad/iPhone)へのデータ転送、閲覧 までの一連のワークフロー、ほぼ全てのツール
ビジネス上の意思決定に欠かせないデータ活用。その効果を最大化するビジュアライゼーションは、データ分析に携わる方であれば習得しておきたい技術です。その入門書として、CodeZineを運営する翔泳社では『データ分析者のためのPythonデータビジュアライゼーション入門』を発売。本書からデータビジュアライゼーションの意義について解説されたパートと、Pythonで利用できるグラフとチャートの例を紹介します。 本記事は『データ分析者のためのPythonデータビジュアライゼーション入門 コードと連動してわかる可視化手法』（小久保奈都弥）から抜粋したものです。掲載にあたり一部を編集しています。 意思決定におけるデータビジュアライゼーション 意思決定の判断ツール 私たちがビジネスにおいて日常的に行っているのが意思決定です。そのレベルは様々ですが、あらゆる事象に対して意思決定が行われています。 意思決定の主
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた（ヒストグラム・確率分布編） - Qiita
概要 近年、品質管理やマーケティングの分野で「ばらつき」分析の重要性が叫ばれていますが、 ばらつき分析と切っても切り離せないのが**「ヒストグラム」と「分布の種類の判断」**です。 今回はPythonのグラフ描画ライブラリ「seaborn」をベースにして、 分析の種類の判断を強力にサポートするツールを作成しました！ 機能1. 正規分布かどうかの判断 機能2. 各種確率分布のフィッティングとあてはまり評価指標 2021/7 修正：pipでインストールできるよう改良しました 下記コマンドでインストール可能となりました こちらの記事で紹介しているseaborn_analyzerライブラリの一部として、githubにもアップロードしております。 histクラスが、本記事の内容に該当します。 バグや改善要望等ありましたら、コメント頂けますとありがたいです また、もしこのツールを良いと思われたら、Gi
最近仕事では機能開発ではなくデータ分析の仕事をしばらくやっているのだが、同僚から「本物のデータ分析力が身に付く本」というムックが良かったと聞いたので読んでみた。 本物のデータ分析力が身に付く本 (日経BPムック) 作者:河村 真一,日置 孝一,野寺 綾,西腋 清行,山本 華世日経BPAmazon この本は「データを集計し計算する」といった、いわゆる一般的にはデータ分析のメインと考えられていていろんな書籍で語られているような部分には焦点を当てず、その前後で何をすべきかを語ってくれている。たとえば データ分析実行の前には、開発設計で書くようなdesign docのようなものをデータ分析設計としてまとめる。さらに生データを見てデータの信頼性や傾向を事前チェックし、設計と事前チェック結果を見て分析方法を選択する データ分析実行の後には、結果の確からしさの検証をしつつ、バイアスを避けた結果の解釈を行
はじめに 作者のページ My HP 世の中には例題を読ませるだけの教育が氾濫しているが、本当にできるようになるためには、練習が欠かせない。ここでは、Pythonを用いたデータアナリティクスを本当に自分でできるようになるための、練習問題を集めた。 できれば解答をコピペするのではなく、自分の力で考え、自分で試行錯誤をし、自分で書いてみることを勧める。 Python基礎 (1) Python基礎 (2) Python基礎 (3) Jupyter入門 Jupyerでのデバッグのやり方 数値計算モジュール NumPy データ解析モジュール Pandas 可視化モジュールmatplotlib 可視化モジュール plotly データを可視化するための方法 (Plotly Express) 科学技術計算モジュールSciPy statsmodelsを用いた統計分析 scikit-learn を用いた機械学習
難しいナップサック問題はどこにある？
NP 困難な最適化問題の定番、みんな大好きナップサック問題の話です。話が発散しないよう、今回取り扱うのは 0-1 ナップサック問題に限ることとします。 TL; DR 理論的には NP 困難だけど、実用上ほとんどは簡単な問題 ちゃんと書いた分枝限定法ソルバーであれば、ランダムに作った問題だと n=1000 万でも 120 ミリ秒くらいで解けちゃう こうなると入出力の時間の方がボトルネック profit-weight の分布を特徴的にしたとき、難しい問題が出てくることがある 特に貪欲法対策をやられるとつらい。対策し返してないと n=100 くらいまでしか解けなくなる 難しい問題のジェネレータもあるし、生成方法も簡単なんでちゃんと考えよう はじめに 先日こんなツイートが RT で回ってきました。 これを見てこんな風に思いました。 「そうなんだよなー、みんな難しい問題の生成方法とか知らなくてランダ
学習型の赤外線リモコンを使っているとたまにうまく反応しない機器に遭遇することがあります。信号の学習を慎重に行うのは当然として、別の学習リモコン製品では問題のみられないケースもあるためこうした場合にはしばしば「相性」という曖昧な表現が用いられます。しかし、そこには必ず具体的な原因があるはずです。最近の活動の一環として、情報のほとんど見当たらないこの件について調べてみることにしました。 きっかけ 自宅で株式会社ピクセラ様による下記の TV チューナを使っています。 PRODIA（プロディア） : 地上デジタルチューナー「PRD-BT105-P00」 - www.pixela.co.jp PIXELA地上デジタルチューナーPRD-BT107-P00 - www.amazon.co.jp コンパクトでありながら基本性能がとてもしっかりしていることが気に入りプライベートで愛用している製品です。ただ、
概要この記事は 2019/12/7 に開催された Japan.R の発表原稿である.github.com speakerdeck.com 小難しいテクニックを使ったことをアピールせず, なるべく単純な方法だけで, データから何が言えるのか, 何を示せるのかを作業の流れに沿ってチュートリアル風に説明する, というのがコンセプトである. スクレイピングによるデータの取得, 加工, そして要約統計量の計算やグラフの見せ方, といった事柄はほとんどのデータ分析で必要な基礎技術だと思うので, 実践的な例になると踏んでいた. 当初は 5分間のLTの予定だったので要約統計量 (記述統計量) の見方とかだけを話すつもりだったが, 20分枠に変更したことに合わせてボリュームを増そうとしたらバランスが狂った感じになった. (小難しいことをしないとか言いながら色気を出してディープラーニングに手を出そうとしている
mtx2s’s blog
デプロイ頻度とリードタイムは、開発チームが自らのパフォーマンスをモニタリングするうえで欠かせないメトリクスである。それらが、収益性や市場占有率といった組織パフォーマンスに影響を与えるからだ。その調査結果は、DevOps Research and Assessment（DORA）が特定した4つのキーメトリクス、いわゆる「DORAメトリクス」の要素として浸透した（後述するが、DORAメトリクスで扱うのは、リードタイムではなく「変更のリードタイム」である）。 その重要性ゆえに、チームや組織はこれらのメトリクスの計測と可視化に努める。可能な範囲で正確な値が欲しい。そうして、チケット管理ツールやバージョン管理システムからテレメトリを収集、集計し、チームのモニタリングダッシュボードにその実績値を可視化するのだ。 しかし、しばらくメトリクスを運用してみると、その扱いづらさに気づく。計測値や集計値のばらつ
Perfetto は内蔵の Trace Processor を使ってトレーシング結果を SQL で集計できる。SQL を使って興味のあるデータを取り出すことで 標準の Perfetto UI では読み取りにくい傾向を可視化したり、 可視化を通して気づいた傾向を定量的に比較できるようになる。 これは Systrace にはなかった大きな利点だ。 この記事では Twitter と Instagram アプリのスクロール性能を評価する実例を交え Trace Processor の SQL インターフェイスを紹介する。 Twitter vs. Instagram ある Podcast を聞いていたら、ホストの iPhone ユーザが気まぐれで触った Android 端末をレビューしていた。彼によれば Android の Twitter アプリは iPhone に比べスクロールの出来が非常に悪いとい
Android アプリの性能を End-to-End でテストしようと起動時間などのレイテンシを素朴に計測すると、実行毎に結果のスコアがばらつく。そのせいで性能解析の試行錯誤がうまくいかない。以下ではそうしたレイテンシのばらつきをできるだけ減らすための方策を紹介する。 準備: Root のとれるデバイスを用意する 以下で紹介する方法の多くはシステムのパラメタを変更して性能を安定させようとする。そのために adb root は必須。なんとかして root になれるデバイスを確保したい。 多くのアプリでは実行に Google Play Services が必要な事実やインストールの手間を考えると、Lineage OS など何らかの custom ROM を使うのが現実的。 なおエミュレータは実行特性が実機とあまりに違うので性能を測るのには勧めない。ただ自分は仕事のアプリがエミュレータで動かない
メッシュシートの画像 世界一やさしいHLAC入門（間違い探し編）では、HLAC（Higher-order Local AutoCollelation ; 高次局所自己相関）の技術をご紹介しました。下記３つのポイントご理解いただけたのではないでしょうか。 自己相関とは自身の中の一部の要素（データの関係性）を数値化する事 あらゆる要素の集まりは『認識』に対する優れた特性を持つ HLACは画像内のさまざまな要素をカウントすることで特徴量へ変換する まだの方は世界一やさしいHLAC入門（間違い探し編）で分かりやすくご紹介していますので是非ご参照ください。 techblog.adacotech.co.jp さて、今回はアダコテックで提供している HLAC技術を活用した良品学習での異常検知モデル作成サービス AdaInspector Cloud を用い身近な工業製品 メッシュシート を例に外観検査への
Pepabo Adovent Calender 3日目の記事です。 qiita.com @udzura です。こないだDuolingoの話をガッツリしてしまったせいで記事に書くネタがなかったんですが、某ruby-jpで話題に出て気になったので当該の内容について調べてみました。 これで妥当な結果が出ているかどうか、適切なやり方かどうかのツッコミをお待ちしております...。 追記 strace は -c オプションのみだとsystem時間のみなので、ファイルシステム操作の全体の時間を計測するには -w オプションが必要だというご指摘がありました！ hiboma.hatenadiary.jp 全体に初稿と比べて計測しなおしています。 環境の準備 ホスト VirtualBox上のUbuntu Bionicの kernel 5.0 を利用します。 ゲストコンテナの作成 FROM debian:10-
IPAデジタルスキル標準ver.1.0.pdf
All Rights Reserved Copyright© IPA 2023 デジタルスキル標準 ver.1.１ 2023年8月 All Rights Reserved Copyright© IPA 2023 1 目次 I. デジタルスキル標準の概要 ⚫ デジタルスキル標準策定の背景、ねらい ⚫ デジタルスキル標準 改訂の考え方 ⚫ デジタルスキル標準の構成 ⚫ デジタルスキル標準で対象とする人材 ⚫ デジタルスキル標準の汎用性 ⚫ デジタルスキル標準の活用イメージ II. DXリテラシー標準 1. DXリテラシー標準策定のねらい、策定方針 2. DXリテラシー標準の構成 3. スキル・学習項目 a. 概要 b. 詳細 4. DXリテラシー標準の活用イメージ III. DX推進スキル標準 1. DX推進スキル標準策定のねらい、策定方針 2. DX推進スキル標準の構成 3. 人材類型・ロー
こんにちは、データサイエンティストのたぬ（@tanuhack）です！ Pythonでグラフを描画するときによく使われているライブラリとして『Matplotlib』が挙げられます。 しかし、このMatplotlibは、多機能であるが故に設定が面倒だったり、美しいグラフが描けたとしても無駄にコードが長くなってしまったりと何かと問題が付きまとうと思いませんか？ ヒストグラムで確認したいことと言えば、データの全体的な『ばらつき具合』を確認したいだけなのに、たかだかグラフの設定にそこまで時間を掛けられない…。 そこで今回はMatplotlibより、もっと簡単に美しいグラフが描ける『seaborn(シーボーン)』を使って、ヒストグラムを作成する方法を紹介します！
安全在庫とは？メリットや計算方法、注意点を詳しく解説！｜ITトレンド
はじめに、安全在庫の意味を解説します。 欠品を防ぐために必要な在庫量のこと 安全在庫とは、不確定な要素によって欠品が生じないために、通常必要な在庫に加えて最低限保持しておく在庫のことです。安全在庫が無いと、欠品が生じ販売機会を損失しやすくなります。したがって、常に安全在庫は保持できるように努めなければなりません。 どのくらいの在庫が必要かは、そのときの市場や取引先の状況によって異なります。その変動を踏まえたうえで、これだけ多めにあれば問題ないと言える量が安全在庫です。 JIS規格では、安全在庫は「需要変動又は補充期間の不確実性を吸収するために必要とされる在庫」と定義されています。 適正在庫を決めるための一要素 安全在庫だけでは適正在庫は決められません。なぜなら、安全在庫はあくまで欠品を避けることを目的に計算される量だからです。安全在庫を設定すれば在庫の下限値は決まりますが、上限値は決まって
外れ値と異常値 本節では、外れ値と異常値について詳しく解説していきます。これらの言葉の概念は最も初歩的ですが、理解していないと先に進むことができません。図を用いながら可能な限り直感的に、正しく理解できるように解説して行きます。 外れ値（outlier）とは測定された値の中で他のデータとかけ離れているものを指します。実験結果を記録している中で、他のデータの分布とは明らかに異なる場所に数値が出現したりする際に外れ値と呼ばれることが多いです。外れ値が発生する原因は様々ですが、そのままにしておくと、データ分析の際に統計指標を歪める可能性があるため、何らかの対処が必要な場合があります。図1と図2のグラフは外れ値が存在する典型的な例です。 図1と図2を見てみましょう。図1がヒストグラムで図2が散布図です。赤い丸で囲われた部分の値が他のデータとは異なる位置に存在していることが見て取れると思います。どちら
はじめに 作者のページ My HP 世の中には例題を読ませるだけの教育が氾濫しているが、本当にできるようになるためには、練習が欠かせない。ここでは、Pythonを用いたデータアナリティクスを本当に自分でできるようになるための、練習問題を集めた。 できれば解答をコピペするのではなく、自分の力で考え、自分で試行錯誤をし、自分で書いてみることを勧める。 Python基礎 (1) Python基礎 (2) Python基礎 (3) Jupyter入門 Jupyerでのデバッグのやり方 数値計算モジュール NumPy データ解析モジュール Pandas 可視化モジュールmatplotlib 可視化モジュール plotly データを可視化するための方法 (Plotly Express) 科学技術計算モジュールSciPy statsmodelsを用いた統計分析 scikit-learn を用いた機械学習
相手の理解なくして、図に価値なし！吉澤準特 さん著書の「外資系コンサルが実践する 図解作成の基本」 - イザちゃんの気まぐれ日記 - 仕事も恋愛も頑張る人を応援したい♪
吉澤準特 さん著書の「外資系コンサルが実践する 図解作成の基本」を読みました(*^-^*)📚 外資系ITコンサルタントの著者さんが、そもそも図解とは何のために存在しているのかを明確に提起しながら、 外資系コンサルが実践する”図解作成の基本”を解説してくださる一冊です。 資料作成における”図の存在”。 あなたはどのように考えていますか？ 本書は、「図解」という言葉に込められた意味を紐解きながら、 見やすく伝わる図解の決め手はなんなのかを解説しながら書かれています。 資料作成における図解の失敗とは、 ・図を作成すること自体が目的になったとき ・相手の立場を考えずに自己満足に陥ったとき に起きてしまうことが多いと思います。 要するに、「もっとよくしよう！」という純粋な気持ちがただただ空回りしている状況のときに、失敗は起きるのです。 当然ながら、どんなに頑張ってもビジネスでは「評価なし」「価値な
統計解説
Ver.1：2012年8月作成 Ver.2：2014年6月統計データを更新 Ver.3(final)：2016年8月統計データを更新。関連統計が終了したので、これを最終版とする。 統計が語る日本の大学 解説 Topics 1: 入学者の年齢分布 ここで使われている統計データは OECDの教育白書 Education at a Glance: OECD Indicators のIndicator C2, C3に含まれている。入学年齢分布は2011年版（正確な分布が分かるものとして最後）、25才以上の割合については2014年版に拠っている。 日本のデータは、文部科学省の学校基本調査の大学に関する項目に拠っている。 比較の対象を学士Bachelorを授与する大学に限り、日本では4年制大学、OECDでは Level 6 高等教育(theory-oriented programsを提供し、履修3-4
【WSA 研】Site Reliability Engineering における重要領域とパフォーマンス指標の提案 - ツナワタリマイライフ
ずいぶん公開に時間が経ってしまった。6/4 か。。。特に出せなかった理由はない。より「ちゃんとした」形で出したいと思っていたが、そんな日はこないので当時のまま公開する。 WSA 研に初参加し、はじめて自分の身の回りの仕事、SRE の関心対象に対して計測を行なった。当時は本当に手探りであったが、この時泥臭くデータを取り、考察したことが2ヶ月後の今に確実に繋がっている。貴重な機会をくれた WSA研のメンバーに感謝したい。 当日は参加者からたくさんフィードバックをもらえた。その時いただいた意見は今に活きており、より実務に生かすことができている。 修士卒業以来久しぶりに「研究」っぽいことをしたが新鮮で楽しかった。ビジネスと研究、行ったり来たりするのいいかもな、と思った。 本資料は第8回WebSystemArchitecture研究会の予稿です。 以下が当日使ったスライドです。 背景 Site Re
増田読んでブコメ読んで、いろんなことが気になったのでまとめておく。あんまりしゃちほこばっていちいちブログに書く内容でもないのだけど、自分の言葉で説明しておく訓練の一環としてこうやって書いた。 あいも変わらず日々増田を読んでるんですけどね、今週ちょっと内容的に気になるものがあったのでその話をば。ブクマページのコメントも含めていろいろと気になりすぎたのでここで少し確認の意味をこめて書いておく。 anond.hatelabo.jp 増田は国立社会保障・人口問題研究所というところが公開している「出生動向基本調査」というもののデータを引いて表題の主張をしているのだが、その主張の裏付けのために実に不思議な計算をやっているのが気になった、という話です。 www.ipss.go.jp 増田が「出生動向基本調査」からもってきている数字は「調査別にみた、結婚相手の条件として重視・考慮する割合」（リンク先はCS
ほしぞloveログ
今回の記事は小ネタです。 以前赤道儀の子午線越えの反転時に、ケーブルが引っかかってUSBハブを壊したことがありました。2022年4月のことです。 さらにもう一度、2023年1月、ケーブルを引っ掛けてUSBのコネクタを壊してしまった記事を書きました。こちらは子午線反転時ではなく、ターゲットを切り替えた時でした。反転はしないからいいだろうと油断してたのですが、次の天体がかなり離れたところにあり、反転に近いような状態で導入されてしまったときでした。 他にも、直接の反転ではないのですが、ターゲットは同じでもフィルター切り替えなどの時にNINAで中心合わせのオプションをオンにしておくと、反転を伴って再導入されることがあります。自動反転をオンにしていなくても、反転するのでこれも注意です。 さすがに反省 NINAで赤道儀の自動反転ができるようになってから1回、自動反転でなくても導入時に1回と、すでに過去
サイコロを振り直す：ABテストにおける共変量バランス調整の検討① | CyberAgent Developers Blog
こんにちは。協業リテールメディアdivでデータサイエンティスト、プロダクトマネージャーをしております早川です。本日はABテストにまつわるトピックを紹介します。 はじめに とあるマーケティングコミュニケーションを介入とみなしたとき、一つの介入が異質性を持っていたり、複数のアウトカムに影響を及ぼすことは容易に考えられます。例えば缶ビールのクーポンを配布して、各消費者の缶ビールの平均購買点数が増えるかを検証する状況を考えます。このとき、ビールを好む消費者の購買点数が増えた、普段飲酒をしない消費者の購買点数は0本のままで影響がなかった、という状況が直感的に想像がつきます（異質性）。また、ビールの購買点数に加えて、おつまみ類の購買点数も増えるかもしれません（複数アウトカムへの影響）。 この介入の効果検証をABテストを通じて行うとき、異質性や複数アウトカムへの変化を含む、なるべく多くの変化を正確に捉え
目次
1 データサイエンス 1-0 データサイエンスの仕事 1-0-1 データ分析の仕事 1-0-1-1 データ分析の基本 1-0-1-2 バッドデータのデータ分析 1-0-1-3 ダークデータのイメージ 1-0-2 データサイエンスの数理 1-0-3 データサイエンスのソフト 1-0-4 データサイエンスの独り歩き 1-0-4-1 データの独り歩き 1-0-4-2 方法の独り歩き 1-0-5 データサイエンスの不可能性 1-1 統計学 1-1-0 ビッグデータの統計学 1-1-1 正規分布と、その他 1-1-1-1 正規分布から作られる分布 1-1-1-2 極値統計 1-1-1-3 チェビシェフの不等式 1-1-1-4 比例分散 1-1-2 統計量 1-1-2-1 平均値と中央値 1-1-2-1-1 平均値の意味の使い分け 1-1-2-2 標準偏差（ばらつきの尺度） 1-1-2-2-1 標準誤
レイテンシ、スケジューラー、割り込み、なんてこった!Linuxカーネルアップグレードに関する壮大な物語 | Nutanix Community
これらのスケジューラーの変更によって、パフォーマンスの劣化についての最初のハードルを越えることができました。ですが、これは最初のハードルに過ぎず、これだけではなかったのです。 問題その 2: 奇妙なレイテンシのスパイク 自動化されたテストでは見つけることのできないスポット的な異変を見つけることができるのが、パフォーマンステストを実施できる人材を抱えているメリットのうちの1つです。自らの手によるパフォーマンステストの最中に、さほど集中的ではないランダムreadをかけた際に、定期的なレイテンシのスパイクを発見しました。以前の実験と同じ検証機に、Stargateから直接ではなく、ユーザーVMからI/Oを発行しました。今回はI/Oジェネレーターとパフォーマンス計測ツール VDBenchから実際の環境を模したワークロードをかけました。ユーザーVM(UVM)内のVDBenchの出力に10秒ごとに100
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
デート代平均は男性が6,805円、女性が2,612円｜デート代実態調査
傾向スコアを用いた因果推論入門~理論編~ - 下町データサイエンティストの日常
機械学習でなんとかしようと安易に考えるな - Qiita
「Python実践データ分析100本ノック」を写経してみた - Qiita
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
ついにAdamを超えた！最新の最適化アルゴリズム「RAdam」解説 - Qiita
機械学習で「似ているヘアスタイル」を見つける手法 〜 Yahoo! BEAUTYでの実装事例
CLSの10倍改善でAmebaマンガの読者数が3倍増加 Webパフォーマンスの歴史とCore Web Vitalsの見直し
データ分析を自社の「利益貢献」につなげる3つのポイント 企業で成果を残す「データサイエンティスト」に必要な観点
上場した米国有力SaaS企業21社に学ぶ資本効率 | Coral Capital
画像処理で自炊書籍画像を読みやすく加工する 初級編
データビジュアライゼーションの意義とは？ Pythonでできるグラフとチャートを紹介
データ分析設計を知るために「本物のデータ分析力が身につく本」を読んだ - $shibayu36->blog;
アナリティクス（データサイエンス）練習問題集 | analytics
その学習リモコンであの機器を操作できない原因を探る : DSAS開発者の部屋
三国志で学ぶデータ分析 (原稿写し) - ill-identified diary
Perfetto Trace を SQL で読む - Morrita Notes
性能テストでレイテンシのばらつきを減らしたい - Morrita Notes
HLACを試してみた：メッシュシートの外観検査！ - アダコテック技術ブログ
ext4とoverlayfsのシステムコール速度の比較をしようとした - ローファイ日記
Pythonのseabornで手軽なのに美しいヒストグラムを作成する方法
外れ値とは？Pythonを使用して外れ値の検出方法を実装してみよう（全コード公開中）
アナリティクス（データサイエンス）練習問題集 | analytics
ネットで見た話〜増田を読んで増田とブコメが気になった - 超時空超巨大小学６年生