本資料の内容 ・異常とは ・異常検知問題のタイプ ・時系列データのタイプ ・データの前処理 ・異常検知手法 ・性能検証 ・発展
時系列データの異常検知
本資料の内容 ・異常とは ・異常検知問題のタイプ ・時系列データのタイプ ・データの前処理 ・異常検知手法 ・性能検証 ・発展
多次元時系列の異常検知手法 sGMRFmix について /sGMRFmix - Speaker Deck
All slide content and descriptions are owned by their creators.
統計局ホームページ/地域の産業・雇用創造チャート
ここから本文です。 平成28年経済センサス‐活動調査から算出した結果を追加しました。（平成30年12月14日） 地域の産業・雇用創造チャート－統計で見る稼ぐ力と雇用力－ 総務省では、経済理論に沿って、既に公表している経済センサスの結果を加工・グラフ化し、市町村ごとに「地域の産業・雇用創造チャート」として提供しています。公表済みのデータをより使いやすい形に加工してオープンデータ化することにより、大学や民間企業、地方公共団体を含めた幅広い方々にご利用いただけます。 動画 取組の趣旨を紹介する「紹介動画」及び地域の産業・雇用創造チャートのしくみや見方を説明する「講義動画」を掲載しています。 ＜紹介動画＞
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
有意差がなかったからといって、本当に差がないわけではない？
検定を行い、棄却率(偶然差が生じてしまう確率)が有意水準(例えば5%)より小さくなれば、有意差があったと判断できます。しかし、逆に棄却率が有意水準より大きかった場合、確かに有意差があったと結論できませんが、本当に差がなかったとも言いきれません。本当に差がなかったと判断するには、あなたが行った検定の『検出力』が十分大きかったかどうか確認する必要があります。検出力とは、本当は差があるのに見逃してしまう可能性(第2種の誤り)をどれだけ低く抑えれるかということです。 ある主婦が『ごきげんよう』(フジ・月-金PM1:00)を見ていて、そこで使われているサイコロの特定の目がでやすいような気がしてなりませんでした。その目は『今日の当たり目』といって、出ると視聴者にプレゼントが当たるというものです。そこで彼女は、1ヶ月番組を見ながらどの目が幾つ出たかチェックしていました。1日に3-4回サイコロが降られ、
効果量・検定力・サンプルサイズ - Murakami's Memorandum
効果量の信頼区間 95%信頼区間下限 95%信頼区間上限 標本効果量の標準誤差 t値との関係 効果量が小さくても，データ数が大きくなればｔ値が大きくなるので「有意さあり」となることを示している。データ数が大きくなりすぎると，大した差でもないのに有意さありとしてしまう危険性（第１種の誤り）が生じる（故意に有意さありに持ち込む方法でもあるが）。でも，データを沢山集める労力は大変である。 ==> 検定力分析(Power Analysis) Effect size calculation sheet 水本 先生 Effect Size Calculator (effect size, confidence interval) CEM, Durham University How to calculate effect size from published research articles: A
第1回 Rは統計解析のブッシュナイフだ - 実践！ Rで学ぶ統計解析の基礎 - ＠IT
今ほど統計解析が必要とされる時代はありません。オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しましょう！ 読者にとってRは、世に溢れるデータの密林を切り開くための“ブッシュナイフ”となることでしょう（編集部） 統計解析の必要性とリテラシー 21世紀になって、経営学者の故ピーター・ドラッカー氏が言うところの知識労働者は、ますます統計解析を必要する局面が増えてきました。この状況は、20世紀後半から21世紀に起きた計算機能力の増大とインターネットの発展を基礎に、3つの大きな潮流が現れたことがキッカケとなっているように思います。その3つの潮流とは、オープンソース、オープンデータ、そしてオープンアイデアです。後ろの2つは今筆者が名付けました。 オープンソースは、皆さんがご存知のように、Linux、Apache、Perl、Python、RubyなどのO
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
新・都道府県別統計とランキングで見る県民性 [とどラン]
様々な都道府県別統計データを単位人口あたりの数値で比較。県民性を数字で表します。あなたの出身地は何位？チェーン店第二弾はセブンイレブン。日本最大のコンビニチェーンだが、一地域に集中的に店舗展開する方針のため、地図にも濃淡がはっきり現れている。 [続きを読む]
Google Analytics以上の超強力なリアルタイムアクセス解析ができる「Woopra」を試しに使ってみました
通常のアクセス解析はある程度時間が経過してからでないとその結果がわからないため、「まさに今！このページがヒットしている！」というのがわかりにくいのですが、この「Woopra」というアクセス解析サービスはとんでもないリアルタイム性がウリとなっており、誰かが訪問しに来たら即座にわかるようになっています。 リアルタイムアクセス解析を最大限活用するため、ブラウザ経由での利用だけでなく、Javaをベースとして作られたWindows・Mac・Linux対応の専用ソフトがあり、来訪者にタグ付けして個別に追跡、IPアドレスなどあらゆる条件で絞り込めるクイックフィルタ、誰がどこから来たのかすぐにわかるマップ、特定の条件のユーザーが来たらポップアップしたり音を鳴らして知らせてくれる機能などなどを搭載。そのすべてがリアルタイムに刻一刻と変化して最新の情報を教えてくれます。Google Analyticsで実現し
サヨナラ検定、グッバイ統計的有意性／統計を使うつもりなら必読の論文はこれ
Author:くるぶし（読書猿） twitter:@kurubushi_rm カテゴリ別記事一覧 新しい本が出ました。 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部（紙＋電子） 2022/10/26 １４刷決定 累計260,000部（紙＋電子） 紀伊國屋じんぶん大賞2021 第３位 アンダー29.5人文書大賞2021 新刊部門 第１位 第２の著作です。 2017/11/20刊行、４刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대전』、繁体字版『線性VS環狀思考』も出ています。 こちらは１０刷
Google Marketingにおけるコンピューターサイエンスと統計学（内田誠・グーグル） - Cafe Babe
第87回知識ベースシステム研究会は，65名の方々に参加して頂き，議論をおこなった．この場を借りて，発表者と参加者に感謝したい． 昨年のように仕事に追われて忘れないように（爆），早めに内田誠氏の招待講演「Google Marketingにおけるコンピューターサイエンスと統計学」についてざっと報告しておきたい．また，Twitterのつぶやきも#sigkbsというハッシュタグで検索できる．資料は非公開であるが，聞いたことを他の伝えるのはかまわないそうなので，簡単に報告する．（追記：なお内田氏の指摘を受けて，一部修正した） 内田氏は，GoogleのQuantitative Marketingと呼ばれるデータ分析部門に属している．20名程度のチーム（数学・統計学などの分野の学位取得者ばかり）の中で，唯一のアジアパシフィック担当（日本にいるが，本社の部門直属）である．今回は彼らがGoogleのインフラ
私はこうやってマーケティングデータを集めています。 : LINE Corporation ディレクターブログ
今年も熱い夏がやってきました。ロックフェスと事業計画の熱い夏が！ というわけでこんにちは、佐々木です。 今回は、「予算（事業計画）って、どうやって（何を根拠に）立てているんですか？」というスタッフの質問に答えるために、事業計画のために集めた資料の出典を紹介します。 なお、資料の多くは私が担当するブログ関連事業のものですので、ネットならではのマーケティングデータの集め方といった内容になります。限定的な分野ですが、なにかの参考になれば幸いです。 総務省 情報通信政策研究所（IICP) ・総務省 情報通信政策研究所 まずは総務省調べのデータ。 大規模なリサーチ結果を無料で利用できるので、とても重宝します。 例1）「ブログ･SNSの経済効果の推計」（PDF） 例2）「ブログの実態に関する調査研究」報告書本文（PDF） 矢野経済研究所 ・矢野経済研究所 ブログ関連の市場調査で優れたレポートを発表して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人口減少地図：日本経済新聞
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)
F値に調和平均を使う理由（再） - あらびき日記
Open for Innovation | KNIME
How Different Groups Spend Their Day - Interactive Graphic - NYTimes.com
度数分布 - かずのたしなみ（統計環境Rによる） @Wiki
