第18回 ロジスティック回帰：機械学習 はじめよう｜gihyo.jp … 技術評論社
前回までに、分類問題のモデルの一つ「パーセプトロン」を紹介して、その実装を行いました。 パーセプトロンはとてもシンプルでわかりやすいモデルでしたが、「線形分離可能」なデータにしか適用できないという難点がありましたね。 今回は線形分離できないデータにも適用できる分類モデルとして、「ロジスティック回帰」を紹介します。 予測の信頼度 分類器を使って、実際の問題を解くときのことを考えてみます。例えば「メールのスパムフィルタ」などが想像しやすいでしょう。 一般的にスパムフィルタでは、データであるメールを「スパム（迷惑メール）」と「スパムではない（通常のメール）」のどちらかに分類します。そこで、ちょうどパーセプトロンのような2値分類器を使えば無事解決……とは、なかなかいきません。 スパムフィルタを通り抜けてしまった迷惑メールを一つ一つ消す、反対に必要なメールが間違ってスパムと判定されてしま
アート・オブ・Rプログラミング
Rは統計分野では標準ツールして使われている人気の高いオープンソースソフトウェアです。統計分野のみならず、金融、数学、物理、化学、天文、バイオ、薬学等の幅広い分野での利用をサポートする豊富なパッケージ群が用意されており、多くのユーザからの支持を集めています。本書はRの強力かつ柔軟なプログラミング能力に焦点を当て、Rスクリプトを書く上でのテクニック、コツ、注意点をわかりやすく解説します。また、他言語との連携、並列R、デバッグ、コードの高速化など他のR書籍にはなかった情報も提供します。プログラミング言語としてRを活用し、その威力を最大限発揮させる上で必携の一冊です。 謝辞 はじめに 1章 Rを始める 1.1 Rの実行方法 1.1.1 対話モード 1.1.2 バッチモード 1.2 最初のRセッション 1.3 関数の概要 1.3.1 変数のスコープ 1.3.2 デフォルト引数 1.4 重要なRデータ
猫に教えてもらうルベーグ可測
14. 𝑚(𝐴)を集合𝐴の長さを求める関数とする 𝐴𝑖 ∩ 𝐴𝑗 = ∅ (𝑖 ≠ 𝑗) に対して 𝑚 𝐴 𝑛 ∞ 𝑛 = 𝑚 𝑎 𝑛 ∞ 𝑛 「足し算くらいできるでしょ」を ちゃんと書くとこうにゃる これを「完全加法性」というにゃ 15. 𝑚(𝐴)を集合𝐴の長さを求める関数とする 𝐴𝑖 ∩ 𝐴𝑗 = ∅ (𝑖 ≠ 𝑗) に対して 𝑚 𝐴 𝑛 ∞ 𝑛 = 𝑚 𝑎 𝑛 ∞ 𝑛 難しげですけど、要は 集合の和と長さの和が等しいってことでしょ 当たり前ですよね？ …… 16. 𝑚(𝐴)を集合𝐴の長さを求める関数とする 𝐴𝑖 ∩ 𝐴𝑗 = ∅ (𝑖 ≠ 𝑗) に対して 𝑚 𝐴 𝑛 ∞ 𝑛 = 𝑚 𝑎 𝑛 ∞ 𝑛 完全加法性があれば「ちゃんとした長さ」 と考えて「ルベーグ測度」と呼ぶにゃ にゃー先生
コンビニでの生鮮食品購入者、女性50代以上では約4割に【マイボイスコム調査】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
放送大学 - REDIRECT
当サイトは移転しました。10秒後に以下のURLにリダイレクトします。 自動でリダイレクトされない場合、以下のリンクから移動してください。 https://info.ouj.ac.jp/~suuri/_webTohkei/ キャンパスネットワークホームページは教務情報システム(システムWAKABA)に統合されました。 上記に伴い「www.campus.ouj.ac.jp」ドメイン上の各サイトは「info.ouj.ac.jp」に移行されました。 2019 The Open University of Japan
書評：「統計学が最強の学問である」、データをビジネスに使う人のための知識が凝縮
「どんな分野の議論においても、データを集めて分析することで最速で最善の答えを出すことができる」。だから統計学が最強の学問である。著者は本書でこう断言しています。 統計学が本当に最強の学問かどうかは置いておくとしても、以前の記事「次の10年、「統計分析」こそテクノロジー分野でいちばんホットな職業になる」で書いたように、グーグルやマイクロソフトやそのほか多くの企業が統計に着目し優秀な人材を求めていることからも、現代における統計学の重要さは誰もが認めることでしょう。 なぜ統計学はそれほど強力なのか？ そして、それをビジネスに活かすにはどうすればいいのか？ 本書はそれを、統計学の予備知識のないビジネスマンでも分かるように説明してくれます。 データをビジネスに使うための「3つの問い」 本書は単に統計学を解説するのではなく、ビジネスの視点から統計学の有用性を説いているところに特徴があります。例えば著者
プロ野球の統一球「わずかな反発係数の差」が「ホームラン数では一目超然」になるヒミツ!? | 雑学界の権威・平林純の考える科学
プロ野球の「統一球（低反発球）」が、昨年まで使われていたものと今年使われているものが違う、というニュースになっています。 一昨年・昨年と反発係数が0.410程度だったものを今年は0.416にしていた…そして、その結果として今年はホームラン（本塁打）数が格段に増えていた！という話です。たとえば、2011年は９３９本・２０１２年は８８１本だったものが、５月下旬段階でシーズン換算で１２８６本相当だったというのです。 ところで、ほんの１.５パーセント程度の反発係数の違いが本塁打数にして900本強と1300本弱の違いを生む…と聞くと、ちょっと不思議に感じられるのではないでしょうか？この「わずかな反発係数の差」が「ホームラン数では一目超然」になるヒミツを考えてみることにします。 反発係数が１.５パーセント違うということは、打球の速度が1.5%違います。反発係数が低い旧統一球に比べて、反発係数が高い（今
ビッグデータもバズワードになったんだなあ - やまもといちろうBLOG（ブログ）
取引先とのメールで話題爆発（というか面白がり）していた。移動中なので、軽く触れる。先月の記事なんだね。箇条書きにするお。 靴屋とデータマイニングと季節外れの冬物衣料 http://d.hatena.ne.jp/AntiBayesian/20130423 前提： 内容をすべて否定するものではない。そういう見解も成立するし、ためにする議論ではない。 その１： 「データマイニングに必要なのは意外性だ！」 そもそも意外とか仮説の段階で言っているとしたら、それは使えないデータ担当者だ。クビにするべき。 その２： これを利用して小売店や流通業界はデータマイニングをした。どんな意外性のある結果が出てきたと思う？例えばこんなものだった。「冬は鍋の検索回数が多い」 なんたる自明！ 小売や流通は常に売り場面積や仕入れ対販売という係数に支配されていて、いつまで鍋が検索されて需要があるかというようなロングテール的
"相関"の話＆そのついでに"21世紀の相関（MIC）"の話（ややマニア向け） - Take a Risk：林岳彦の研究メモ
どもです。林岳彦です。息子の3DSにバーチャルコンソールの「ソロモンの鍵」を密かに入れました（まだ３面）。 さて。 前回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ につきましては沢山ブクマ等をいただき大変ありがとうございました*1。大変感謝しております。 さて。上記記事について、ublftboさんから「相関関係の定義が書かれていないのでは」（相関と因果 - Interdisciplinary）とのご指摘をいただいたきました。 ご指摘は確かにごもっともですので、今回は「相関」概念についてと、そのついでに近年に開発された"21世紀の相関（MIC）"の話について私なりに書いてみたいと思います。 （以下、ややマニア向けの話になるかもしれません。あと前回ほどではないですが、それなりに長いです。）
【2012年】アニメのビデオソフトの売上をまとめてみました - longlow’s diary
※最新（2016年）の売上は【2016年】アニメのビデオソフトの売上をまとめてみましたを見てください。 ※他の年の売上は以下を見てください。 2009年のアニメの売上をまとめてみた 2010年のアニメの売上をまとめてみました 日本映像ソフト協会の資料から見る2011年のアニメのビデオソフトの売上 【2014年】アニメのビデオソフトの売上をまとめてみました ・補足資料 アニメの売上補足資料 その1（販売用の売上） アニメの売上補足資料 その2（レンタル店用の売上） 一般社団法人日本映像ソフト協会（JVA）が公開している資料から、2012年のアニメのビデオソフトの売上等をまとめてみました。 ※各数字について以下の点に注意して見てください。 「日本映像ソフト協会会報 No.157」（PDF）にある本調査の注意点より。 ●本調査は、JVA正会員社による出荷段階の売上をまとめている。 ●返品分は金額
「毎日の数字を追いかけ、毎日改善する」ことの意外な落とし穴 - 渋谷駅前で働くデータサイエンティストのブログ
（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか
4マス概して軟調が継続、電通の『その他』がほぼ唯一突出した強さ(電通・博報堂売上:2013年3月分) - ガベージニュース
本震から2年以上経過したこともあり、各自の努力もあり、東日本大地震・震災による直接的な広告費の額面における影響は、少なくとも数字の上では終息。昨今では震災以前同様に、広告業界・メディアそのもののトレンドがグラフ上には描かれている。具体的には中期的な概況として「4マス(新聞、雑誌、ラジオ、テレビ)が苦境の中にある。しかしテレビは例外的にやや復調が見えている」「デジタル系、及び屋外広告などの非4マス系の一部が堅調」という具合である。特にこの数か月においては4マス・ネット以外の項目の中で、「その他」が強い動きを示していた。 今回月・2013年3月分の特徴としては「4マス軟調」「インターネットはそれなりに強含み」「従来型は押し並べて弱いが、電通の『その他』がほぼ唯一突出した強さを見せる」の3項目を挙げることができる。比較対象となる1年前の状況を示す記事を見ると、ちょうど震災から1年を迎えた月である
英国軍退役者・従軍者の真実 - おこじょの日記
世の中には、若者を「軍隊に入れればしゃんとする」や「武道で鍛えればしゃんとする」といった神話があるようですが、マジ神話だったぜ。ちなみに、武道で鍛えれば派は今女子柔道パワハラ問題でかーなーり分が悪い。そいで、退役者・従軍者14000人の調査を紹介するよ:No wonder our ex-soldiers are looking for a fight | Barbara Ellen | Opinion | The Guardian Links were found between active combat and post-traumatic stress disorder, alcohol abuse and depression. While overall the armed forces are less likely than civilians to offend, they
ポジティブシンキングに惑わされるな！物事の本質を見抜く７つの方法
ポジティブシンキングって実はちょっと危ないって知ってました？世の中にはありとあらゆる情報で満ち溢れています。情報化社会と言われる世の中にはおいて、これからの時代「どんな情報を手に入れるか？」が自分の人生を決定すると言っても過言ではありませんよね。 そして、その情報が正しいのか正しくないのか？を判断する力こそ、これからの時代を生き抜くための必須スキルと言えるのではないでしょうか？ 「なんか良さそう」とか「大丈夫だろう」という安易なポジティブシンキングは身を滅ぼしかねません。自分でしっかり判断できる軸を持ち「正しく疑う」姿勢を持てるようになることが自分の身を守ることにつながります。 「じゃぁ、その判断軸って何なの？」というところで参考になる考え方をお伝えします。もちろんこれが絶対ではありませんが、情報を選択する際の参考にしてくだされば嬉しいです。 歴史に学ぶ昔から言われてきていることは、心理を
NHK「刑法犯の少年の再犯率 最悪に」は誤報です - rna fragments
まさかと思ったらまた「再犯者率」の間違いでした。 また、非行歴がある少年が再び検挙される割合の再犯率は３３．９％と、統計が残る昭和４７年以降、最も高くなりました。 警察庁は新たに非行に走る少年が減る一方で悪質な非行を繰り返す少年が増えるという、二極化の傾向が出ているとみて、取締りとともに非行からの立ち直りの支援などをさらに強化したいとしています。 刑法犯の少年の再犯率 最悪に NHKニュース 元になった資料はこれだと思います。 「少年非行情勢（平成２４年１〜１２月）」 (警察庁生活安全局少年課) この資料には「平成24年中の再犯者数は２万2,179人（前年比12.8％減）と減少傾向にあるが、再犯者率は15年連続で増加して33.9％となり、統計のある昭和47年以降で最も高い」(p6)とあります。33.9%は「再犯率」ではなく「再犯者率」です。 再犯者率は同書凡例にあるように「刑法犯少年全体に
Facebook日本の会員数ついに減少へ!! そしてブラジルからの猛攻撃がそろそろ始まる
昨日のブログ「【警告】日本のFacebookは悪の温床。クレジットカード登録の方は即チェックを!!」に続いて、Facebookのネガティブネタです。 昨日ブログでは、日本のFacebookユーザーは2000万人弱いるという点をTwitterで「そんなわけない」と言われたので、例のごとくFacebookの広告ツールよりチェックしてみました。12月のエントリー「日本のFacebookユーザーの増加が急停止! その理由を考える」で調べたときには1700万人くらいだったので、まあそこから少しは増えてるだろうと簡単に考えていたのですが見たら1680万人で全く増えてない。こちら（Social Bakers）で半年間と日ごとの推移を調べたところ 完全停止どころか減少が始まってましたっ!! 年末まで少しずつ上がってきたものの、正月明けてドスンと離脱(このドスンはメンテの可能性があると大元隆志さんからご指摘
Twitter / binbin1956: 学生と話していて、「少年犯罪がものすごく増えていて」というか ...
学生と話していて、「少年犯罪がものすごく増えていて」というから、「実はものすごく減っているんだ」とデータを示して話したら、「それでも増えています。減っていても増えているんです」という反応があった。つまりはこれなのである。自分のなかにある思い込みを支持するような情報を皆が求めている
ベイズ統計分析ハンドブックは神本！ - Fire and Motion
なんかダンコーガイみたいなエントリータイトルです（そういえば最近ダンコーガイどうしてるんだろ…）．さて，仙台にはジュンク堂が駅前に3つあり，その中でイービーンズに入っているのが一番専門書がしっかり揃っていて良いです．というか，3つもいらないし，ちゃんと1つ大きいのが欲しいなぁ．．．池袋ジュンク堂が近かった自分としては仙台の残念なところは良い大きな本屋さんがないところですね． で，最近ノンパラベイズを少しだけ勉強しようと思っていて（がっつりではない），でもそのレベルだとなかなか良い資料が見当たらない．暇なときに目を通すレベルであれば，持橋さんや上田さんによる良い資料・チュートリアルがあるのですが，それ以上のこととなると真面目に論文を読むしかない．たとえば，真面目にDirichlet過程の導出と意味を理解しようとするとFerguson (1973)を読む必要があるでしょうし，そのアプリケーショ
データサイエンティストではない人に知っておいて欲しい事 - hotokuとは
統計を専門にしている訳ではない人と話していて感じた違和感があったので、書き留めておきたい。 疑うべき順番は モデル → 推定法 データ分析をしていれば、当然、期待を掛けたモデルのデータへの当てはまりそうが悪いという事が度々ある。こういう時、統計屋さんとして自然に浮かぶのは「モデルが間違っている」という発想である。と思うのだが、非統計屋さんと話していると、このような時に「別の推定法を試してみたらどうだろう」と言われる事がある。多分、目の前のモデルに対する過度の期待から来るのだろうと思うが、このような態度では統計的に見ると妥当性を欠いた分析をしてしまう危険を孕んでいる。 ひとつの事例 とある線型状態空間モデルのパラメータを推定した所、どうしてもデータに合わない部分があった。実は、それが合わない理由は簡単で、ある潜在変数は常に正であるはずなのだ。線型状態空間モデルでは、潜在変数の分布は正規分布で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
