タグ

統計と数学に関するsds-pageのブックマーク (13)

  • 数理最適化と機械学習を比較してみる - めもめも

    数理最適化 Advent Calendar 2022 の記事です。 何の話かと言うと Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon 上記の書籍の第7章では、次のような問題を取り扱っています。 細かい点は書籍に譲りますが、まず、生データとして次のようなデータが与えられます。 これは、あるショッピングサイトの利用履歴を集計して得られたもので、あるユーザーが同じ商品を閲覧した回数(freq)と、その商品を最後に閲覧したのが何日前か(rcen)の2つの値から、そのユーザーが次にサイトにやってきた時に、再度、その商品を閲覧する確率(prob)を実績ベースで計算したものです。実績ベースのデータなので、ガタガタしたグラフになっていますが、理論的には、 ・freq が大きいほど prob は大きくな

    数理最適化と機械学習を比較してみる - めもめも
    sds-page
    sds-page 2022/12/19
    オーバーフィッティング問題はデータが少ないうちは人間の手で修正してデータが増えてきたら機械学習に任せる感じで
  • ぼくは「モンティ・ホール問題」がよくわからない。 - 山形浩生の「経済のトリセツ」

    10月24日に、Change to Hopeというイベントがあって、スティーブン・ピンカーが来日して基調講演をする……予定だったのがコロナで来れずオンラインになってしまったんだが、ぼくがその司会役、というか質問係をおおせつかったのでした。 www.change-to-hope.com で、これは新著『人はどこまで合理的か』をベースに最近のネタを散りばめる講演で、ぼくも付け焼き刃でざっと読んでみました。基は、人はいろいろ数学パズルみたいなものにごまかされて合理性を発揮しにくくなる部分があるのだ、という話や経済学的な合理性の話などで、あとは合理性がいかにしてこれまでの人類の発展を率いてきたか、これからも理性をちゃんと使ってがんばらないといけないよ、というもの。一般向けの講義をまとめたものだそうで、人によっては知ってる話ばかりでつまらないかもしれない。まったく知らなかった目新しい話はない。類書

    ぼくは「モンティ・ホール問題」がよくわからない。 - 山形浩生の「経済のトリセツ」
    sds-page
    sds-page 2022/10/31
    山形氏がわからないと言い、わかってる人がブコメで解説することでようやく自分にもわかった。「正解を知ってる人間が絶対外れを除外する」という行為が重要。ランダムで除外だと成立しない
  • 再検証性がある数理モデルが公開されてない 毎週計算方法を変えている ..

    再検証性がある数理モデルが公開されてない 毎週計算方法を変えているパラメータは人力抽出この3点はヤバさのハッピーセットなんやが、未だにknoa氏を有難がろうとしてる連中は、それが分からんのやろなーって思ったわ。 こんなもんをそこそこの理系大学で卒業研究として出そうとしても、担当教授に卒業可能な研究成果として認められない程ハチャメチャなんや。 再検証性がある数理モデルが公開されてないこれは何度も指摘されてる訳やが、予測モデルが存在しなければ誰にも再検証できないし、予測の尤もらしさが検証できない。例えばや、毎日我々が参考にする天気予報にも、当然やが予測に用いた数理モデルが存在する訳や。 それを元にスパコンで計算して過去の例と付き合わせ、予測精度や誤差まで検証したうえで、「こんな感じの精度のモデルをつこうてるから、参考にすべきところは参考にしてな」って予報を日々公開してるんやな。 可笑しいと思っ

    再検証性がある数理モデルが公開されてない 毎週計算方法を変えている ..
    sds-page
    sds-page 2021/07/27
    人力ニューラルネットワークって感じがする。AIモデルもブラックボックス化してて信用ならんという批判は認める
  • 志村けんのパラドックス - アスペ日記

    みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在171人。東京から無作為に200人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う? 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。— 森岡正博 (@Sukuitohananika) 2020年3月25日 このツイートと、 森岡正博 on Twitter: "みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在171人。東京から無作為に200人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う? 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。" ブコメがひどい。水曜日のダウンタウンとやらによれば志村けんは日の知名度ランキング15位。そんな人が感染してるなら、実際

    志村けんのパラドックス - アスペ日記
    sds-page
    sds-page 2020/03/28
    感染者はもっと多いと思うけどそれはそれとして志村けん一人で論を立てようとするのは筋が悪い
  • やっぱり現代の哲学者には数学、統計は欠かせないんだな

    やっぱり現代の哲学者には数学、統計は欠かせないんだな みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在171人。東京から無作為に200人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う? 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。— 森岡正博 (@Sukuitohananika) March 25, 2020 問い:「1000万人の人口からX人を無作為にピックアップしたときに、全員が知っているある有名人YがそのX人の集団に含まれていることが理にかなっているためには、Xは何人でなければならないか計算せよ。」このときのXが東京都の感染者数の推定となる。統計強い人よろしくお願いします。— 森岡正博 (@Sukuitohananika) March 25, 2020

    やっぱり現代の哲学者には数学、統計は欠かせないんだな
    sds-page
    sds-page 2020/03/27
    メルケル首相を診察するようなトップレベルの医師も感染してるドイツは死者数もイタリアに比べて異常に低いしもしかして・・・
  • 『森岡正博 on Twitter: "みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在171人。東京から無作為に200人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う? 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。"』へのコメント

    ブコメがひどい。水曜日のダウンタウンとやらによれば志村けんは日の知名度ランキング15位。そんな人が感染してるなら、実際の感染者は200人よりはるかに多いのでは、という推論が、そんなに変か?

    『森岡正博 on Twitter: "みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在171人。東京から無作為に200人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う? 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。"』へのコメント
    sds-page
    sds-page 2020/03/27
    ふろむだ先生の本によると「直観的に正しいと思える間違っていること」を間違いと認めず直観を信じ続けることはありがちでそんなに変じゃない。だけどそれ間違ってるよ
  • 【追記】ポアンカレとパン屋の逸話は本当か、カントが言っていないとしても - ネットロアをめぐる冒険

    【9月25日追記】 いくつか指摘していただいたり、紙のでいくつか調査を付け足したりしたので、該当箇所に青字で追記します。 数学で赤点ばかり取り続けた私はあまり数字とお友達ではないのですが、こんなツイートが話題になっています。 ポアンカレ予想で知られる数学者のポアンカレは、馴染みのパン屋が「1キロのパン」として売っているパンが、ちゃんと1キロを目指して作られているのかを検証するために、一年間同じパンを買い続け、重さを記録し、正規分布を割り出すことで、パン屋が50gケチって焼いてることを突き止めたらしい。 — 久下玄 (@kugehajime) 2016年9月21日 エピソードには続きがあり、パン屋の主人は反省して1キロを基準に焼くようになったかに見えたが、ポアンカレは引き続き重さを計り続け、分布に不自然な偏りが出ていることを発見、パン屋が自分にだけ大きめのを渡していて改心してなかったことを

    【追記】ポアンカレとパン屋の逸話は本当か、カントが言っていないとしても - ネットロアをめぐる冒険
  • 大人の皆さん、「平均」の意味ちゃんと分かってますか? 大学生の4人に1人が間違えた“小6レベルの算数問題”

    「平均株価」「平均視聴率」「平均所得」……と、「平均」はニュースなどでも当たり前のように使われている数学用語の1つ。小学校高学年で教わるので、数学というよりは“算数用語”と言った方が分かりやすいかもしれません。 しかし、この平均という概念は意外にも難しく、「小学6年生レベルなのに、大学生の4人に1人が解けなかった問題」が存在。自分がちゃんと理解できているか、チェックしてみましょう。 全ての問題の解答はこちら 問題 ある中学3年生の生徒100人の身長を測り、その平均を計算すると163.5センチになりました。この結果から確実に正しいといえることには「○」、そうでないものには「×」と答えてください。全問正解で正答。 身長が163.5センチよりも高い生徒と低い生徒は、それぞれ50人ずついる 100人の生徒全員の身長をたすと、「163.5×100」で16350センチになる 身長を10センチごとに「1

    大人の皆さん、「平均」の意味ちゃんと分かってますか? 大学生の4人に1人が間違えた“小6レベルの算数問題”
    sds-page
    sds-page 2019/03/27
    有効数字4桁だと考えると5桁目がゼロになってる二問目も確実に〇とは言えない
  • 枠母集団

    https://anond.hatelabo.jp/20180424082940 「母集団」について 増田で盛り上がることがあろうとは! とうれしくなってしまったので、解説しておく。 事例に出てきた選挙の話で考えてみると、新聞社等大手マスコミが行っている電話での世論調査は下記のように整理できる。 RDD調査の例A.日の有権者全体=母集団(目標母集団) B.RDDで補足できる電話番号全体=枠母集団 C.実際に調査対象となった電話番号全体=対象数 D.答えてくれた電話番号=回答数。 ここでサンプリング理論が関係してくるのは、Cを適切な数集めたらBが推定できるよね、って話。 人口が何千万人もいるのに2000人対象に調査するだけでいいのはどうして?っていうのはBとCの関係。 AとBの差(カバレッジ誤差)は統計学では埋められない。 じゃ、ネットの世論調査はどうか?っていうと、 ネット会社のパネルに

    枠母集団
    sds-page
    sds-page 2018/04/24
    なんとなく偏ってそうだよねってのは分かるけどそれを数字で証明するには複数の方法でつき合わせるしかないのだろうか
  • 中学2年男女の数学得意率は日本がダントツに低いが、数学平均点は日本がダントツで高い負の相関にある。これはどういうことなのか。

    舞田敏彦 @tmaita77 小学校4年生と比べた場合の位置変化はどうかな。数学有用感は下がると思うが,それが激しいのは男女のどっちか。国による違いはどうか。 2016-04-09 21:13:48

    中学2年男女の数学得意率は日本がダントツに低いが、数学平均点は日本がダントツで高い負の相関にある。これはどういうことなのか。
    sds-page
    sds-page 2016/04/11
    ヨルダンの学生の意識が気になる。周りの大人が全然数学できないから学生の意識が高いのかな
  • 出現確率1%のガチャを100回引いても,4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう

    出現確率1%のガチャを100回引いても,4割近くの人は全部はずれる。“当の確率”を読み解いてみよう ライター:宮里圭介 まったく確率表示をしていなかったり,レア度別の確率のみ表示したりと,タイトルによって対応はさまざまだ スマートフォン向けゲームに欠かせない存在となっている「ガチャ」。お目当てのキャラやアイテムを引き当てたときの嬉しさは格別だし,結構な額のリアルマネーを使ったあげく,ハズレばかりだったときの悔しさもまたかなりのものだ。 すべては運にかかっているので,プレイヤーが頼りにできるデータといえば,公開されている出現確率ぐらいだろう。以前はその確率が公開されていないゲームが多かったが,最近は業界として確率表示を進める動きが強まっており,人気タイトルの「グランブルーファンタジー」でも,日(2016年3月10日)から装備品個別の出現確率が表記されるようになる。 だが,確率が明らかにな

    出現確率1%のガチャを100回引いても,4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう
    sds-page
    sds-page 2016/03/10
    箱ガチャ方式をデフォルトにすべき
  • 「9-3÷1/3+1」が計算できなくて大丈夫なのか? 1部上場企業技術者「小学生以下」学力の実態

    大手企業の技術者の多くが、中学入試で出題されるような理数系の基礎的な問題を解けないことが、神戸大学や同志社大学などの研究グループの調査でわかった。 「9-3÷1/3+1」(1/3は、3分の1)という計算問題の正答率は、なんと6割を切ったという。優秀なはずの大手企業の技術者でも、小学生レベルの基礎的学力が身についていないことになる。 中学受験のかなりやさしいレベルで正答率6割切る 研究グループの調査は、2014年度に1部上場の製造業9社に在籍する主に20代の技術者1226人を対象に実施。神戸大学の西村和雄・経済経営研究所特命教授によると、出題した問題は「小学生の中学受験レベルで、計算問題においてはかなりやさしい問題」という。算数と理科・物理、技術用語に分けて、11問を設けた。「技術用語を除けば、文系出身者でも解ける常識問題です」と話している。 その結果、平均は56.66点(100点満点)。こ

    「9-3÷1/3+1」が計算できなくて大丈夫なのか? 1部上場企業技術者「小学生以下」学力の実態
    sds-page
    sds-page 2015/12/04
    見たことあると思ったら昔の話題なのか
  • 偏差値100オーバーって何なの?

    偏差値100オーバーが話題になってるけど、そもそも偏差値が100を超えることなんてあるの?から始まった疑問を考えてたやつ。 偏差値100ってどういう状況で取れる?偏差値1桁って何事?!偏差値114514なんてあり得るの?まで。 (9/15追記)平均が小さい方が高偏差値が取れる?満点が200点だと100点のときより高偏差値が取りやすい?

    偏差値100オーバーって何なの?
    sds-page
    sds-page 2015/09/16
    偏差値と平均点って関係ないのか
  • 1