コグニカルは、足りない知識をツリー構造で掘り下げられる学習サイトです。
コグニカルは、足りない知識をツリー構造で掘り下げられる学習サイトです。
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
去年の12月頃から数学の学び直しを始めた。 職業柄少し専門的な、特に機械学習の方面の書籍などに手を出し始めると数式からは逃れられなかったりする。とはいえ元々自分は高校時代は文系で数学1A2Bまでしか履修していない。そのせいか少し数学へ苦手意識があり「図でわかるOO」とか「数学無しでもわかるOO」のような直感的に理解出来る解説に逃げることが多かった。実務上はそれで問題ないにしてもこのまま厳密な理解から逃げているのも良くないなと感じたのでもう少し先の数学に取り掛かることにした。 巷には数学の学び直しについての記事が既にたくさんある。それに自分の場合は何かの受験に成功した!とか難関の資格を取得した!というような華々しい結末を迎えている状態ではない。そんな中で自分が何か書いて誰の役にたつかもわからないが、少なくとも自分と似たようなバックグランドを持つ人には意味のある内容になるかもしれないので、どの
東京大学大学院情報学環特任准教授の大澤昇平氏(@Ohsaworks)が、11月20日にtwitter上で行った差別発言について書きます。この件については、11月24日に情報学環長名ですでに以下のような文書が出されています。 しかし残念ながら、上記の文書からは誰がどのような言動を行い、それがなぜ問題なのかということがわかりません。筆者(明戸)は現在同じ大学、同じ部局の特任助教であり(ただしプロジェクト雇用なので部局そのものの運営等には関わっていません)、また差別やヘイトスピーチにかかわる研究者でもあります。こうしたことをふまえて、ここでは明戸個人の立場から、今回の経緯および論点を整理し、自身の立場を明らかにしておこうと思います。
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口(e-Stat)」で本日から12月1日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
これから書くことはほとんど、これまでも繰り返し申し上げてきたことと変わりない。が、同じ質問は繰り返し受けているので、再度申し上げる次第である。なお、海外からも同様の問い合わせが多いので本来であれば英語でも同じ内容の文章を用意すべきだが、時間の関係で割愛させてください。Chromeかなにかでそれぞれ母国語に訳してお読みいただけると幸いです。なお、本稿は特に感染症学の基礎知識やジャーゴンを知らなくても読めるように工夫はしているが、それなりに難解な内容だ。その点はご容赦いただきたい。 日本のCOVID-19報告数が諸外国に比べて非常に少ないことに内外から注目が集まっている。あれは本当なのか。検査数が少なすぎて、実際の感染者数を見誤っているのではないか、という指摘がある。 しかし、この指摘はいろいろなレイヤーにおいて間違っている。そもそも、日本はCOVID-19の全数把握を目指していない。行政検査
4月7日に緊急事態宣言が出されて3週間が経ちました。 筆者は緊急事態宣言の発令後に以下の記事を投稿しました。 緊急事態宣言 私たちにできること ここでは患者の急増、医療崩壊の進行、そして我々がこれから行うべき「ハンマー&ダンス」の概念についてご紹介しました。 緊急事態宣言の発令から3週間で新規の報告数は減っていますが、本当に感染者は減っていると言えるのでしょうか。 そして今後私たちがなすべきことは何でしょうか。 患者発生数は明らかに減少に転じている緊急事態宣言から2週間を経過した頃から明らかに新規患者数が減少しています。 東京都の新型コロナ患者発生数の推移(東京都 新型コロナウイルス感染症 対策サイトより)日本全国の新型コロナ患者発生数の推移(都道府県別新型コロナウイルス感染者数マップ ジャッグジャパン株式会社より)東京都も1日の新規発症者数が100人を切る日が出てくるなど、緊急事態宣言の
放送中のテレビ番組視聴率がリアルタイムで分かる。国内最大級のテレビデータを持つスイッチメディア運営。「今」みんなが視てる番組をTVAL nowでチェック。
21世紀の格差は、他者からの共感の格差をめぐるものになるだろう。 この記事で言いたいこと (社会的)共感は政治的・社会的リソースである。 物理的資産がリソースであるのと同様だ。 共感はアイデンティティごとに分配される(女性黒人LGBT,労働者階級,白人子供etc)。 共感は物理的資産と同じく分配に差がある。 共感の分配は主にマスメディアによってなされる。 トランプ大統領が当選する以前、労働者階級に関するメディアのツイートは60件、同性愛 LGBTに関するツイートは、9664件であった。 ツイートの比率は、労働者階級 60 対 LGBT 9664 で 161倍だ。 ツイートの差を共感の差だとみなせば、労働者階級とLGBTで大きな格差がある。 共感の格差を放置すれば、そこはポピュリストにつけこまれる。 もしあなたがポピュリストになりたければ、次のターゲットを狙うと良い。 ある程度人口ボリューム
今回取り上げるのは、フィナンシャル・タイムズからの「死者数は報告されているよりも60%高い可能性がある」というレポートです。 Global coronavirus death toll could be 60% higher than reported | Free to read ここで、本論に入る前に、少し前置きです。 アウトブレイクが現在進行形で起きているときに、異なる国での政策の良し悪しを議論するのに使える、信頼できる統計データとは何でしょうか? 感染者数は、検査の性能・件数・方針などに強く依存するため、もっとも信頼性の低い指標です。一方、死亡者数は、相対的には信頼できる指標ですが、検査を受けないままに死亡してしまったケースについてはアンダーレポート(過小報告)となります。 特にいったん医療崩壊を起こしてしまうとあらゆる報告が追いつかなくなり、感染者数も死亡者数もきちんと管理できな
知事からのメッセージを紹介します。 令和2年12月28日のメッセージ 新型コロナウイルス感染症対策(その47) ‐データの示す急所‐ コロナの感染は止まらず、日本全体では、連日史上最多の感染者数を更新しています。そうしますと医療も逼迫してきて、いくつかの県では医療崩壊かという懸念も高まっています。和歌山県では、県庁を中心とする保健医療部隊が獅子奮迅の働きで感染者が出ても早期に囲い込んでしまって、感染爆発させないようにしていますので、感染者も割合少なく、全員病院に入ってもらっていますが、病床の逼迫はありません。自分の部下が大部分ですから、言いにくいのですが、保健医療行政の健康局、各地の保健所、和歌山市の保健所、感染者を受け入れてくれている病院、早期発見に協力してくれている全てのクリニック、病院さらには、正面部隊が忙しくなったとき協力してくれている各機関の保健師、看護師、各行政機関の応援部隊、
画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月29日から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習(外部サイト)」を開講している。登録料および受講料は無料。閉講日時は12月7日の23時59分。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析(統計分析)の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 (最速・最短ルート用) まずは動かしてみよう。強くてニューゲームが体験出来るぞ! 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
退職代行モームリ累計利用者15,934名分のデータ・利用された企業情報を公開~Z世代と新卒で増加する退職代行利用者、労働者の本音はどこに~ 報道関係各位 2024年8月7日 株式会社アルバトロス 退職代行モームリを管理している株式会社アルバトロス(本社:東京都港区、代表取締役:谷本慎二)が、2024年8月1日(木)に退職代行の利用状況の調査を行いましたので、その結果を公開致します。 株式会社アルバトロス https://www.alba-tross.jp/ 退職代行モームリ https://momuri.com/ 退職する会社に本当の退職理由を伝える方はほとんどいないと言われています。 退職代行モームリには利用者15,934名の生の声を反映させたデータがあり、日々蓄積されています。 当社の保有している膨大なデータは、労働者はもちろん企業の方にとっても非常に有益かつ貴重な情報となるかと思いま
Pythonプログラミング入門¶ ▲で始まる項目は授業では扱いません。興味にしたがって学習してください。 ノートブック全体に▲が付いているものもありますので注意してください。
先月、男女共同参画白書が公表されて色んなところで取り上げられていたので、週末にざっと目を通しておきました。 男女共同参画白書 | 内閣府男女共同参画局 時間がない人は概要版だけでも読んでみるといいですよ。とても興味深いデータが揃っているし、関わった人(内閣府男女共同参画局)の問題意識も伝わってきます。 まず、概要版の表紙にしたって、 左から、料理に携わる男性と子ども二人、選挙に出る女性、おしめを変える男性、実験に携わる女性と子ども二人の構図です。ここからも何を目指しているものかよく伝わってきますよね。気になって過去の男女共同参画白書の概要版の表紙を遡ってみましたが、このようなイラストを挿入していたのは今年だけでした。 今回の特集は人生100年時代における結婚と家族という野心的な内容です。 ここのページで強調されている、 家族の姿が変化しているにもかかわらず、男女間の賃金格差や働き方等の慣行
「目に見えて明らかなことが常に解決策であるとは限らず、どれだけ不思議に見えても事実は事実に過ぎない」ということに気づかされたとして、ウォータールー大学でコンピューターサイエンスを研究するスティーブン・マン教授が不思議なエピソードを紹介しています。 Car allergic to vanilla ice cream http://www.cgl.uwaterloo.ca/smann/IceCream/humor.html ある日、自動車メーカー・ゼネラルモーターズ(GM)のポンティアック開発部に以下のような内容の苦情が寄せられました。 「私がGMに苦情を書いたのはこれで2回目です。私にもおかしな話に思えるので、返事がなくても責めるつもりはありません。私たちの家族はいつも夕食後のデザートにアイスクリームを食べています。毎晩、食事後に家族全員がどの種類のアイスクリームを食べるべきかを投票し、私が
本で読んだ知識をドヤ顔で紹介したら、その実験には再現性がありませんでした。 そんな恥ずかしい記事を書いたブロガーは誰でしょう? そう、私です。 ステレオタイプ脅威はありますん ちょっと前に「ステレオタイプ脅威」の記事が話題になっていた*1。 世の中には「女性は数学に弱い」というような負のステレオタイプがある。自分のアイデンティティがそれに該当していると意識してしまうと、実際にパフォーマンスが落ちるというものだ。これは様々な実験の結果によって示されている。というのが記事で紹介されていた話だった。 ところが現在、その「実験結果」は再現性が無いと言われている。ステレオタイプ脅威の根拠は実験結果にあるというのに、その土台は不確かなものであるのだ。 とくに、最近の研究ではほとんど再現性がないとされている「ステレオタイプ脅威」について、リベラルバイアスにも言及しながら議論しているのが印象的。 日本では
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
文系向け「統計学」の授業で、積分・対数・微分を復習する機会があった。その時の「1枚スライド」を公開した。この図をめぐって、「分かる」とはどういうことか、について多くのコメントをいただいた。それを、まとめました。(話が同時並行で進行するので、スレッド風の「まとめ」です。) 注意:積分は、統計学の場合、正規分布表を見るために必要。対数の必要性は、尤度関数(尤もらしさ)の対数をとって計算を簡単にする式変形で使うため。微分の必要性は、確率密度関数の最大値(尤度最大の条件)を求めるため。どれも統計学で必須の内容。 注意2:(追記8/6)ここに出てくる「指数、対数、微分、積分」は「感染症の数理モデル」の基礎となっている。 注意3:(追記8月9日)番外編『「積分」と「源氏物語」〜「晩年の清少納言」から「京都女子大」まで』へのリンクはこちらです。https://togetter.com/li/157284
(※ 新しい予測を公開しました→ 東京の感染者数を5週間ぶん予測した (7月5日版)) 東京の感染者数を5週間ぶん予測した (6月21日版) の続き。まえがきは前回の記事でご覧ください。 前回の予測はかなり高い精度で当てることができました。日曜までの週単位では 3368人 の予測に対して 3342人 の現実となりました。 今回は、宣言解除による~6月27日の週の人流増を反映し、~7月11日の週の予測を上振れさせました。2人での飲酒が解禁になった影響は、ある程度は人流の増加に織り込み済みとみなしています。ただし、「3週前の感染者数の最大値」を予測に用いている性質上、上振れした週の感染者数は都民を緊張させ、3週後のブレーキにつながるので、全体としての影響は限定的です。新たに追加した~8月01日の週では、5月の大阪並みの緊張感にワクチンの効果も加わって急減速するも、デルタ株を減らすにはまだ及ばな
統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値~平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①-クロスセクションデータ- ・比率の見方②-使い方と注意点- ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1.本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①:講義の受講者が復習に利用する 想定②:未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
「底辺や低学歴はゲームが好き」これって社会科学の分野ではよく知られた概念だけど、何で炎上してるんだ?教職課程とかでもやるじゃん という元増田と、 誰か統計データで本当かどうか確かめてくれない?令和 3 年社会生活基本調査に「男女,教育,趣味・娯楽の種類別行動者数」とか「年間収入・収益,趣味・娯楽の種類別平均行動者数(有業者)」とかある。たのみます。 - hevohevo のブックマーク / はてなブックマーク というブコメを見て、 社会生活基本調査 令和 3 年社会生活基本調査 調査票Aに基づく結果 生活行動に関する結果 生活行動編(地域) 趣味・娯楽 | ファイル | 統計データを探す | 政府統計の総合窓口 にある、 社会生活基本調査 令和 3 年社会生活基本調査 調査票Aに基づく結果 生活行動に関する結果 生活行動編(地域) 趣味・娯楽 98-8 男女,仕事からの個人の年間収入・収益
※こちらのページのデータは2023年12月21日をもって更新を終了しました。 世界各地の国や地域ごとのワクチンの接種状況です。接種回数の総数と、人口100人あたりに換算した回数を掲載しています。あわせて、「少なくとも1回接種した人」と「既定の回数の接種が完了した人」「追加接種した人」の、それぞれの総数と人口に占める割合を掲載しています。 世界のワクチン接種回数(累計) Our World in Dataの集計で接種回数が上位18番目までの国や地域と日本・韓国のデータを表示しています。ワクチンの接種回数が多い国や地域でも Our World in Dataの集計に入らない場合があります。グラフ右下の更新日は、Our World in Dataからデータを取得した日付です。それぞれの国や地域のデータは、更新日までに得られたデータの中で最新のものを表示しています。各地の事情により新たなデータが反
ダン・アリエリーの論文の一つに再現性が無い。 調査の結果、データが全部捏造されたものだという。 どうしてこうなった。 ダン・アリエリーへの疑い ベストセラーとなった行動経済学の本に『予想どおりに不合理』がある。このブログでも何度かお勧めしている本で、読んだ人も多いだろう。 予想どおりに不合理 行動経済学が明かす「あなたがそれを選ぶわけ」 作者:ダン アリエリー早川書房Amazon 本書の著者、ダン・アリエリーが共著者である論文について、データ捏造の疑いがかけられ話題となっている。 実験の主導者であるアリエリーは、「データが捏造されていること」については同意しているが、問題のデータは研究パートナーの「保険会社からもらったもの」であり、自分および共同執筆者たちはプライバシーの観点からデータ収集・データ入力・データのマージには関与していないと言っている*1。 本件はデータの不正を暴く過程が面白
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く