「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
エラーページ - ヤフー株式会社
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
実際のところ国立大の学費はどれだけ上がっているのか？ - 返事がない ただのしかばねのようだ
実際のところ国立大の学費はどれだけ上がっているのか？ 毎日新聞の記事で国立大の授業料が40年で15倍になったと報じており、話題になっている。 ※年数と数字に誤りがあったため、修正をしました。最後の【追記】を参照ください。 b.hatena.ne.jp 文部科学省によると、４０年前の１９７５年度の大学授業料は、国立は３万６０００円、私立の平均は約５倍の１８万２６７７円だった。その後、国私間の差は徐々に縮まり、１４年度は国立が５３万５８００円、私立が８６万４３８４円で約１・６倍になった。 記事の要約としては、 ４０年前よりも１５倍に値上がり 大学生２人に１人が奨学金を借り、卒業時に数百万円の借金を背負う状況も招いている 大学に行ける層と行けない層が所得で明確になる階級社会が生まれてしまう 若者が選挙に行き声を上げることが重要だ という論調である。 本当にそうなのか、疑い深い性分なので実査に数字
猛暑日の増加
[2018-07-20] as.POSIXct() を as.Date() に変えました。 東京管区気象台の東京における雷日数や真夏日等の日数の変化というページを見ると，猛暑日（日最高気温35℃以上）の日数が1876年以来著しく増加していることがわかる。ところが，平均気温を見ると，地球温暖化・都市化の影響で徐々に増加しているが，激しく変わっているようには見えない。平均ではなくて猛暑日の日数を見るべきであるという議論もある。しかし，「猛暑日」（日最高気温35℃以上）や「真夏日」（日最高気温30℃以上）のような分布の裾の日数は，何℃で切るかによって印象が大きく異なる。気温変化を誇張することにならないか。 「東京」の観測地点は2014年12月2日に約900m離れた地点に移転している。詳しくは「東京」の観測地点の移転について（PDF，2014年11月14日，気象庁観測部）を参照されたい。 東京の日
東京都の統計資料 東京における雷日数や真夏日等の日数 | 東京管区気象台
東京における雷日数や真夏日等の日数の変化 東京における雷日数、真夏日（日最高気温30℃以上）の日数、猛暑日（日最高気温35℃以上）の日数、日最低気温25℃以上の日数のグラフです。 >> 雷日数 真夏日（日最高気温30℃以上） 猛暑日（日最高気温35℃以上） 日最低気温25℃以上 ○雷日数 ○真夏日（日最高気温30℃以上）の日数 ※ 図中緑破線は、観測場所が2014年12月に移転していることを示す。 ○猛暑日（日最高気温35℃以上）の日数 ※ 図中緑破線は、観測場所が2014年12月に移転していることを示す。 ○日最低気温25℃以上の日数 ※ 図中緑破線は、観測場所が2014年12月に移転していることを示す。
Chrome拡張「Scraper」でWEBページ情報を手軽にスクレイピングしてデータ化する方法
Scraperとは Scraperは、WEBページ上の規則性のあるデータを手軽に取得することができるChrome拡張です。 例えば、テーブルデータや、Aリンクデータ、のような特定のHTML要素に入っている情報を、片っ端から取得してテーブルデータ化することができます。 また、その取得したデータをワンクリックでGoogleスプレッドシートに保存することができます。 テーブルデータのスクレイピングは以下の動画を見た方が分かりやすいかも。 以下では、その使い道などをいくつか考えてみました。 テーブルデータの取得 最もオーソドックスな使い方と言えば、動画にも出てきたテーブルデータの取得です。 例えば、信長の野望の以下のような武将データテーブルがあったとします。 これを、以下のように選択して、Chromeの右クリックメニューから「Scrape similar（似たものをスクレイプ）」を選択します。 す
『ダメな統計学』冊子PDFの公開｜Colorless Green Ideas
『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学
生活定点1992-2018｜博報堂生活総研
生活定点とは？ 1992年から隔年で実施している生活者の意識調査です。同じ質問を繰り返し投げ掛け、その回答の変化を定点観測しています。
大学進学率の地域差、２０年で２倍 大都市集中で二極化：朝日新聞デジタル
大都市と地方で高校生の大学進学率の差が広がっている。今春の文部科学省の調査から朝日新聞が算出すると、都道府県別で最上位と最下位の差は４０ポイント。２０年で２倍になった。家計状況と大学の都市集中が主因とみられる。住む場所の違いで高校生の進路が狭まりかねず、経済支援の充実などを求める意見がある。 文科省の学校基本調査（速報値）から、４年制大学に進んだ高卒生の割合を、高校がある都道府県別に算出した。今春は全国で１１０万１５４３人が高校（全日・定時・通信制と中等教育学校）を卒業。大学には浪人生を含む５９万３５９６人が入学（帰国子女など除く）。進学率は５３・９％だった。 都道府県別では東京の７２・５％が最高で、次いで京都（６５・４％）、神奈川（６４・３％）、兵庫（６１・７％）など。最低は鹿児島の３２・１％で、低い順に岩手（３８・４％）、青森（３８・６％）など。４０％未満は５県だった。 大都市圏では愛
今後のメディアを考えるうえで知っておきたいデータ10選 - メディアの輪郭
日々、いろんな海外メディアの情報を追っているのですが、改めて日本におけるメディア関連データで気になるものを足下から整理しようと思い、調べてみました。 1. スマートフォンの所有率 （出典：ビデオリサーチインタラクティブ | プレスリリース） 昨年の時点でガラケーの所有率をスマホが上回っていたようですが、今年はさらに差が広がっていますね。特に女子学生（85.2%）、男子学生（78.3%）のスマートフォン所有率が高いとのことです。タブレットもじわじわ増えています。 2. スマートフォン加入者数 総務省によれば、日本にはインターネット利用者数が9652万人いるようです。また、IDC Japanの2013年～2017年の国内スマートフォン加入者数予測によれば、2014年には6277万人に、2015年には約7000万人がスマホを持つことになりそうです。 3. スマートフォンの利用場所とシーン ヤフー
TechCrunch | Startup and Technology News
VCs are clamoring to invest in hot AI companies, willing to pay exorbitant share prices for coveted spots on their cap tables. Even so, most aren’t able to get into such deals at all. Yet, small, unknown investors, including family offices and high-net-worth individuals, have found their own way to get shares of the hottest…
リサリサ | リサーチ・リサーチ
新着リサーチ クリーンエネルギー 第3回「カーボンニュートラルに関する生活者調査」（10～70代男女対象） 2021年10月21日 電通は、電通グループ横断でサステナビリティに関するプロジェクトを推進する「サステナビリティ推進オフィス」および「電通Team SDGs」のもと... クリーンエネルギー 電力 エネルギー カーボンニュートラル SDGs 社会問題 環境対策 がん 卵巣がんに関する調査（がん患者と一般女性対象） 2021年10月21日 アストラゼネカは、10年以内に卵巣がんと診断された20代以上の卵巣がん患者さん111名（以下、患者調査）と卵巣がんに罹患していない女性1,31... がん 婦人科系疾患 病気 健康 医療 患者 ニュース フェイクニュースと情報に対する意識調査（20歳～69歳男女対象） 2021年10月20日 クロス・マーケティングは、全国20歳～69歳の男女を対象
統計屋による新社会人のための統計系入門書お薦め一覧 - あんちべ！
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【山田祥平のRe:config.sys】 ビッグデータに死ねと言われた東急