センター試験XMLデータ - ロボットは東大に入れるか。Todai Robot Project
「ロボットは東大に入れるか」プロジェクトで開発した大学入試センター試験1990年度～2017年度の電子化問題データを公開します。 このデータは、本プロジェクトにおいて、川添愛氏を中心としてXMLによる構造化仕様を策定し、アノテーションを実施したものです。 元データの著作権者である独立行政法人大学入試センターのご厚意により、人工知能などに関する研究のための資源として一般に公開します。 試験問題データ 開発用データ（development data） [1993年以降4年ごとに2017年度までのセンター試験 本試験および追試験] 開発テスト用データ（development test data） [1991年以降4年ごとに2015年度までのセンター試験 本試験および追試験] 最終テスト用データ（final test data） [1990年度以降2年ごとに2016年度までのセンター試験 本試験お
Rでお遊び：何かに使えるかも？各都道府県を四角で表示！
各都道府県を四角で表示する日本地図データの紹介です。ggplot2パッケージなどで利用が可能です。 windows 11のR version 4.1.2で確認しています。 日本地図データの作成下記コマンドを実行してください。作業フォルダにJpanMiniMap.csvを保存します。 #tidyverseパッケージがなければインストール if(!require("tidyverse", quietly = TRUE)){ install.packages("tidyverse");require("tidyverse") } JpanMiniMap <- tibble( #都道府県名 Pref = c("北海道", "青森県", "岩手県", "宮城県", "福島県", "茨城県", "千葉県", "秋田県", "山形県", "新潟県", "栃木県", "埼玉県", "東京都", "群馬県"
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
高卒者の正社員就職率
昨日，面白いツイートをみつけました。柔軟な発想をなさる方なので，ちょくちょくツイッターをのぞかせていただいているのですが，以下のようなものです。 https://twitter.com/sateco/status/679497811172306944 なるほど。数の上では，今となっては高卒者より大卒者が多く，希少性では前者のほうが上です。早く働き始めれば，スキルは身につくし，学費も浮くと。 「高卒で就ける仕事なんてねーだろ」といわれるかもしれませんが，大卒の知識や技術が必要な仕事って，どれほどあるでしょう。企業が大卒者を好んで雇うのは，彼らのタレントに期待してのことではありません。「大卒者なら仕事の覚えも早かろう，間違いなかろう」と踏んでのことです。数多い応募者の中から，間違いのない人材を選ぶためのシグナルとして，学歴を使っているだけのこと。これを，シグナりリング理論といいます。 腹の底で
e-Stat APIをRから使う - Technically, technophobic.
ほぼほぼこの記事に書いてある内容なんですけど、httrでやってみたのでメモ。 e-Stat APIとは 政府統計の総合窓口(e-Stat)で提供している統計データを入手できるAPIです。ユーザ登録してAPIキーを生成すると使えます。 今のところ、以下の種類のAPIが用意されています。形式はXMLとJSONとJSONPがありますが、今回はJSON形式のでやってみるので、jsonが返ってくるリクエストURLを書き添えています。 統計表情報取得（getStatsList）：統計表の検索 メタ情報取得（getMetaInfo）：統計表のメタ情報を取得 統計データ取得（getStatsData）：統計表のデータを取得 データセット登録（postDataset）：統計データの取得条件を登録しておける データセット参照（refDataset）：登録されている取得条件を参照 データカタログ情報取得（get
山手線リアルタイム混雑情報で遊んでみよう
去年から公開されてる「JR東日本アプリ」ですが、機能の一つに「山手線トレインネット」というものがあります。 これは山手線の各車両の現在位置、混雑状況、室内温が見えるというもので、 座りやすい車両を探すのに便利だったりします。 山手線トレインネットから取得した車両位置と混雑率 電車の運行情報がここまで時間粒度細かく公開されているのは世界的にも珍しいので、特に目的も無しにデータをクローリングして遊んでみました。 データをクローリングする まずは山手線トレインネットの車両位置・混雑情報をクローリングします。 JR東日本アプリの山手線トレインネット。 今の車両内の混雑や室内温が見える。すごい！ 「山手線トレインネット」はブラウザから見えるページが存在しない、iPhone/Androidアプリ専用の画面です。 なので普段の「FirebugでAJAXの通信を見てAPIをリバースエンジニアリング」ほど簡
絶対に描いてはいけないグラフ入りスライド24枚 -slideshare
These slides include many inappropriate graphs. If you want to tell the summary of the data correctly, you should avoid to use graphs in this presentation. They can mislead those who view them. In English, the title of presentaion is "24 slides including graphs that should not be absolutely drawn".Read less
生活定点1992-2018｜博報堂生活総研
生活定点とは？ 1992年から隔年で実施している生活者の意識調査です。同じ質問を繰り返し投げ掛け、その回答の変化を定点観測しています。
面グラフによる年収分布図
誰もが関心を持つ年収分布ですが，官庁統計では，おおむね100万円刻みの分布が示されています。200万円台は何人，300万円台は何人，・・・1500万円以上は何人，というデータです。 これをグラフ化するとなると，各階級が全体に占める割合（％）を出し，それらをつないだ折れ線を描くのが普通でしょう。これがいわゆる，年収分布曲線です。 しかし，多くの属性の分布を比較しようという場合，何本もの曲線を描くことになります。たとえば，20～50代の5歳刻みの年収分布を比べる場合，8本の曲線を盛り込むことになり，非常に見づらくなります。グチャグチャです。 私は，この難点をクリアする技法として，面グラフによる表現を思いつきました。いくつかの事例を見ていただきましょう。まずは，男性有業者の年収分布の変化図です。 どうでしょう。年齢層ごとの年収分布を上から俯瞰する図法です。「失われた20年」と形容される，90年代
改訂版: プログラマーが効果的な可視化を作成する （前編） - Qiita
改訂版について (5/7/2019公開) この記事は、私がこちらに公開したもの中では最も読まれているようです。そこで、執筆後に気づいたこと、古くなった情報、新しい技術動向などを考慮に入れて改訂をしました。主な変更点は以下の通りです： 新しいセクションの追加 最近の本の紹介 細かな表現の修正 この記事は複数のセクションに分かれていますので、前編から始め、順番にアップデートして行きたいと思います。何かお気付きの点などありましたら、コメント欄、もしくはkonoアットマークucsd.eduにお願いいたします。 はじめに この記事は、可視化の専門家ではない人がコンピュータを使ってデータ可視化を実際に行う場合に必要な、一般的なノウハウをお伝えするシリーズの第一回です。 前編: 効果的なデータ可視化とはどのようなものか？ （本稿） 中編: 分かりにくい可視化を避けるための手法の選択 後編: Part 1
統計学・データサイエンスの勉強法
ここ数年、私はデータサイエンスについて学んでいます。おすすめの学習資料を紹介したいと思います。 教師用の教科書と初心者用の教科書 私自身、データサイエンスを学ぼうとして色々なソースを試してみました。残念なことに、日本語の良い学習資料は見つけられませんでした。どこかのブログで読んだことがありますが、教科書は教師用と学生用の二週類があるそうです。一つめは内容が既に分かっている教師の為の教科書で、日本はこのタイプです。もう一つのタイプの教科書は自学自習を目的に作られているので、教師なしで学ぶできる教科書になっているということで、アメリカはこのタイプの教科書が多いです。私自身、他の文系・理系の教科書を探した時もアメリカの教科書の方が分かりやすく、その本だけを読めば分かるようになっていると同じ印象を持ちました。 オンライン教育（MOOC） アメリカは科学教育に熱心であり、最近はやりのMOOCでも豊富
ビッグデータの不都合な真実 - WirelessWire News（ワイヤレスワイヤーニュース）
もはや旧聞に属しますが、6月21日に「The Data Journalism Handbook」翻訳&勉強の会が開催されました。 これは元々2011年にロンドンで開かれたオープンソース系のイベントにおいて Open Knowledge Foundation などが音頭をとり、気鋭のジャーナリストたちが加わったワークショップの成果をもとにして2012年に刊行された『The Data Journalism Handbook』を翻訳しようというものです。 これはこの本がウェブ上で全文公開されており、クリエイティブコモンズの CC BY-SA 3.0 ライセンスの元で自由に利用できるからこそ可能なのですが、翻訳プロジェクト自体は2013年には立ち上がっていたものの、長らく停滞状態でした。もっともワタシ自身いくつか翻訳を手がけているわけで他人事のように書いてはいけないのですが、ともかく今回の翻訳＆勉
（ザ・テクノロジー：１２）料理の戦略、勘よりデータ：朝日新聞デジタル
展開するガストの過去の購買履歴を分析すると、「若者はハンバーグ、シニア層は和食」とは言い切れず、シニア層もハンバーグを注文していることが浮かび上がった。人気メニューの「チーズＩＮハンバーグ」は他の商品より数割もリピート率が高く、幅広い層が支持する看板商品であることもはっきりした。 消費増税前の駆け込み消費の反動で、顧客の懐具合は厳しいに違いない。そこで増税後の４月、ガストはこの看板メニューを１００円引きの３９９円にする１１日間限定のキャンペーンを実施した。 効果はてきめんだった。１年以上足を運ばなかった「休眠顧客」が３割以上やってきた。「お客様を引っ張り出すことに成功しました」。社長の谷真は言う。 最大公約数的な商品を低価格にして顧客をひきつけ、次はステーキで客単価を上げる。４月下旬から約１カ月続けたステーキのキャンペーンでは、中年男性には鉄板に乗ったステーキ、中年女性には白い皿に盛ったピ
自治体のExcelファイルを“5つ星”オープンデータ化 jig.jpがプラットフォーム開発 鯖江市が採用
jig.jpは6月4日、自治体向けのオープンデータプラットフォーム（odp）の販売を開始した。自治体が持つExcelデータをWebサイトからアップロードするだけで、汎用性の高いRDF形式に変換して公開できる。まず福井県鯖江市が採用し、民間の開発者によるデータ活用に期待。今後、全国の自治体に導入を働きかける。 オープンデータとは、誰もが自由に再利用できるようデータを公開すること。欧米政府を中心に取り組みが進んでおり、例えば米国政府は、保有するさまざまなデータセットを提供するサイト「Data.gov」を運営している。国内自治体では鯖江市を皮切りに、千葉県流山市など30以上の自治体がさまざまなデータを公開。民間の開発者などがデータを活用し、サービスやアプリを開発している。 ただ、公開されたデータの形式がふぞろいだと、アプリなどで再利用しにくくなる。Webの考案者で、オープンデータを推進しているテ
「首つり自殺数」と「アメリカの科学・宇宙・テクノロジーに関する支出」など無関係のデータ同士で相関性をむりやり発見する「Spurious Correlations」 - GIGAZINE
ほんのわずかな初期の要因の変化が最終的に思いがけないほど差のある結果を招く現象を「バタフライ効果」と呼びますが、そんな現象は身近なところでも起こっているのかもしれないと思わせるような、一見すると関係のない2つのデータに相関性を見いだすプロジェクトが「Spurious Correlations」です。 Spurious Correlations http://www.tylervigen.com/ 1999年～2009年までの「アメリカの科学・宇宙・テクノロジーに関する支出」と「首つり自殺数」の上昇傾向が一致。 「水泳プールでの溺死数」と「ニコラス・ケイジの映画出演数」が、なぜか似たような傾向で上下しています。つまり、ニコラス・ケイジが映画に出演しなければプールでの事故が激減するのかもしれません。 「アメリカ人1人あたりのチーズ消費量」と「ベッドシーツに絡まって死亡する数」がほぼ一致。 「ア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm
私たちはお土産にどの八ッ橋を買えばよいのか（PDF）
http://data.huffingtonpost.com/2014/world-cup-japan/matches/ivory-coast-vs-japan-731772
http://hospital.datagraphica.jp/
オープンデータ:政府サイトが突然の休止 研究者ら批判 - 毎日新聞