データは自動処理可能な形で提供してほしい | Okumura's Blog

今回の大震災に伴う原発事故であちこちで放射線の強度が公開されているが，多くはPDF形式で，数値が取り出しにくく，ひどいものは印刷してからスキャンした画像PDFである。いくつか重要なものはExcel/CSV化してとりあえず http://oku.edu.mie-u.ac.jp/~okumura/stat/data/ で公開しているが，もともと機械可読（自動処理可能）な形で提供してほしい。しかも，時間をかけてワープロできれいに罫線を引いて手打ちするのではなく，測定値を実時間で提供する仕組みを作ってほしい。なお，このようなデータ提供のセンスも情報リテラシー教育の一つとして学校で教えてほしい。 一番重要なデータは東京電力が提供する福島第一・第二原子力発電所のモニタリングの結果である。以前はプレスリリースからたどるのがわかりやすかったのでこのページをチェックしていたが，「3月18日福島第二原子力発電

[TakamoriTarou]

同感。この発想が理解不能とかデータ加工の手間が取れぬなら最悪Excelでもいいので。それから今回はもちろん、これに限らずその保護しているPDFの保護はほんとうに必要なのですか、ということも色々と思うことは多い。

[gfx]

"このようなデータ提供のセンスも情報リテラシー教育の一つとして学校で教えてほしい" / 同感です。

[shozzy]

同感。／これは多くの企業システムにも言える。画面で見えるデータを不足なくCSV等でも提供してほしい。1件1件手作業で検索しないとデータ取り出せませんとかいうシステムが多すぎる。

[yoshikogahaku]

同意だけど、汚いデータから超絶正規表現で抜き出す厨が泣くので、不要不急のものはちょっと汚くてもいいよ。

[chroQ]

全く持ってその通り。json/jsonpとまでは言わないからせめてxml、最低でもcsvぐらいは頑張って欲しいわ。

[kenken610]

偉い人ほどわかってない、というか、わかってない人ほど偉くなる

[deadcatbounce]

東電の最初の記者会見要旨が紙のリリースをスキャンしてPDF化していて、今時こんなことやる会社じゃ・・・と思った。

[taqpan]

公開文書は全て偉い人に承認を得なければならず、偉い人は紙じゃないと受け付けない or 押印が必要。組織内で作成するPDFは無条件にセキュリティ保護が必要というルール。たぶんこういった些細なルール群が原因と想像

[SiroKuro]

ストリートビューカーにガイガーカウンター載せて走れば良いような気がしてきた

[K-Ono]

やーでも「改変して拡散」に対抗するにはセキュアPDFしかないのよねー。

[agrisearch]

2011/3/20 三重大・奥村晴彦教授

[onkimo]

東電が、です。単なる意地悪ですよね。とはいえ、気象庁のもこのレベルでしたが。

[yk183]

同意。

[ardarim]

こういう発想はお役人とかにはないんだろうな→『線量率計がTwitterで位置情報付きで「20μSv/hなう」などとつぶやくようにすれば，モニタリングカーに積んで走るだけでデータがだれでも実時間収集できる』

[nakamurataisuke]

”ついに東京電力福島第一・第二原子力発電所モニタリングによる計測状況で公開されている最新PDFファイルがデータ抽出禁止になったようだ”

[takeshou]

「データ→加工して表→プリントアウト→スキャン→PDF→公開」が不思議だと思える人が増えることを願いつつブックマーク。

[mkusunok]

だよね。東電も使用電力量のデータはCSVで出しているのですが

[endo_5501]

「ワープロに手打ちしているようで，小数点がコンマになっているところや午前と午後が間違っているところがいくつかあり」酷い/こういう、無意味なpdfの暗号化や難読化は、特に公共機関はやめてほしい

[Cujo]

とあるえらい人曰く『無能で説明できる事柄に悪意を読み取るべからず』だそうですよ。

[t-murachi]

「[2011-03-21追記] ついに東京電力福島第一・第二原子力発電所モニタリングによる計測状況で公開されている最新PDFファイルがデータ抽出禁止になったようだ」<こういう駄目方向な心遣いの一つ一つに絶望は蓄積されて…

[zyugem]

全くその通りで。

[sakuragaoka]

公共性、公益性の高い情報なのでこれはぜひともそうしてほしいね。

[ikeike443]

これは禿同だ。XMLやJSONじゃなくっていいから、せめてCSVで提供して欲しい。。

[katzchang]

「ついに東京電力福島第一・第二原子力発電所モニタリングによる計測状況で公開されている最新PDFファイルがデータ抽出禁止になったようだ」これはひどいな。

[nilab]

「Adobe Readerで開くとファイル名の横に「（保護）」と出る。コピペすると "*"#( といった記号の列になる。幸い，単純な換字暗号であり，次のUNIXコマンドで復号することができた。tr "*\"!#$%&'()\037" ".0123456789"」Okumura's Blog

[masu_mi]

敢えて(？)手作業を必要とする提供って何でしょう？とは思う

[WYSIWYG]

テキスト至上主義者としては激しく同意。なんでもテキストで抜き出したい。

[inurota]

「このようなデータ提供のセンスも情報リテラシー教育の一つとして学校で教えてほしい」この際入社後教育でも構わないのでぜひお願いします。

[yutaro1981]

そうしたいし、そうすべきだというのはやまやまなんだが、役所の決裁の過程の中ではデータの正規化より書類としての可読性が問われるのが現実。

[chezou]

いや、受け入れ情報も本当に同じです。

[takuno]

しかも，時間をかけてワープロできれいに罫線を引いて手打ちするのではなく，測定値を実時間で提供する仕組みを作ってほしい。なお，このようなデータ提供のセンスも情報リテラシー教育の一つとして学校で教えてほし

[takisok]

尤もな意見。ぜひそうして欲しい。提供側でも優秀な人は理解しているだろう / だがお役所にとっては、自分達の仕事を減らした上で民間のデータ処理を可能にする、なんて全く嬉しくないから、実現しそうな気がしない。

[kmagami]

ついに東京電力福島第一・第二原子力発電所モニタリングによる計測状況で公開されている最新PDFファイルがデータ抽出禁止になったようだ

[usadamasa]

自動処理されることが想定できるデータはpdfなどと併せて加工可能な形式(excel,text,...)で提供して欲しいという話。それもまたリテラシー。

[ideo]

情報リテラシーは高くありたいものです。

[hiragisan]

全くもってその通りです。追記なんか見ると情報公開する気がないのが良くわかる

[torikai3]

無駄に改ざんとか気にするからなー。どうせ世の中に流れるころにはコピペされまくったデータになるのに。

[m_yanagisawa]

「これもきれいに罫線を引いて作表されているが，そんなことはどうだってよく，できるだけ早く公表され，簡単にグラフを描いたり解析したりできる形であることが重要なはずだ」

[myogab]

嫌がらせに一票。改竄防止ならば、両方並行して出せばいい。

[rdfrk]

あー、これは本当だなぁ。API叩いたらJSONで返せ、とまでは言わないけど。 Reading: データは自動処理可能な形で提供してほしい | Okumura's Blog