はてなブックマーク

データが手元にあっても，加工や分析はいつも同じ。何か変化を加えたいと思っているけれど，忙しくていつも後回し。分析結果にもうひと工夫を加えたい。そもそも活用するイメージが想像できない――。こんなふうに考える人は多いのではないでしょうか。… はじめにこの度、データ分析や可視化の各分野の専門家が集まって、技術評論社から本を出版します。私も、一章参加させていただきました。ここでは、この本がどのような方を対象とし、どのようなことを目指しているのかを紹介したいと思います。 想定読者本書では、以下のような方々を想定読者としています。 Excelは使えるが、それだけでは上手く可視化できないデータがある人最近の可視化ツールにはどのようなものがあるのかを知りたい人プログラミングは未経験、もしくは得意ではないが、計算表ソフトの機能を超えた可視化を模索している人しかしながら、本書の内容を試すのに、計算表ソフトが使

This database contains information on almost 320,000 offshore entities that are part of the Panama Papers and the… このデータは、2013年公開のオフショア・リークスのデータベースと2015年までのパナマ文書のデータを統合したものである「このリストに載っている＝犯罪や脱税に加担している」ではない逆に、ここに直接名前が載っていなくてもマネーロンダリングなどに関わっている人々は居る。それらの証拠はリークしたデータのほとんどを占める文書の形で保存されている。そしてその文書やメールなどのデータは一切公開されていないスキャンした文書やメールの中にデータが存在しても、他へのリンクが発見されなかったノード（人や会社）はあらかじめフィルタリングしてある。従っていわゆる「孤児ノード」はグラフ中に

現在の高度に専門化・複雑化した社会に於いて、社会的に大きなインパクトを持つニュースに対し、それを技術的側面から分析して報じるのは大変重要だと思います。しかしこの記事を読み進むうちに、どうしても気になる点や疑問点、そして明らかな間違いがありました。本稿ではそれらについて検証してみます。 上記の記事は、パナマ文書の話を肴に、Nuix社のプロ向けフォレンジクス・ツールを紹介するというものなのですが、これを技術者ではない方が読むとかなり高確率で誤解される危険性を感じました。それがこの記事執筆の動機です。 検証ここからは、記事の内容の各ポイントについて、公開情報などから事実関係や定義を整理してみます。 タイトルについて「パナマ文書をリークした不正調査ツール」とありますが、元データのリークの経緯については未だ謎に包まれています。会計事務所のサイトがクラックされたとも言われますし、内部からの流出とも言わ

公開されているデータの可視化例。156e6d8a.jsonファイルからCytoscape 3.4(nightly build) によって作成 はじめに先日、技術的な面から見たパナマ文書に関する解説記事を投稿しました。今でも流出した大元のデータは公開されていません。ICIJのサイトにごく一部が公開されていますが、それも基本的にはサイトでブラウザから閲覧するために公開されているものです。 しかしある方が、今サイトにあるデータをもとに、計算機で扱いやすい形に加工して公開しています。

— データ分析による報道の技術とその再現性 — 概要英ガーディアン社は、ウェブ版の記事に寄せられた大量のコメントを計算機により解析し、コメントによるハラスメントの傾向を分析した。同社はそれに用いた技術的側面も公開したため、その詳細について検討した。このようなデータ分析は報道の現場でも今後重要度を増し、プロセスの透明性や解析の再現性といった、科学論文執筆関わる諸問題に類似した課題に直面すると予想される。それらの解決に利用可能な技術についても検討した。 はじめにCMSの普及以後、個人ブログに限らず、コメント欄を開放している大手メディアのウェブサイトもよく見かけます。大手の場合、管理者があまりにひどい罵詈雑言などは各社の規定に基づきブロックしますが、そうでないものは基本的には掲載されます。大手になればなるほどサイトを訪れる人も増え、このモデレーションの作業が大変になるため、労力に対して吊り合わな

世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca