「パナマ文書」解析の技術的側面

世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca

[raitu]

「最後は人海戦術」に持ってくまでの前準備に使われた技術

[kaerudayo]

おもしろいなぁ。膨大なデータをデータ解析する調査報道について。ほとんどが無料で公開されているツールを使ってできるってのも、画期的だわ。

[carrion-crow]

パナマ文書のOCR結果や解析結果も、Git-hubとかにアップロードされてオープン解析版と（報道機関とかの）プロプライエタリ解析版とか出るのかしら……とかぼんやり。粗探しはみんなでやると捗りそう。

[mkusunok]

既存のフォレンジック・ツールだとメールや登場人物の相関分析まではできるけど、そろそろ過去に漏洩した公共データセットと突合できるクラウドサービスとかできないかな？ / “「パナマ文書」解析の技術的側面 — Medi

[tick2tack]

問題を解決するのに適切な技術を利用するということの事例 / グラフデータベースってこういう事例でつかわれてるのね

[tanayuki00]

テラバイトレベルですら人力による解析は物理的に困難。ペタバイト、エクサバイトの世界は機械に頼るしかない。

[fukken]

こういう分析手法って、必然的に取りこぼしが発生するので、日本だとそれを認めない人がいそう。んで結局何十億円とかかけて全部「頑張って」どうにかするの。

[toratsugumi]

そういう手順だろうなって思ってた点が裏付けられた上、手段の解説が分かりやすくしてあった。大変参考になった。メールに「越後屋、おぬしも悪よのぅ」とか書いてあると考えてる向きが多すぎて話が成立しない。

[pons_superus]

面白い！10年前に同じデータが得られたとしても現代のレベルで解析はできなかったんだろうなあ。逆に未来の人工知能はこのデータをどう解析してくれるんだろう。

[keloinwell]

ここら辺、きちんと学ぶべきところだと思ってる。

[Imamura]

やっと読んだ。すごく長いけどすごく面白い。テラバイトクラスの膨大なデータを解析向けに整理する話

[Totty-Totty]

「パナマ文書」解析の技術的側面 — Medium 「パナマ文書」解析の技術的側面世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデー

[ebmgsd1235]

丁寧な解説記事ありがとうございます。「今は技術と知識を身につければ昔では考えられなかったレベルの作業が、オープンソースソフトウェアやクラウドサービスを利用して～これをテクノロジーの民主化と呼ぶ人も～」

[ryozo18]

memo

[shinichiroinaba]

112件のコメント https://t.co/IbiIgi4RS6 “「パナマ文書」解析の技術的側面 — Medium”

[kno]

面白そう

[kaoritena]

うわあ、これはちょっとした小説並の面白さ。／「パナマ文書」解析の技術的側面 — Medium

[blueribbon]

「機械的にこのようなデータを作り出す仕組みを整えれば、凄まじい量のデータであってもキーワードで検索したり関係性を機械に描かせて人間が理解しやすい形にできる」

[aug345ja]

最近よく聞くこの言葉。なにこれ。

[ryo88c]

グラフ化技術を用いて2.1TBのデータから事実を読み取る方法を述べた記事。データを形成する要素を定義してそれらの関連性を可視化するという話で、関連性を計算するプラットフォーム自体はオープンソースに既にあるわ

[zeeko3]

そんなにきちんと理解できたわけではないが非常に勉強になった

[ogijun]

これすごい面白い

[yofukami]

続々TLに表示されるので私からも。グラフ構造解析ができるというのは、世界銀行がLODによるオープンデータを推進してきた大きな理由でもあるわけですね。解析可能なデータモデル・構造であることの重要性、ね。「パナ

[hiroponz]

neo4jが使われていたのか

[wakabaroom]

読んでいないけど、一応資料として。

[ardarim]

日本のなんちゃってジャーナリストには望むべくもないな…（だから日本では大して報道されないんだね、きっと）

[rjj]

どこの部分から人力解析になるのかと思っていたが、グラフを視覚化してそこから先が人力なのか。それでも大変そう。

[geddy]

あとで読む

[pentom]

そうそう、こういう記事を待っていた！

[hobohate]

面白い話なのに。

[gingger4]

“Jupyter Notebookなどを利用したオープンで再現性のある解析を行いノートとデータできれば環境をDockerfileにまとめてそのまま公開…そうなれば解析の環境から手法、データまで含めたある意味究極の情報公開になります。”

[mashori]

なるほど興味深い。もうこのような手法取らないとデカいデータは掘れないんだろうな… スマホだと画像がしっかり表示できなかったけどPCだと見れてようやく分かった

[digitalglm]

「パナマ文書」解析の技術的側面 — Medium: 世界中で話題になっている パナマ文書…

[gnt]

おもしれえ。研究で温められ、SNSで花開いたグラフ技術が、実を結んだ感じ。

[hamasyou_bot]

メモ: “「パナマ文書」解析の技術的側面” by @c_z

[fashi]

Cytoscape

[M1A2]

グラフとは

[dekasasaki]

日本語だと分かち書きのオーバーヘッドが辛そう。

[mswar]

興味ぶかし。。。 #あとでちゃんと読む / “「パナマ文書」解析の技術的側面 — Medium”