Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
「生活保護」過去10年の増減 全国970市区を「見える化」したら… 自治体の「水際作戦」を疑う研究者ら：東京新聞 TOKYO Web
人口1000人当たりの生活保護利用者の割合を示す「保護率」の過去10年間の変化を、研究者らによる「生活保護情報グループ」が自治体ごとに日本地図上で「見える化」し、インターネットで公開した。保護率の増減がひと目で分かり、グループは「周辺自治体に比べて急減している場合などは、申請をさせない水際作戦など福祉事務所の組織的な要因も疑われる」とみている。（中村真暁） 公開された地図では、2012年度から21年度への保護率の増減率が分かる。赤くなるほど急激な減少を、緑が濃くなるほど増加を示している。データは都道府県の全市と政令市の全区、東京23区が国に報告した計970市区の監査資料を情報公開請求し集めた。
庁内に灯った“Tableauコミュニティ”の炎。神戸市が「内製で動ける」データ利活用集団になるまで【フォーカス】 レバテックラボ（レバテックLAB）
神戸市は、行政データの利活用にいち早く取り組んできました。2022年6月には、行政データで作成したダッシュボードにアクセスできるポータルサイト「神戸データラウンジ」を庁内の職員向けに開発。庁内メンバーが閲覧できる90種類以上に及ぶ全てのダッシュボードは、職員自ら、BIツール「Tableau」で作成しています。翌年には、国勢調査のオープンデータをダッシュボード化して、一般ユーザーが閲覧可能なデータポータルサイト「神戸データラボ」で公開し、話題となりました。 自治体というレガシーなイメージのある世界のなかで、どうやってTableauを使いこなす職人集団が生まれていったのか？その根底には、技術コミュニティの理念が大きく影響していたようです。 現在最前線で活躍する職員、そして最初にTableauを庁内に導入し、たったひとりで3年間「種まき」をし続けたキーパーソン本人に、それぞれ取材しました。 ke
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parquetフォーマット概観 - 発明のための再発明