インメモリビッグデータシステムをつなぐ「Apache Arrow」

この数年、インメモリでデータを処理するシステムが大きな流行となっている。顧客や業界ウォッチャーたちは、「SAP HANA」や「Apache Spark」などをはじめとする、遅いディスクアクセスやファイルシステムのシーケンシャル読み込みを回避し、メモリ内でデータを直接操作できるシステムに魅力を感じている。インメモリのシステムが常に最善の選択肢かどうかはともかく、人気があることは確かだ。 実際、最新のBIシステムは、ほとんどの場合カラム型の方式でもデータをストアする独自のインメモリエンジンを使っている。同一カラムに保存されているデータの値は同じであったり、似ていることが多いため、このやり方を用いることでデータの圧縮率も高まる。これは、より多くのデータをメモリに保存できることにもつながる。 アプローチは共通でも、実装はまちまち 多くのビッグデータ関連プロジェクトでは、カラム型のインメモリアプロー

[iR3]

ふむふむ

[msykt]

こういうの実現できると助かるなぁ

[kimutansk]

Apache Arrow、具体的にどう導入して、どのくらい効果があるのか・・・　トップレベルになったのは各プロジェクトのメンバが共同して取り組むからですか。