会誌「デジタルプラクティスコーナー」
RubyはWebシステムの記述言語として高い生産性を発揮し，Web業界では広く浸透している．一方，分析的データ処理への対応が弱いため，データ処理分野ではほとんど利用されていない．昨今のDX推進などの流れから，Rubyで書かれた既存システムのデータ処理への対応が近い将来必要となるだろう．そのような要求に対応するためには，前もってRubyを分析的データ処理に対応させる必要がある．本稿では，Rubyを分析的データ処理に対応させる手段としてApache Arrowが有効であることを示す．Apache Arrowは，既存のデータ処理コンポーネント間のデータ連携の非効率性を解消するために提案された，データフォーマットとAPIである．RubyをApache Arrowに対応させることで，分析的データ処理に対応できるだけでなく，データ処理分野における先進的な取り組みにRubyからアクセスできるようになる．
Red Arrow 覚え書き - Qiita
はじめに Rubyでデータフレームの操作をしようとすると、Daru::DataFrameがあります。しかしDaruはバックエンドにRubyの配列を使っているため、実行速度はあまり速くありません。このページでは、Daruの代替としてApacheArrowのRubyバインディングであるRed ArrowのTableつかい方を簡単にまとめておきます。 基礎知識 実装 C++実装 → C実装(GLib) → (GObject Introspection) → Ruby実装 RubyのメソッドはGObject Introspectionで自動生成されている。 Arrow Arrow メモリ上にデータを配置するフォーマット。効率的に処理できるようにする。ただし、Arrow IPC形式のファイルというものも存在し、プロセス間通信に使用する。Feather形式はArrow IPC形式の旧称。 Parque
red-arrow: Arrow::Tableのデータを組み立てる - memo486
とりあえず最低限の流れが知りたかったので、int32 だけの簡単なデータでやってみました。 require "arrow" # -------------------------------- # 列1 のデータを用意 builder = Arrow::Int32ArrayBuilder.new builder.append(1) builder.append(2) array1 = builder.finish p array1 # #<Arrow::Int32Array:0x557fac799a88 ptr=0x557fac442e80 [ # 1, # 2 # ]> # -------------------------------- # 列2 のデータを用意 # Arrow::XxxArray.new を使うと簡単 array2 = Arrow::Int32Array.new([1
db tech showcase ONLINE 2020 - Apache Arrowフォーマットはなぜ速いのか #dbts2020 - 2020-12-07 - ククログ
db tech showcase ONLINE 2020の12月8日（明日！） 15:30-16:10のセッションで「Apache Arrowフォーマットはなぜ速いのか」という話をする須藤です。まだ登録できるのでApache Arrowフォーマットに興味がある人はぜひこのセッションに参加してください！セッション中はチャットで私と質疑応答できます！ 関連リンク： 動画（YouTube） スライド（Rabbit Slide Show） スライド（SlideShare） リポジトリー 内容 db tech showcaseで話すのは2年ぶりです。前はGroonga関連の話をしていましたが、今回はApache Arrowの話をします。 最近はSciPy Japan 2020でApache Arrowを知らない人向けにApache Arrowを紹介しました。これまでもApache Arrowを知らな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
