はてなブックマーク

個人的に作っているETLツールの紹介をします。 分散処理可能なバルクデータローダ 最近、CSV等のテキストベースのファイルをBigQueryへデータロードする際にEmbulkを使っているのですが、短納期のデータ分析案件で、長時間掛かるデータロードが途中で失敗すると詰んでしまう場合があります。 Embulkのスループットを上げる方法がないか調べたところ、MapReduce Executorというプラグインがあるもののv0.9.18からサポートされなくなっています。 また、分散処理可能なバルクデータローダとしてApache Sqoopというのもありますが、Hadoop基盤を使ってRDBからHDFSやGoogle Cloud Storage等にデータロードができるものらしく今回の用途と合いません。 ちなみに、急ぎの時はApache Beamを使ってデータロード処理のコードを書いて、Google

概要 いまさらですが、はじめてLinuxのデスクトップアプリを作成したので、備忘の意味も含めてその手順を書きます。 使うツール GUIツールキットはGTK+を使います。Qtでも良かったのですが、環境整備やチュートリアルがシンプルで手っ取り早く始められそうな感じがしたのでGTK+を選びました。 また、言語はRustにしました。Cだと目新しさもないので、他の言語を使って書きたかったからです。 また、GTK+のバイディングのサポート状況を見て、GTK+3を完全にサポートしている言語のうちVMを使わない言語で 今後も使われていきそうなものを選びました。 (完全に直感です。C++は学習自体辛そうなので避けました。) 前提 この記事を読むにあたり、GTK+の知識は不要ですが、Rustの入門程度は済ませておいた方が良いです。 Rust自体の説明は殆どしないつもりです。1 作るアプリ 最初なのでシンプルな