巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD) - Qiita
大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という神ツールの存在を知って膝から崩れ落ちたので共有します。 NYSOL(MCMD)とは 以降の記述ではNYSOL(MCMD)をMCMDと表記します csvデータの編集、抽出、統計量の算出などを行うコマンド群(70種類ぐらいある)です。 標準入力を受け取って標準出力に結果を表示するので、簡単にパイプで処理を繋げることができます。 さらにC++で書かれているため、とにかく早い(らしい)です。 インストール 公式
herokuでdockerコンテナを動かす(2015年10月版) - Qiita
以前heroku上でhubotのdockerコンテナを動かす記事を書いたのだが、2015年8月にアップデートがあり、docker-composeに対応した。 これに伴い、heroku toolbeltのdocker pluginからはdocker:startが無くなり、普通にdocker-compose upするだけでローカルで動作させることが可能になった。(前述の記事は意味の無い文章の羅列と化した。) なお、内容は公式のGetting Startedをやるだけだが、途中自分がよく分からなかった所は詳しく書こうと思う。 今回はnodejsでやるけど、Railsとかでも多分だいたい一緒。 準備 あらかじめ、以下のものをインストールしておく必要がある。 docker docker-compose Heroku Toolbelt gitとかはもう書かなくてもいいよね。 あと、Node.js/Me
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
