ビッグデータ取り扱いまでの流れ3 自動化編 - nigoblog

今回はhiveの動作を自動化させる方法に書いていきます。 前回の記事 ビッグデータ取り扱いまでの流れ2 解析編 - nigoblog ではsshでEMRのmasterインスタンスにログインし、hiveの動作を行います。 基本的にはこの作業をrailsで自動化させます。(もっとうまいやり方があると思うが…) というわけで早速やり方を見ていきます。 net/sshの利用 net/sshというgemを利用します。 Net::SSH、Net::SCP RubyでSSH/SCPコマンドを実行 [Ruby] - 酒と泪とRubyとRailsと 詳しい使い方はこちらの記事に。 このように利用します require 'net/ssh' Net::SSH.start(HOST, USER, opt) do |ssh| ssh.exec!("[何かしらのコマンド]") do |channel, stream,