タグ

2013年7月10日のブックマーク (2件)

  • ssh ポートフォワード機能の活用

    21.7. ssh ポートフォワード機能の活用ssh のポートフォワード機能を利用すると、ローカルホストの任意のポートに送信したデータを、リモートホストの特定ポートへ転送することができます。また、SSH で暗号化した通信経路の中に、他のセッションを潜り込ませることができるため、POP のように暗号化されていない通信を暗号化できるメリットもあります。メールの受信に SSH のポートフォワード機能を利用した例を図にすると、以下のようになります。 POP サーバー mail.example.com からメールを受信するには、メールクライアントの設定で POP サーバーのホスト名 mail.example.com と POP が使用するポート番号 110 を指定しているはずです。そこで、ローカルホストの任意のポートに接続すると、SSH で暗号化された経路を介して mail.example.com

  • HiveQL SerDeメモ(Hishidama's Apache Hive SerDe Memo)

    概要 HiveではSequenceFileでファイルを読み書きできるが、ファイル内の実データは1行が1つのTextとなる。 Textでなく自分で作ったWritableをデータにしたい場合に、HiveのSerDeを定義する。 SerDeはSerialize/Deserializeの略で、データを入出力できる形式に変換するクラスのこと。 SerDeを作るにはorg.apache.hadoop.hive.serde2.SerDeインターフェースを実装する。 そしてCREATE TABLEでSerDeクラスを指定する。 Writableクラス 一番最初に、データ保存に使うWritableクラスを作っておく。 今回は例としてWordCountのデータ(単語と単語数)を保持するWritableを用意してみた。 package sample.writable; import java.io.DataIn