Hive UDFを自分で追加するときの注意点メモ - たごもりすメモ
メモ。CDH3u2 (hive-0.7.1-cdh3u2) での話。 (1/23 HiveServerについていくつか追記した) Hiveで自分でつくった関数(User Defined Function: UDF)を使いたい！ と思い艱難辛苦を乗り越えJavaのコードを書きjarにまとめたとする。書くまでの話はWikiの該当ページなどを熟読するのがよろしい。 で、じゃあどうやってHive起動時に読み込めばいいの、という話。 add jarコマンド hiveコマンドを起動するマシンの適当なディレクトリにjarファイルを置き、そのディレクトリをカレントディレクトリとしてhiveを起動して以下のコマンドを実行する。 hive> add jar udfclass.jar; hive> create temporary function myfunc as 'my.package.udf.Class
楽しいトンネルの掘り方(オプション: -L, -R, -f, -N -g)
はじめに こんにちはこんにちは！ KMC の魔法少女nona7(nonamea774) です. 最近はクッキーを増やして過ごしています. この記事はKMCアドベントカレンダー2013の9日目の記事です. 昨日の記事はpossumさんの指紋の話でした. さらにこの記事は, KMCアドベントカレンダー2013のサブカレンダーであるSSHアドベントカレンダー2013の2日目の記事でもあります. 日頃SSHに親しんでいる部員による、SSHの基礎知識、ツール、Tips等を紹介して参りますので、初心者の方から上級者の方までご笑覧いただければ幸いです. KMCアドベントカレンダー9日目, SSHアドベントカレンダー2日目の今回は, 楽しいトンネルの掘り方についてのお話をします. トンネル掘ってあっちこっち(Lオプション) 例えば のような, インターネット側からはSSH サーバしか見えなく, SSH サ
特定のネットワーク内からしか見れないウェブページを外から見る方法
B! 111 0 0 0 サイトへのアクセスが特定のネットワーク内だけに限られていたり、 また、ローカルのマシンの設定などを見たいためにプライベートIPに 接続して見たりしたいときに そのネットワーク内の端末を踏み台にしてウェブページを見る方法のまとめ。 ポートフォワード ターミナルから行う PuTTY プロキシ設定 Mac全体での設定 Windows全体での設定 Google ChromeやIE,Safariその他メールソフトなどでの設定 Firefoxでの設定 自動プロキシ構成スクリプトを使って自動でプロキシを変更する ポートフォワード 特定のネットワーク内からしか見れないウェブページを見るためには、 そのネットワーク内にある端末のポートを使って プロキシサーバーに使ってアクセスします。 そのためにまずはダイナミックポートフォワードを行う必要があります。 ターミナルから行う $ ssh
ssh経由のSOCKSプロキシを通じてMac上のGoogle Chromeでブラウジング
自分用メモ。 SOCKSとは 汎用UNIX socketプロキシみたいなヤツ。WikipediaのSOCKS記事を参照。つか今までぜんぜん存在知らなかった。ヤバい。 OpenSSHのクライアントは、SOCKSによるダイナミックポートフォワーディングをサポートしている。あたかもssh先のサーバからsocket通信しているかのようにできる。 特定のIPアドレスからしか閲覧できないWebサイトをWebブラウザから閲覧したい場合がある。squidみたいなHTTP proxyを立てたり、VPNのソフトウェアを入れなくても、sshを通じたSOCKSだけで、そういったWebサイトを閲覧することができる。 OpenSSHでの接続方法 -DでSOCKSとしてListenするポート番号を指定できる。1080が慣習のようですがなんでもよい。-fでbackground実行、-Nでremote commandを実行
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
