転職してから4年が経ちました - 科学と非科学の迷宮
といっても4月1日の話なのでもう一ヶ月以上も前になるのですが、色々と忙しくて後回しにしてました。 ブログで転職報告してから4年の間、どういう仕事をしてきたのか書いてないことに気づいたので、せっかくなのでちょっとまとめてみようと思います。 1年目(2011年) 「朝、ベッドから起きると、そこが職場になっていた」 この感覚は今でも忘れません。オフィスも同僚もいなかった私は、在宅勤務という形で Cloudera での仕事を始めました。1Kの小さいマンションに住んでいたため他の作業部屋がなく、自分のベッドの横の机がそのまま仕事場になりました。 サポートエンジニア(今は COE = カスタマー・オペレーション・エンジニアという名前になっている)として今の会社での仕事を始めたのですが、肩書き通りの仕事だけをしていればいいなんていうことは当然あるわけもなく、日本にいる唯一のエンジニアとして何でも仕事をこ
Hadoop Conference Japan 2014 #hcj2014 でImpalaがPrestoより19倍速いという話をしてきた - 科学と非科学の迷宮
Evolution of Impala #hcj2014 from Cloudera Japan タイトルとスライドの通りです。 Hadoop Conference Japan を運営された皆様、本当にお疲れさまでした。 また、私のセッションに参加して話を聞いていただいた皆様、ありがとうございました。 朝のキーノートで「使用しているコンポーネント」で Impala がランクインしていて実は結構驚きました。まだまだ普及していないと思っていましたけど、意外と使われているようでうれしいです。 (後 Hue がランクインしているのにも驚いた) 今回は他のSQLエンジンのセッションの間に挟まれての講演だったので、これは気を抜けないなと思い、結構頑張ってスライドを作りました。 やっぱり調べてみると Impala はとても面白くて、機能の細かい部分などを見て新たな発見もたくさんすることができました。 I
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
zsh による Fabric コマンドのタブ補完 - 科学と非科学の迷宮
Fabricは便利ですが、コマンドが多くなると管理が大変になり、いちいちコピペするのが面倒になります。 zsh を使えば、Fabric のタブ補完をすることが可能です。 ここでは、oh-my-zsh を使ったタブ補完の設定方法を紹介します。 oh-my-zsh のインストール id:mollifier さんがインストール方法についてまとめてくれていますので、こちらを参考にしてインストールしてみてください。 http://mollifier.hatenablog.com/entry/20101009/p1 Fabric 用タブ補完プラグインの導入 残念ながら、Fabric 用タブ補完プラグインは oh-my-zsh のアップストリームにマージされていません。 santiycr 氏が補完プラグインを書いていますのでそれを使ってください。 ~/.oh-my-zsh/plugins/fabric
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
