Clouderaを退職しました - 科学と非科学の迷宮
2018年11月30日(金)は、Cloudera株式会社への最終出社日でした。2011年4月1日に入社したので、勤続日数は2800日でした。 Clouderaオフィス2011年 Cloudera Japan オフィス 2012年 日本にオフィスも同僚もいない状態からのスタートでしたが、今日、多くの同僚たちに見送られる形で会社を出ることができました。 退職するときは、最後の一人として会社を去るか、自分がいなくても会社が回るようになったときか、そのどちらかにしよう、と決めていました。皆が退職することを惜しんでくれましたが、私がいなくても会社は問題なく続いていくでしょう。私が理想とする結末にたどり着くことができて、本当に嬉しいです。 7年前、ごく一部の人しか知らなかったHadoopは、今や多くの人が知るソフトとなり、Hadoopに限らず、様々なデータ基盤を活用することが当たり前の時代となりました
楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた - 科学と非科学の迷宮
楽天テクノロジーカンファレンスに登壇するという貴重な機会をいただいたので、Apache Kuduについて発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催していただいた楽天様、ご聴講いただいた皆様、ありがとうございました。 社外での英語プレゼンだったのでなかなか準備が大変でした。 以下、補足やFAQです。 これ資料英語なんだけど日本語はないの？ この資料そのものの日本語スライドはありませんが、より詳しいスライドが日本語で公開されています。 Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 from Cloudera Japan #cwt2016 Apache Kudu 構成とテーブル設計 from Cloudera Japan 「新製品
ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 - 科学と非科学の迷宮
ドワンゴさんの主催でHue Meetupが開催されることになったので、いい機会だから Hue について、自分の復習がてらまとめておきます。 Hue って何？ Hadoopエコシステムを操作するためのWebインタフェースです。 Hadoopエコシステムの多くは、管理Web UIは持っていても、ユーザ用のWeb UIはありません。 ユーザがターミナルからコマンドを叩かなくてもHadoopエコシステムを操作できるようにするのが目的です。 主に、以下のようなことができます。 ファイルをアップロードしたり、編集したり、ダウンロードしたりできる SQLを書いて実行したり、SQLを共有できる DBのテーブルを管理できる ジョブ実行のワークフローを作って実行したり、スケジュール実行できる 検索エンジン用のダッシュボードを作成できる Hueは Apache License のオープンソースです。 詳しくは以
進捗ヤバいプロジェクトに直面した経験がある人なら（多分）楽しめるカードゲーム「Not My Fault!」 - 科学と非科学の迷宮
エンジニアがプロジェクトがオンスケであると嘘をつき続けるゲームは盛り上がった pic.twitter.com/aWkKIPtAAS— Yoshifumi Yamaguchi (@ymotongpoo) 2017年7月30日 @ryushi さんの主催で仲間内で集まってボードゲーム・カードゲームで盛り上がったのですが、その中で @tokoroten が持ってきた「Not My Fault!」というカードゲームが非常に衝撃的でした。 まず、背景設定がすごい。 残り30日で絶対に完成させなければいけないプロジェクトに、プレイヤー達はプロジェクトメンバーとして参加しています。 進捗は絶対に遅れてはいけません。 もし、プロジェクトの進捗が報告されていたよりも進んでいないとしたら？ それはもちろん、進捗を過大報告したヤツの責任です。 監査を入れて、そいつを追い詰めよう！ というのがゲームの設定です。
HoloLens所感: 33万円で買える未来 - 科学と非科学の迷宮
HoloLensを購入しました。$3000(当時の日本円で33万円)と、決して安くはない買い物でしたが、届いてから丸一日経った時点での感想としては、購入の判断は正しかったということでした。 左右の物体は、サイズ比較のために置いたパワーブロックです。 元々VRデバイスが欲しくて、HTC Viveを購入するか、あるいは手でものを掴めるデバイスTouchが魅力的なOculusを買うべきか、それともコンテンツのラインナップが一番豊富になりそうなPSVRを買うべきか悩んでいました。 しかし、どれもゲームコンテンツがメインで、私の現在の多忙さを考えるとゲームメインのデバイスだとそれほど長続きしないだろうなあと思い、一番実用的なデバイスは何かと模索していました。 そんな中、HoloLensの存在を知り、値段の高さに驚きつつも購入してみることにした、というのが購入の経緯でした。 高いといっても、PSVRは
2016年アドベントカレンダーのはてブ数の分析 - 科学と非科学の迷宮
sucroseさんのアドベントカレンダーのはてブ数ランキングを見て、自分もちょっとやってみようと思い、年末年始で作ってみました。 ただ同じことするのは芸がないので、 Tableau Publicを使ってインタラクティブに操作できるようにしました。 Tableau の Viz はこちらです。 スマートフォンには最適化していませんので、デスクトップPCまたはタブレットで閲覧してください。 埋め込んだままの状態だとウィンドウが小さく使いづらいので、右下の全画面表示をクリックするか、TableauのVizを直接閲覧してください。 概要 このVizはQiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的としています。 以下のダ
暴漢に襲われた - 科学と非科学の迷宮
こんにちは、マンションを一目見てから10分で購入したけどISPへの支払いが出来てなくて現在インターネットが止められているPyspa界の普通の人 shiumachi です。 この記事は pyspa Advent Calendar 2016 の19日目の記事です。昨日は @tokoroten のエントリ でした。 経緯 2016年2月12日、私は会社帰りに友人2人と武蔵小山の居酒屋で酒を飲んでいました。参加者は全員自宅が近いので、終電過ぎても飲んでいて、午前1時半くらいにようやくお開きとなりました。 私と友人Mは方向が同じだったので同じ方向に歩いて帰路についていました。歩道上を、左側がM、右側が私という並びで歩いていました。 私はスーツ姿にコートを着てビジネスリュックを背負っているという格好で、Mは私服でジャンパーを着ており、手ぶらで歩いていました。 すると、前方にふらふらと歩く男が一人現れま
新Google翻訳を使って3700ワードの技術文書を1時間で翻訳した - 科学と非科学の迷宮
新しいGoogle翻訳がニューラルネットワークに基づく機械翻訳に移行して品質が向上した、というので早速使ってみました。 翻訳対象はHadoopのFair Schedulerに関するドキュメントです。 Fair Schedulerは、Capacity Schedulerと並ぶHadoopの2つのスケジューラの一つですが、挙動が少し複雑で、理解するのに苦労します。ドキュメント自体も長く、英語に不慣れな人には読むのがなかなか大変な文書で、前々から訳したいとは思っていました。しかし、3700ワード(A4に文字ぎっしりで7ページ近く)の技術文書を訳すとなると、かなりの労力が必要になります。少なくとも一日仕事になるのは間違いありません。私も仕事が忙しく、なかなか翻訳の時間がとれなかったため、翻訳作業はタスクキューの底に埋もれてしまっていました。 そこで、今回新しい翻訳がどれほどのものか試すのも兼ねて、
セールスエンジニアという仕事 - 科学と非科学の迷宮
現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアのキャリアパスとしては面白い仕事の一つだと思います。マネージャーになるかどうか考える前に、是非一度読んでください。 この記事では、ClouderaのようなB2BのITソフトウェアベンダーのセールスエンジニアを想定して執筆しています。他の業界のセールスエンジニアについては確実に状況が異なりますのでご注意ください。 要約 セールスエンジニアとは、お客様が自分たちの製品を正しく活用できるよう情報を提供していき、営業が製品・サービスを販売するのを助ける仕事です。お客様への製品紹介と提案が主要業務ですが、その方法は様々です。お客様の要望を満たすようなサンプルプログラムを
リスクヘッジと給料と英語 - 科学と非科学の迷宮
この記事の要約 英語が話せるようになれば、日本の人材市場ではなくグローバルの人材市場で自分の価値を判断されるようになる ITエンジニアにとって日本語のみの仕事はグローバルに比べて給料・待遇ともに劣っていて、各種経済予測からこれが改善されることは絶望的 英語使ってグローバル企業で働くことは、「一攫千金や立身出世を狙う野心家のキャリアパス」ではなく、ITエンジニアにとって生き残るための必須能力となりつつある あけましておめでとうございます。今年もよろしくお願いします。 最近、私の会社で日本での本格的な採用活動を始めました。その関係で転職に興味ありそうな人と色々と話をしているのですが、全員が共通して「英語がきつそうで……」といった反応でした。いずれも技術者として優秀な方々ばかりで、その技術の修得に多大な努力を要していたはずです。自然言語というものは、母語であれば普通は特に専門教育を受けずとも使え
voluntas-bot の歴史を振り返る - 科学と非科学の迷宮
voluntas-bot とは？ voluntas-bot (以下bot) とは、 @moriyoshit が開発した pyspa チャットのための bot ツールである。普通のchatbot同様、コマンド入力に応じた動作を行うことができるのが、sayingコマンド(通称「語録」)という非常にユニークな操作ができるのが特徴である。本記事では、主にこのsayingコマンドの進化に絞った形でのbotの発展の歴史を振り返っていく。 sayingコマンド黎明期 初期の saying コマンドの運用は、まさに文字通り、参加者の語録を保存しランダムに表示するためのものとして用いられていた。 例えば、moriyoshi が「いくつになってもsvnを触るとドキドキするもんだよ」とチャットで発言し、これを私がとても面白いと思ったとする。そのとき、私は moriyoshi の発言をヲ語録として登録することがで
転職してから4年が経ちました - 科学と非科学の迷宮
といっても4月1日の話なのでもう一ヶ月以上も前になるのですが、色々と忙しくて後回しにしてました。 ブログで転職報告してから4年の間、どういう仕事をしてきたのか書いてないことに気づいたので、せっかくなのでちょっとまとめてみようと思います。 1年目(2011年) 「朝、ベッドから起きると、そこが職場になっていた」 この感覚は今でも忘れません。オフィスも同僚もいなかった私は、在宅勤務という形で Cloudera での仕事を始めました。1Kの小さいマンションに住んでいたため他の作業部屋がなく、自分のベッドの横の机がそのまま仕事場になりました。 サポートエンジニア(今は COE = カスタマー・オペレーション・エンジニアという名前になっている)として今の会社での仕事を始めたのですが、肩書き通りの仕事だけをしていればいいなんていうことは当然あるわけもなく、日本にいる唯一のエンジニアとして何でも仕事をこ
ニューヨークの #ingress ポータル紹介 - 科学と非科学の迷宮
先日ちょっと出張でニューヨーク行ってきたのでingressをプレイしてきました。 たくさんポータルキーを取得したのですが、帰国後は特に使い道もなかったので泣く泣く処分。 ただ捨てるのももったいないので、記録として残すことにします。 また、NYCでプレイした感想も記しておきます。 NYCでのプレイ感想 プレイしたエリアはセントラルパーク南部からブロードウェイあたりです。 忙しくてほとんど時間がなく、まともにプレイできたのは帰国直前の2時間程度でした。それでも UPV 200 / UPC 60 ぐらいは稼ぐことができました。 ポータルは両陣営ともボロボロで、まともにリンクすら張られていません。旅行前に X8 を集めておけば、簡単に落とすことができるでしょう。 相手陣営からの反撃もありません。「ならやりたい放題じゃん？」と思うかもしれませんが、そうは甘くはありません。リアルに危険なので、常に現実
Hadoop Conference Japan 2014 #hcj2014 でImpalaがPrestoより19倍速いという話をしてきた - 科学と非科学の迷宮
Evolution of Impala #hcj2014 from Cloudera Japan タイトルとスライドの通りです。 Hadoop Conference Japan を運営された皆様、本当にお疲れさまでした。 また、私のセッションに参加して話を聞いていただいた皆様、ありがとうございました。 朝のキーノートで「使用しているコンポーネント」で Impala がランクインしていて実は結構驚きました。まだまだ普及していないと思っていましたけど、意外と使われているようでうれしいです。 (後 Hue がランクインしているのにも驚いた) 今回は他のSQLエンジンのセッションの間に挟まれての講演だったので、これは気を抜けないなと思い、結構頑張ってスライドを作りました。 やっぱり調べてみると Impala はとても面白くて、機能の細かい部分などを見て新たな発見もたくさんすることができました。 I
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
The Economist で企業対政府についての特集 - 科学と非科学の迷宮
The Economist の2月20日号で、企業対政府についての特集がありました。 以下、ざっと要約してみました。自分なりの解釈も入ってるので、原文にない情報が含まれている可能性があります。 正しく引用したい場合は原文を参照してください。 企業と政府の関係は敵対的になりつつある。しかし、両サイドとも互いを必要としている。 米国政府はセオドア・ルーズベルトの時代から、強くなっていく企業を制限していくような流れを作っていった。 こうした敵対的な雰囲気は増加の一方をたどるが、しかしあまりに強い制約は経済の活性化を阻害するため、政府は企業を必要以上に圧迫できない。 一方で企業も政府を必要としている。政府は、法システムや基本的な安全保障だけではなく、企業の根幹をなす労働者を教育したり、交通などの社会インフラを整えたりしてくれる。 それだけでなく、インターネットや人工衛星など、企業が商用製品を作るの
2013年面白かった本 - 科学と非科学の迷宮
今年面白かった本をあげてみました。 専門書は省いています。 あとここに紹介してない本でも面白い本はたくさんあったのですが、さすがに全部は書ききれないので一部にとどめます。 果て無き渇望 本当にいい本でした。私が果て無き渇望アドベントカレンダーに参加したことからも、どれだけこの本に感銘を受けたか分かるでしょう。(アドベントカレンダーの記事) 文庫 果てなき渇望 (草思社文庫) 作者: 増田晶文出版社/メーカー: 草思社発売日: 2012/06/02メディア: 文庫購入: 1人 クリック: 2回この商品を含むブログ (1件) を見る カラシニコフ 先日亡くなったばかりのカラシニコフですが、製作者ではなくAK-47カラシニコフ銃によって引き起こされている様々な問題(アフリカの少年兵など)を書いたノンフィクション。 カラシニコフがなぜ広まったのか、広まったことでどういう問題が起きているのかなどが書
声に出して読みたい「果て無き渇望」名文10選 - 科学と非科学の迷宮
果て無き渇望アドベントカレンダー、15日目担当の shiumachi です。 本書の概要についてはymotongpooの素晴らしい記事があるのでそちらに譲ります。 ここでは、私が個人的に気に入っているフレーズをピックアップして紹介します。 トレーニング前に読むと元気が出る、そんな名文を拾ってきました。 「だれだって、トレーニングさえすればこんな身体になれます」 (果て無き渇望 p.11) 「いいですか、僕の言いつけを守ってください。ひとつは本気になってやること。ふたつは継続すること。三つ目は合理的に正しいトレーニングをすること。これさえ守れば、たとえ週二回でも必ず筋肉はつきます。あなたもいつかはこうなります」 (果て無き渇望 p.13) 運動生理学には「ルーの三原則」と呼ばれるものがある。筋肉は使うと発達する、使わないと衰える、使い過ぎても衰えるというものだ。 (果て無き渇望 p.346)
HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」 - 科学と非科学の迷宮
Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) というデータ構造を使っています。 LSM-tree を簡単に説明すると、入力されたデータをログとメモリ上のデータストア(Memstore、メモリストア) に書き込みます。 メモリストアがいっぱいになると、まとめてディスクにフラッシュし、新しいストアファイルを生成します。 このストアファイルがたまってきたときに、少しづつ一まとめにしてなるべくファイル数を少なくするようにします。これがコンパクションです。 コンパクションを実行することにより、ファイルは一つにまとまります。こ
HBase論争に釣られてみる - 科学と非科学の迷宮
HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
