はてなブックマーク

この日（2016-11-08）は以下のリンクのイベント（ Cloudera World Tokyo 2016 ）に参加してきましたので、そのことについて書こうと思います。 www.clouderaworldtokyo.com Cloudera World Tokyo 2016 の総括（というより個人的感想）。 まずは感想から。 そんなに技術技術ガッツンガッツンなセッションに当たらなかった（おそらくそういうセッションもあったのだとは思いますが）ので、本当に個人の感想的なものです。 まずは、月並みではございますが、 Hadoop生誕10周年おめでとうございます！ついにこのプロダクトも一区切りまできましたね。 今回の Cloudera World Tokyo 2016 はまさにHadoop生誕10周年を祝う場でとして大成功なイベントだったのではないでしょうか。黎明期の Hadoop から一貫して

イベントの締めに行われた日米肉体派エンジニア夢の腕相撲対決！結果は新沼氏の勝利！！この歴史的対決は長い歴史に名を刻む一戦となったことだろう！ 今日は下記のイベントに参加するのをメインの目的に（え゛？）Cloudera World Tokyo 2016 に行ってきた*1。 www.cloudera.co.jp イベントの詳細は当該リンクを参照されたいが、そのイベントにてウェブ魚拓の開発者であり日本の握力王こと新沼大樹氏とHadoopの生みの親である Doug Cutting 氏の日米肉体派エンジニア対談が行われたので、こんなきっちょーな機会はないと思ったため、可能な限りでメモを取ってみた（iPhoneでEvernoteにとったので全部はとりきれていないのでそこはご容赦ねがいたい）。 というわけでその知見をシェアさせていただきたいと思う。 ちなみに先に個人的俺得で言うと新沼大樹氏の「（データ活

Hadoop 関連のイベントの中でも頂上（テッペン）を冠するイベント Hadoop Summit が東京にやってくるというので、 2016-10-26, 27 と参加してきた。 今回で4年目という同イベント、受付の仕方もろくすっぽアナウンスがされてなくて、始まる前からかなりグダグダ感がハンパなかったのだが、それはさておき折角行ってきたので、個人的総括のようなものと勉強になったセッションのみのメモを残しておこうと思う。 Hadoop Summit Tokyo 2016 個人的総括。 個人的な総括から。 今回のイベントで一番わたしが心に残った言葉は "Data for everyone." だった。 この言葉からもそうなのだが、Hadoop Summit は次回から Data Works Summit と名前を変えデータの総合イベントとなるようだし、 Hadoop とそのエコシステムというだけ

今日（2016-02-18）のDevelopers Summit 2016 - Hack the Realでわたしが参加したセッションの中で一番タメになったセッション。 あるあるすぎる。 個人的には他にデータ絡みの組織活動で言うとデータガバナンスなども会社( Executive )からのサポートがないとまったくワークしないということを思っている。 今後、 Executive が会社の中におけるデータ関連の活動に理解がないと会社の継続そのものが難しくなっていくだろうという話にもつながるので、エンジニアよりむしろ経営層にこそ聞いてみて欲しかった内容。 では、メモを公開。本エントリのコンテンツは以下のとおり。 【18-D-3】データ分析グループのチームマネジメント変遷（ロングバージョン） / 中山ところてん氏 [Emotion Intelligence] 資料埋め込み 2015 秋の devsu

Hadoop/Spark Conference Japan 2016 、午後最初のセッションはノーチラス・テクノロジーズの神林さんのセッションに参加。 最初から、メモを取るのは相当しんどいだろうと覚悟のセッションでしたが、濃厚濃密な内容で最後まで楽しむことができました。 自分が参加した中からベストセッションを選ぶなら間違いなくこの神林さんのセッションがベストでした。こんなの他では聞けませんもの。 では以降よりメモ。 次世代アーキテクチャから見たHadoop/Sparkの位置づけ ～特にRDMA・NVMを軸としたときの分散並列処理の観点から / 神林 飛志氏（ノーチラステクノロジーズ） 完全裏番組宣言。マニア向け。 Hadoop/Spark 知りたいなら表番組に行ったほうがいいよ、の前置きからスタート。 そもそもメモをとれるのか、というチャレンジを自分もしにきてみた。 ノーチラスがみてるのは

今日は Oracle さんの主催による MySQL :: MySQL User Conference Tokyo 2015 に参加してきました。 この形式でのカンファレンスは 5 年以上ぶりだそうですが、 Wifi および各席に電源完備、お弁当提供に、空き時間にはデモをしてくれたりと至れり尽くせり。コンテンツも充実、とても有意義な一日を過ごすことができました。 一応、今回のイベントの全てのセッションのメモをとってきましたので、公開しておこうと思います（個人的には MySQL 5.7 の JSON 対応、およびオプティマイザ改善の話をきけただけでもホックリでした）。 以下、各メモへのリンク。 State of the Dolphin MySQL冗長化の決定版！“Oracle Clusterware + MySQL”検証レポート MySQL Cluster ユーザ事例紹介 - JR 東日本情報

今回は PostgreSQL, MySQL それぞれの NoSQL 機能にフィーチャーした勉強会、「ニッチだな、これは！」ってことで、MyNA・JPUG合同DB勉強会 in 東京に参加してきました。 個人的に PostgreSQL には疎いので PostgreSQL の最新事情とか聞けたらくらいのつもりでいってみたんですが、いい意味で変態的な勉強会*1でしたｗ ちなみに個人的に一番、変態的だなぁと今回思ったのは MySQL Lab の HTTP(s) Plugin for MySQL だったな、と*2。 主催者の方々および会場を提供してくださった DMM Lab 様、大変貴重で勉強になる勉強会を開催してくださりありがとうございました！！ では、ブログを書くまでが勉強会なので、わたしがとってきたメモをいつも通り公開しておこうと思います。 まず、当日の Agenda は以下のとおりでした。 A

分散 DB の文脈での話には関心があったので、db tech showcase 2015 初日、わたしは最後に @okachimachiorz1 さんのセッションに参加してきました。 分散DB本読書会、分散合意本読書会を主催している氏だけに、このトピックにおける氏の知見の蓄積は比類なきもので、セッション冒頭の「難しいです！マニアックです！」はまさに言葉通りとなったセッションでした。 This is the session truly be crazy about database technology! *1といったところでしょうか。参加できてよかったです！ 嵐のような 50 分間、とりあえずとれる範囲内でメモをとってきました。 というわけで以降がわたしのメモです。 概要： 分散クラスターの現在～特にStrong Consistencyを巡って 'ずいぶんとダサい「ACID」トランザクショ

db tech showcase 2015 初日、午後は二コマ目から再参戦、 ORACLE ACE の @yoku0825 氏のセッションに参加してきました。 スライドまわしが早くてついていくのが、結構つらかったですが、神速で資料を公開してくださるあたり、流石でした！ 内容もさすがの人柱的な内容なので、はてなブックマークしている人たちは、感謝の意をこめて氏の Proposal を Affects me しよう！ 資料がすでに公開されているので蛇足的ではあるけれども、以下、わたしの取ってきたメモも公開しておきます。 概要： 2015/04/08 ついにリリース候補版になったMySQL5.7.7。5.7は積極的を本番に入れたい理由、過去のバージョンからのアップグレードで気を付けることなど、本気の導入に向けたウォーミングアップセッション。 Speaker: 田中 翼(yoku0825) (Tsu

db tech showcase 2015 、午後 2 つめに参戦したセッションは @kuenishiさんのセッション。 一コマ前の Riak のセッションから聞くとなおよかったようには思いましたが、 MySQL 5.7 の話を聞きたかったので致し方なかったな、と。 とは言え、丁寧な言説でとてもよいセッションでした。日本の分散 DB 界隈の有名人の話を直接、聞ける貴重なセッションだったな、と。 では、以降わたしがとってきたメモです。 概要： NoSQLで分散KVSというと、複雑な機能を切り捨てて、非常にプリミティブな機能と整合性とパフォーマンスに特化したものと思われがちです。しかし、近年は目的に応じてさまざまな用途や機能を提供するものが増えてきました。従来のRiakでは結果整合性、因果整合性が保証されていましたが、2.0から強整合性のある書き込みもサポートされるようになりました。分散システ

今回は、Presto勉強会 at IPROS 〜 概要から周辺事情、Hiveとの比較まで！〜に参加してきました。 わたしの記憶が間違っていなければ、、、、、イベントが告知された時点では、 Presto の勉強会なのに Treasure Data さん抜きというかなりチャレンジングというか、もしかしてゆるふわ系な勉強会なのかなってことで登録したつもりだった勉強会のはずだったんだが、、、、 実際蓋をあけてみたら、 Treasure Data さんいるし、かなり猛者の集まった勉強会になってました。 個人的に印象に深かったのは、データ分析基盤と言われると、なんとなくオンプレミスという固定観念があったんですが、今回の話に関して言うと全部 AWS 前提になっていたので、当然といえば当然行き至る考え方とはいえ、「なるほど」という感じでした。 まあ、あと Presto 勉強会と銘を打ってはありましたが、

遅ればせながらせっかくなので devsumi2015 で参加してきたセッションのメモを公開していきます。 まずは、「20-C-2 14,000 件 /sec の配信を実現したリクルートのモバイル・アプリを支えるプッシュ通知基盤」から。 ひと言で言ってしまうと AWS （ DynamoDB とSQS ) と Elasticsearch の活用事例といったところだったかな、と。 では以降、メモです。 20-C-2 14,000 件 /sec の配信を実現したリクルートのモバイル・アプリを支えるプッシュ通知基盤 R-tech スマートデバイスグループ グループ横断的なスマートフォンアプリ開発 Pusna 開発 (プッシュ通知基盤) の進化と変化 Push 通知の特徴 メルマガに比べて開封率が高く、リアルタイム性も高い -> 効果的な販促ツール 情報レコメンド 休眠ユーザの再起 Recruit の

何気に今年最初の勉強会ログの公開になりますが、今日は、先日、 2015-01-28 に発売されたHBase徹底入門の刊行記念イベントが渋谷マークシティで行われるということで参加してきました。 詳細： 『HBase徹底入門 Hadoopクラスタによる高速データベースの実現』 刊行記念セミナー | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan 書籍の刊行イベントだったので、さほど込み入った内容のことは話されないだろうと思い、著者のみなさんのサインをもらいにいったつもりだったんですが、なかなかどうして Cloudera の小林さん、嶋内さんの発表は書籍にない話もあったので参加して本当によかったと思うものでした。 ※今回のイベントの資料は後日公開されるそうなので、ゼヒそちらを参照されたいと思います。 ちなみに最後の取りの発表をした Cloude

今日は db tech showcase 2014 に参加してきました。 今回は諸事情により、フルデイ参加は厳しかったのでどうしても聞きたかった @nippondanji 氏のセッションだけ参加してきました。 だが、しかぁし！！ 以前わたしが@nippondanji 氏の「データベース設計徹底指南！！」は神プレゼン！脅威の主義主張の一貫性保証は DB エンジニアの鏡だった件！で紹介させていただいたプレゼン同様、期待を裏切らない素晴らしいセッションでした！ ちょっと無理しましたが、参加してきてよかった！ というわけでまず、わたしの感想から 間違いなくおカネのとれるコンテンツを無料で聞けて db tech show case 運営の方々と @nippondanji 氏に感謝！ リレーショナルモデルと聞いて何を思い浮かべるか？と聞かれて「テーブル同士の関係」とか「 2 次元のテーブルのデータを格

はい、 Cloudera World Tokyo 2014 にいってきました（基調講演、特別講演のメモ） #cwt2014 - #garagekidztweetzにつづいてCloudera World Tokyo 2014 | Cloudera Japanの午後の Breakout Session の雑感、およびメモを公開します。 わたしが午後の Breakout Session で参加してきたのは以下のセッションです。 午後の Breakout Session 14:25 - 15:05 C-2 エンタープライズデータハブでAnalyticsを再考してみよう Cloudera, Inc. Chief Technologist イーライコリンズ氏 15:30 - 16:10 B-3 HBaseで実現するクラウドストレージサービス フリービット株式会社 SmartInfra本部プラットフォー

今年熱いトピックのひとつである MPP Query Engine （Rebuild: 52: TLDR Driven Development (Naoya Ito)でも取り上げられてたし）の一角、 Impala を実際に使っている方が一堂に会するという素晴らしい会が開かれるということで、今日は Tokyo Impala Meetup 2014.10 - connpass に参加してきました。 ちなみにわたし自身は Impala を運用はしていないのだけれども、やはりトレンドは追っておきたいというモチベーションで参加してきました。 Cloudera World Tokyo 2014 | Cloudera Japanが来週開催される前哨戦のようなとても熱い、内容の濃い会でした。というわけで来週のそのCloudera World Tokyo 2014 | Cloudera Japanも当然楽しみ

はい、では 前編（基調講演編）からの続きです。 午後のセッションに関しても、あえて雑感を書いておくと、 Nova はものすごくきな臭い感じがした（【F-3】、【F-4】を聴いた結果）、ってことと、、、、 OpenStack の話を聞きに来たつもりだったけど、 Ceph について話していた最後のセッション”【F-6】Ceph loves OpenStack” が一番丁寧でわかりやすいセッションだった 日本人ってやっぱり説明が丁寧だよなぁ、と。（ RedHat Forum はほとんどのセッションが本国、米のスピーカーだったので、その方々と比較してってことですね） ちなみに、わたしが聴講してきたのは、以下の 5 セッションです。 【F-1】12:50～13:30 OpenStack, OpenDaylight and OPNEV - OpenStackとNFVの関係。OpenDaylight プ

もうすでにご本人がスライドを公開されているので、蛇足感満載なのだけれども、先週の金曜日（2014-09-）マイナビ IT ニュースサミットに参加してきて、そこで伊藤直也（ id:naoya ）氏が講演されたセッションがとてもよかったので、わたしの感想とメモを公開しておきたいと思います。 ではまずは、簡単にですがわたしの感想から ひと言で言うと、「ビッグデータとコンテナ型クラスタという点と点がつながった」のがよかった！（少なくともわたしの中では両者はつながっていなかったので 。） 直也氏の説明が以下のように順を追っていてわかりやすかったというのも個人的には理解するのに助けになりました。 Immutable Infrastructure の説明 OS レベル仮想化（コンテナ）の説明 ビッグデータ基盤のトレンド（ SQL on Hadoop ）の説明 MPP 系クエリエンジンの説明 MPP 系ク

http://pixabay.com/en/elephants-family-baby-grass-341981/ 昨日（になってしまった、、、）は日本 Hadoop ユーザ会とリクルートテクノロジーズさんが主催するHadoop Confence Japan 2014 にいってきました。 最初に、この場を借りて、日本 Hadoop ユーザ会とリクルートテクノロジーズさんに感謝の意を書かせていただきます。 素晴らしい会場運営をありがとうございました！ （会場が前回のビックサイトから前々回のベルサール汐留に戻ったとはいえ、会場運営にかかる費用がかなり大きかったであろうことは火を見るより明らかで、感謝以外の言葉がありません。） ちなみに特に意図したわけじゃあなかったんですが、今回のカンファレンスでわたしは SQL on Hadoop に関連するものばかりきいてきました。 以降にわたしがとってきた

http://pixabay.com/en/the-elephant-cub-kenya-tsavo-274003/ Hadoop Confence Japan 2014 参加レポートエントリ、6発目は @shiumachi 氏による「Evolution of Impala」に参加してきました。 タイトルは半分釣りですが、本セッション開始早々、本当に @shiumachi 氏は今回のカンファレンスのユニフォーム的な法被*1を脱ぎ捨てて最終形態に変身してました（嘘じゃないっす！）。 そして内容もさることながら、いつもどおりのキレッキレのトーク、最強でした。 冗談はさておき実際、はじめて Impala が世に出たときにくらべると、格段によくなっているということを丁寧に説明されていました。 ※手前味噌ながら、当時の Impala 紹介セミナーに参加したときのメモはこちら。 すこしでも Impal

前回 の第一回目がとてもためになったので、二回目も参加してきました。 まず、アジェンダは以下のような感じでした。 アジェンダ 19:00 - 19:05 会場に関する注意とステマ by 運営 19:05 - 19:15 じゃんけん大会でノベルティー配るらしい) by @MikumoConoHa 19:15 - 19:45 運用8カ月の四方山話的な予定 by いとうさん 19:50 - 20:20 Mac Miniで作るMySQL Cluster MCCTバージョン by 室田さん 20:25 - 20:55 【検証結果発表】MySQL Clusterでもフラッシュドライブを活用してみる by 日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング事業統括 高橋 智雄さん 21:00 - 21:30 実際に使っている人に聞く怒涛のQAタイム by 登壇者のみなさん featuri

Hadoop ソースコードリーディング #16 日　時： 2014年5月29日（木） 19:00～21:00 （受付開始 18:45） 場　所： 豊洲センタービル （NTTデータ） ← いつもの隣のビル！ 地　図： http://www.nttdata.com/jp/ja/corporate/profile/guide/map.html （有楽町線豊洲駅3番出口を出て、左手奥の建物。エスカレータを上がった1Fに受付を設営します） 定　員： 120名 Spark 、個人的にはまだ触ったことがないのだけれど、久々に Hadoop ソースコードリーディングが開催されるということで、参加してきました。 今回は、 Hadoop ソースコードリーディングというより、 Spark ソースコードリーディングだったというのはおいておいて、、 飲み食いなし！ 本当にソースを読んだ！！ スピーカーなお三方のプレ