Josh Willsは、Googleで広告オークションシステムとデータ分析インフラの開発を担当し、現在は、ClouderaのSenior Director of Data Scienceを勤めています。 機械学習によるデータ分析が、Googleなどに限らず、AirbnbやEtsyなどその他のネット企業にも広がっていく中、今後必要とされるデータモデルについて 、Midwest.io と GraphLab Conference で講演しています。 複数の機械学習分析を操るGoogleのチャレンジ 機械学習分析のベースとなる各サービスの仕様が頻繁に変更になる。 機械学習分析はそれぞれ単体でも複雑なのに、Googleの場合、それらが相互に関連があるケースが多かった。一つの機械学習分析の変更が、他の機械学習にどう影響がでるかが把握しきれない。その結果、広告配信システムを理解できない（= コントロール

Pinterestは、サーバの一部を本番から外し順次アップデートするという方式でデプロイをしています。それが起因してページ全体を無駄にリロードさせている状況を改善するための取り組みを紹介しています。 背景 Pinterestのサイトでは、JavaScript + XHRにより、ページ内で必要なコンテンツだけが、クリックされた際に適宜更新されるようになっている。 ユーザが最初にPinterestのサイトにアクセスすると、サーバはブラウザに対しJavaScriptのバンドルを読込ませ、そのバンドルがサーバにあるソフトウェアのバージョンとの一致を確認する仕組み。 デプロイする際は、サーバの10%をオフラインにし、アップデート完了後、本番に戻すという作業を繰り返している。つまり、新しいバージョンのソフトを載せたサーバと古いものを載せたサーバが混在している状態になる。（Varnishの相対するバージ

http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte

http://highscalability.com/blog/2014/3/24/big-small-hot-or-cold-examples-of-robust-data-pipelines-from.html 1 comment | 1 point | by WazanovaNews ■ comment by Jshiike | 約1時間前 Hakka LabsのFounderのPete Soderlingが、「何でもBig Dataと称する風潮は行き過ぎだが、処理すべきデータが増えてきているのは確か。」として、データ処理プロセスでの各社の取り組みを紹介しています。 Stripe HDFSには、JSONやBSONなど多様なフォーマットのデータを送っている。Thriftとでロジカルな構造を定義し、Parquetでディスクに保存するフォーマットを決めている。複雑なバッチ処理のツールとし

https://code.facebook.com/posts/1474977139392436/looking-back-on-look-back-videos?hn=1 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 FacebookのAlexey SpiridonovとKrish Bandaruが、10周年を記念して導入したLook Back機能（ビデオ）を25日間で準備した経緯を紹介しています。 最初に立てた仮説 10周年記念の当日に2500万本のビデオがシェアされる。 各ビデオを5人が見るとすると、平均で62 Gbpsの帯域が追加要。ピーク時に2-3xになることを考慮すると187 Gbps。 必要なディスクスペースは25 petabytes タスクを下記の内容にわけ、社内ボランティアの協力で

https://blog.twitter.com/2014/netty-at-twitter-with-finagle 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Twitterの一連のシステムは、バックエンドのユーザプロファイル / tweet / タイムラインから、HTTPリクエストを処理するフロントAPIのエンドポイントに至るまで、Finagle上で構築されてます。同社のエンジニアブログでその概要が紹介されています。 障害耐性があり特定のプロトコルに依存しないRPCフレームワーク for JVM Netty (NIOクライアントサーバフレームワーク) 上に構築。SOA (サービス指向アーキテクチャ)では上流サービスの待ち受けをしている時間が長いので、非同期処理ライブラリが効果的。 Twitt

http://www.youtube.com/watch?v=iZM_JmZdqCw 1 comment | 1 point | by WazanovaNews ■ comment by Jshiike | 約2時間前 成功をつかめるかどうかは、運の善し悪しはあるかと思いますが、正しい課題を見つけて強い意志で努力を続けることがそのチャンスを広げるというのは、あまねく意見の一致するポイントだと思います。 ノーベル賞の受賞者を多く抱えたベル研究所のRichard Hammingが講演で、成功する科学者について語っています。 One of the characteristics of successful scientists is having courage. Once you get your courage up and believe that you can do importan

https://techblog.livingsocial.com/blog/2014/01/24/rearview-on-rails/ 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約5時間前 LivingSocialがオープンソースで提供しているRearviewは、Graphiteをベースとしたリアルタイムモニタリングフレームワークです。フレキシブルに編集できるダッシュボードで、メール / PagerDuty / Campfireでアラート通知ができるようになっています。 参考: ダッシュボード画面1 参考: ダッシュボード画面2 参考: ダッシュボード画面3 参考: ダッシュボード画面4 LivingSocialの開発チームはRuby/Railsエンジニアが多くを占めるため、今後のメンテを考えて、既

http://thechangelog.com/115/1 comment | 0 points Flynnは、Go言語ベースのオープンソースPaaSです。概要としては、 Heroku for Docker的な位置づけになる。 モジューラ型の再利用可能なコンポーネントで構成 公開済の設計思想、仕様に基づき開発を進める クラウドファンディングによるオープンソースプロジェクト Gridと呼ばれるLayer0はFlynnのコアであり、クラウド or ハードに関わらず、分散コンテナーマネッジメントの機能を提供します。 Container model / management Distributed configuration / coordination Task scheduling Service discovery Host abstraction Layer1では、コンテナーはサービスもし

http://thechangelog.com/114/1 comment | 0 pointsRethinkDBは、オープンソースの分散データベース。同社のFounder & CEOのSlava Akhmechetがchangelogのpodcastでインタビューを受けています。 金融機関に勤めた後、肌に合わなくて、大学院に進学し、スーパーコンピュータの研究へ。そこで、RethinkDBのアイデアを思いつき、そのまま起業して、2009年にYcombinatorの出資を受け、現在に至る。 伝統的なDBであれば、NoSQLであれ、たまたまAPIのようなプログラムインターフェースという建て付け。つまり、webプログラマーにとっては、便利な代物ではない。そこで、デベロッパーツールを一番に、そしてデータベースを二番に考えた、新しいデータベースをつくってみたらどうだろうかというのが、RethinkD

http://6brand.com/the-upside-down-org-chart.html これまで、GitHub、Valve、Treehouseなど、フラットでマネージャのいない自己管理型の会社を紹介してきましたが、今回SquareのJack Dangerは自らのブログで、伝統的な組織図を反転させた発想での会社運営を提案してます。 1) 伝統的な組織図 トップダウン型のこの組織図は、エンジニアが大会社で働きたくないという要因になっている。「仕事がイヤだから辞めるのでなく、ボスがイヤだからやめる。」と言われるように、ベテランのエンジニアを引き止めるためだけに「昇進」させ、質の悪いマネジャーを生んでいるテク企業も多い。また、マネージャーは（よい人であっても）階層のある組織にいると配下にネガティブなプレッシャーをかける傾向を指摘されている。 一方、自己管理型のフラット組織は、多少の組織内

GithubのZach Holmanが語るGithubの組織戦略です。まず最初に、 Step #1: ロックスターエンジニアを雇う Step #2: ものすごく透明性のある経営をする Step #3: ブログ/ソーシャルメディアなどでテクノノロジーについて発信する Step #4: カンファレンスで会社について話す Step #5: カネに余裕ができる Step #6: 社員を大勢雇う Step #7: 会社のことを話さなくなる Step #8: コミュニティを無視する Step #9: 創業者が株を売って儲ける Step #10: 別の会社をはじめる という事例を挙げて、Githubは組織が成長する中で、このようなパターンに陥らないように、コミュニケーション及び仕事の進め方をどのように進化させてきたかについて紹介してます。 Dunbar's numberとしてよく知られるとおり、人間が良

[Video] http://www.youtube.com/watch?v=gMgznBkYqps http://tech.gilt.com/post/66553349381/immutability-and-innovation-gilt-the-perfect-storm 自分的には「ちょっと高級なファッションのフラッシュセールの会社」というのがGiltの位置づけなのですが、フラッシュセールをどう翻訳するのがわかりやすいかなと悩んでいたら、日本法人のwebサイトによると「ファミリーセール • サイト」というのが正式なキャッチコピーのようです。 GiltのVP, Infrastructure EngineeringのRoland Tritschが、FutureStack2013で、同社がImmutabilityをシステム開発/運営にどう応用しているかについて語っています。（一般的なIm

http://nerds.airbnb.com/making-breakfast-chef-airbnb/ Airbnbが社内でのchefの利用事例について、かなり細かめに紹介してくれてます。 1) 背景 Airbnbは動的なコード環境にある。Amazon EC2のバーチャルマシン上で動くサービスが組み合わさってサイトが構成されている。 昨年、EC2のインスタンスを立上げ & 設定をするCloudMakerをオープンソースで提供し、従前の手動作業からは相当効率化したが、YAMLの設定を全て希望するかたちにはできなかったので、S3に複雑なバージョンのシェルスクリプトツリーができて、メンテナンスが難しくなった。 そこで、2012年2月からChefへの統合を開始。OpscodeのホスティングChefを利用し、数週間で共通設定項目についての移行が完了し、本番稼働した。しかし、Chefユーザが増える