StreamAlert: Real-time Data Analysis and Alerting
Today we are incredibly excited to announce the open source release of StreamAlert, a real-time data analysis framework with point-in-time alerting. StreamAlert is unique in that it’s serverless, scalable to TB’s/hour, infrastructure deployment is automated and it’s secure by default. In this blog post, we’ll cover why we built it, additional benefits, supported use-cases, how it works and more! W
サイバー攻撃としてのフェイクニュース
このポストは、最近もやもやっと思っていることを吐き出したポエムである。厳格なファクトチェックを経たものと期待しないで欲しい。 tl;drサイバー攻撃としてプロパガンダをばらまくことを行うハッカーグループがいる彼らはfake newsサイトをいくつも作って選挙等に介入している不正アクセスして得た結果を、自分たちに有利な情報をフィルターしてWikileaksに流し、ニュースの情報源をコントロールしている本文ここ最近、日本でも”fake news”という単語を聞くようになってきた。僕が聞いたのは、rebuild.fmでその単語が出てきたときだったが、何故出演者がFacebookも引き合いに出して、怒りを感じているのかがわからなかったので少し調べてみた。もちろん、足りない視点などあるとは思うので、見つけたらこっそり教えて欲しい。 日本語でフェイクニュースや偽ニュースと言うと、虚構新聞のことか、とか
Surveillance Self-Defense Checklist
There are a few steps journalists, activists, and everyone else can take to maximize their security. These recommendations are grouped by difficulty level, starting with resources for beginners. Basic steps🗸 Download the Signal app to send secure messages and make private calls. 🗸 Install the Privacy Badger browser plugin to block ads and third-party trackers. 🗸 Install HTTPS Everywhere browser
A Typical Day on WeChat
WeChat (Chinese: 微信; pinyin: Wēixìn; literally: “micro message”) is a cross-platform instant messaging service developed by Tencent and used by 700 million people as a single go-to app for all aspects of their daily lives. Some 94% of WeChat users use the app daily, and 61% of users open the app at least 10 times a day. Here’s a day-in-the WeChat life of GGV Capital Associate Celia Chen.
壁にかける指の力
こんにちは、壁バカです。 この記事は「pyspa Advent Calendar 2016」の、23日目の記事です。 普段ブログを全く書かないので、前回ブログっぽいものを書いたのも、1年前の同じ Advent Calendar です。今回も記事のネタに困っていると、隣の席の同僚Sがアドバイスをくれました。 同僚S「たかぼうには壁にかける指の力のバランスだけで一本記事を書いてほしい」 ・・・うん、何を言いたいのかさっぱりわからん。この同僚Sについては、昨日の記事を書いた mopemope さんもこういってることだし、スルーでいいかと思ったのですが、あとでなんか言われそうなので、とりあえず壁についてそれっぽいこと書くことにします。 壁とスポーツ壁といえばあれです、そう、クライミングです。スポーツクライミングが2020年の東京オリンピックに採用されたということで、最近ますます人気がでてきています
【退職ブログ】Facebook（Oculus)社を退職しました
この記事は Oculus Rift Advent Calendar 2016 22日目の投稿です。 もともとアドベントカレンダーには「VRにおけるキャラクタープレゼンス 〜Mikulusの未来〜」という内容で書く予定でしたが、西田宗千佳さんという昔から尊敬するライターさんが取材してくださり記事にして電ファミニコゲーマーというこれまた神のようなメディアに超長文で書いてくれるそうなので、今回は割愛することにしました。キャラクタープレゼンスについては、以前書いた VRにおけるプレゼンスの維持と破壊 を御覧ください。 以上、おわり。 ・ ・ ・ ・ では無くて、本日でOculus VR社(Facebook Japan株式会社)の最終出社日となるのでいわゆる退職ブログを書こうと思います。 Facebookといえば世界でも時価総額が4位くらいの会社でして、福利厚生は神レベルに凄いです。 ・別にタイムカ
Tsuru CapitalでOpsとして働く
Tsuru Capitalでは、新たに一人、東京オフィスで働くopsを募集しています。外部への露出があまり多くない会社なので、このポジションがどういうものなのか、会社はどんな雰囲気なのかを書いてみたいと思います。 このポジションの主たる目標は 取引所のコロケーションスペースに設置している本番サーバで高効率・高可用性を実現・維持する取引のシミュレーション（バックテスト）サーバ群や業務に必要な種々のサーバ・開発環境の構築・維持を少ない人手で実現するです。主に技術面と働き方についてもう少し詳しく書いてみます。 技術面 Tsuruは東京とバンクーバーにオフィスがあります。更にバンクーバーのホスティングサービス内、日本と韓国の取引所のコロケーションスペースにもサーバを設置しています。サーバ台数は各拠点・物理・仮想合わせて80台程度で、それぞれの拠点はVPNで接続されています。 全サーバ台数のうち大き
Open Sourcing 223GB of Driving Data
Data available on GitHubA necessity in building an open source self-driving car is data. Lots and lots of data. We recently open sourced 40GB of driving data to assist the participants of the Udacity Self-Driving Car Challenge #2, but now we’re going much bigger with a 183GB release. This data is free for anyone to use, anywhere in the world. What’s Included223GB of image frames and log data from
These are the SDKs Pokemon Go Uses to Build a Hit Game
WTF just happened in the world of apps? :)Pokemon Go has taken over the world. So naturally we are very curious what SDKs they are using. We indexed it and the results are below. We’ll be launching a free website to show what mobile apps are using what SDKs. Game Physics Engine: NVIDIA’s PhysX, Unity Maps: Google Maps Analytics: Crashlytics, Apteligent User lifecycle analytics and Marketing: Upsig
Global Languages Support at Netflix
By Ivan Provalov Globalization at NetflixHaving launched the Netflix service globally in January, we now support search in 190 countries. We currently support 20 languages, and this will continue to grow over time. Some of the most challenging language support was added while launching in Japan and Korea as well as in the Chinese and Arabic speaking countries. We have been working on tuning the la
Netflix Billing Migration to AWS
Considering how much code and data was interacting with Oracle, one of our objectives was to disintegrate our giant Oracle based solution into a services based architecture. Some of our APIs needed to be multi-region and highly available. So we decided to split our data into multiple data stores. Subscriber data was migrated to Cassandra data store. Our payment processing integration needed ACID t
Meson: Workflow Orchestration for Netflix Recommendations
At Netflix, our goal is to predict what you want to watch before you watch it. To do this, we run a large number of machine learning (ML) workflows every day. In order to support the creation of these workflows and make efficient use of resources, we created Meson. Meson is a general purpose workflow orchestration and scheduling framework that we built to manage ML pipelines that execute workloads
ReAir: Easy-to-Use Tools for Migrating and Replicating Petabyte-Scale Data Warehouses
Airbnb’s data infrastructure has been an essential part of our strategy to continuously improve our products. Our Hive data warehouse grew exponentially from 350TB in the middle of 2013 to 11PB by the end of 2015. As the company grew, the demands on the reliability of the warehouse grew as well, and we sought to migrate our warehouse to new architectures. We found that existing migration tools eit
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
データで示す
データで示す 客観的な評価のためにはデータを数字で示すことが重要だと思う。Amazonでは、データで定量的に示すものと、定性的にビヘイビアで示すもの、大きなところではリーダーシッププリンシパルに基づくか、の2つを評価軸として持っている。これは年間の評価だけではなくて、様々な点でこの評価軸を用いた。その結果として、別々のビジネスラインで、ビジネス状況は異なるようなメンバーでも、企業内での文脈がある程度同一にできていて、これが企業競争力につながっているように思う。個人としても学ぶべきものが多かったし、発見も多かった。 個人としては、データは大きく分けてオリジナルデータを極力そのまま掲載するものと、グラフ化して加工したものでは別々にしたほうがよいと思う。データはどこまで収集しておりどうなっているか、とそのデータをどう見たか、は全く別の話だからだ。正直にいうと、かなりの数のデータは加工されたものだ
Data Infrastructure at Airbnb
Part 1: Philosophy Behind our Data InfrastructureAt Airbnb we promote a data informed culture and use data as a key input for making decisions. Tracking metrics, validating hypotheses through experimentation, building machine learning models, and mining for deep business insights are all critical to our moving fast and moving smart. After many evolutionary steps, we now feel that our data infrastr
Amazon Aurora
Amazon Auroraというクラウド上のRDBMSサービスがある。2015年の7月末にGAロウンチしたばかりのサービスだが、世界各国のユーザに非常に好評のようだ。 https://aws.amazon.com/rds/aurora/ Auroraをどう見るか、でクラウドの受け入れ度合いや現状の把握に使えると個人的には感じている。個人としてはAuroraほど画期的なサービスはDBでは今までなかったし、RDBMSの歴史の新しい1歩として認識している。ただあまりのシームレスさ、移行容易性、利用の簡便さに凄さに逆に気づきにくい状況がおきている。結果としてマーケティング的なムーブメントにはなりにくい状況で、個人としてはむしろそれが望ましいとも思っている。静かに深く世の中を変えていく、そんなサービスだ。ちなみにグローバルではOracleやSQL Serverからの移行が後を絶たない。理由の多くは、
Goodbye Amazon!
(English follows Japanese) 1月末で5年間勤めたAmazon Web Services Japanを離れ、新しいチャレンジをすることにしました。まずは今まで関わった全ての人、特にお客様・パートナー様、最後にAWS社員の皆さんに深く感謝をしたいと思います。ありがとうございました。この5年間を振り返ると、本当にあっという間で今でも初日のことをよく覚えています。当時はメンバーも片手で数えるほどで、まだ何も出来上がっていない・全部一から作り上げなくてはいけない、そんな状況でした。そこから早くも丸5年が経ちますが、私自身掛け替えないの貴重な経験と喜びを得ることが出来ました。特に日本の中だけで閉じていた自分にとってはグローバル企業のダイナミズム・スピード・スケールの大きさ・価値観などに触れることができたのは本当に貴重だったと今振り返って感じています。 あまり過去を振り返らない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Unveiling Uber’s Transparency Report
Investing In Big Data: Apache HBase