Airflow: a workflow management platform
Airbnb is a fast growing, data informed company. Our data teams and data volume are growing quickly, and accordingly, so does the complexity of the challenges we take on. Our growing workforce of data engineers, data scientists and analysts are using Airflow, a platform we built to allow us to move fast, keep our momentum as we author, monitor and retrofit data pipelines. Today, we are proud to an
Introduction · Native Navigation
Native Navigation DISCLAIMER This project is currently in beta. Many of the core APIs are subject to change, and we do not consider this project "Production Ready" until it hits a 1.0 release. We encourage people to try this library out and provide us feedback as we get it to a stable state we are confident in, but not to rely on it for production use until then. Read more about our Roadmap to 1.0
Apache Airflow and the Future of Data Engineering
Recently I had the opportunity to do a collaborative blog post with Maxime Beauchemin about Apache Airflow and the future of data engineering. Maxime is a data engineer at Airbnb and creator of their data pipeline framework, Apache Airflow. This framework is used by numerous companies and several of the biggest unicorns — Spotify, Lyft, Airbnb, Stripe, and others to power data engineering at massi
Airbnb: Inside the mind of a site reliability engineer
How does Airbnb ensure its massive site operates without failure or interruption? We learn the secrets directly from someone on the Site Reliability team. As part of the CXOTALK series of conversations with innovators, I recently interviewed Cameron Tuckerman-Lee, a site reliability engineer at Airbnb. I caught up with Cameron at New Relic's FutureStack16 conference. Site reliability is more techn
Chronos: A Replacement for Cron
Chronos is our replacement for cron. It is a distributed and fault-tolerant scheduler which runs on top of Mesos. It’s a framework and supports custom mesos executors as well as the default command executor. Thus by default, Chronos executes SH (on most systems BASH) scripts. Chronos can be used to interact with systems such as Hadoop (incl. EMR), even if the mesos slaves on which execution happen
スタートアップが失敗する確率は93%「僕らはゆっくり40年間働く代わりに、4年間限りなくハードに働く」 / リーディング＆カンパニー株式会社
スタートアップが失敗する確率は93%「僕らはゆっくり40年間働く代わりに、4年間限りなくハードに働く」 イラスト:リーディング&カンパニー 不況が深刻になればなるほど、安定的な仕事を求めて大学に進学する傾向が強く、アメリカの名門校、プリンストン大学、ハーバード大学、そしてイェール大学などへの申し込みは過去最高になっているそうですが、大手企業でただ毎日、エクセルのファイルを見ているだけのホワイトカラーの仕事は、どんどん無くなっていくのは間違いありません。 ペイパルの共同創業者で億万長者のピーター・ティールは、20歳以下の起業家20人に対して、もし自分のアイデアを追求するために大学を辞めれば、約1000万円の助成金を与えるという制度を設立しましたが、イェール大学在学中にKikoというサービスを立ち上げ、eBayへの売却に成功したジャスティス・カンは、「大学で身に付けた知識とスキルのうち、現在I
2015年に流行るであろうサービス 7選
新しい年が始まった。皆さんはいかがお過ごしですか。 昨年2014年は日本ではUberやAirbnbなどの共有経済サービスが広がり始めたり、自動車業界に革新をもたらすテスラモーターズが上陸して話題を集めた。アメリカでは次の分野で新たなサービスが台頭して盛り上がった。 Wunwun / Washio / Homejoyなど生活を楽にしてくれるオンデマンド/デリバリーサービス Yo / Slingshot / Whisperなどの簡略/短命/匿名メッセージングアプリ Spire / Electric Objects / Atlas Whearablesなど物とインターネットをつなげるIoTサービス 3Dプリントやビックデータ分野でも研究開発が進み、一般ユーザーに向けたデバイスやサービスが徐々にリリースされ始めている。また、アメリカやサンフランシスコ/シリコンバレー以外から生まれたサービスも目立っ
SmartStack: Service Discovery in the Cloud
By Igor Serebryany & Martin Rhoads What is SmartStack?SmartStack is an automated service discovery and registration framework. It makes the lives of engineers easier by transparently handling creation, deletion, failure, and maintenance work of the machines running code within your organization. We believe that our approach to this problem is among the best possible: simpler conceptually, easier t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - airbnb/javascript: JavaScript Style Guide
How startups such as Dropbox, Airbnb, Groupon and others acquired their first users.
Inside Jobs: Why The Best Software Engineers Never Stop Learning | TechCrunch
GitHub - airbnb/synapse: A transparent service discovery framework for connecting an SOA
Vacation Rentals, Homes, Apartments & Rooms for Rent - Airbnb