GitHub - linkedin/ambry: Distributed object storeYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing and Open Sourcing Ambry - LinkedIn’s New Distributed Object Store
Media content has become ubiquitous around the web and almost all of Linkedin's new features interact with media in some form or the other. Profile photos, email attachments, logos, and influencer posts are a few examples of where photos, videos, PDFs, and other media types get uploaded and displayed to the end user. These media types get stored on our backend and are predominantly served by our C
Kafka Ecosystem at LinkedIn
Apache Kafka is a highly scalable messaging system that plays a critical role as LinkedIn’s central data pipeline. Kafka was developed at LinkedIn back in 2010, and it currently handles more than 1.4 trillion messages per day across over 1400 brokers. Kafka’s strong durability and low latency have enabled us to use Kafka to power a number of newer mission-critical use cases at LinkedIn. These incl
Gobblin: A Framework for Solving Big Data Ingestion Problem
Video and slides synchronized, mp3 and slide download available at URL http://bit.ly/1wQh534. Lin Qiao discusses the architecture of Gobblin, LinkedIn’s framework for addressing the need of high quality and high velocity data ingestion. Filmed at qconsf.com. Lin Qiao is leading LinkedIn’s data lifecycle management for analytics, covering areas of data ingestion, data quality and workflow managemen
リアルタイムなデータ分析をする分散OLAP「Pinot」をLinkedInがオープンソースで公開
LinkedInは、同社が開発したリアルタイムデータ分析を実現する分散OLAPデータストア「Pinot」をオープンソースで公開したことを明らかにしました。 Open Sourcing Pinot: Scaling the Wall of Real-Time Analytics | LinkedIn Engineering LinkedInはビジネスに特化したソーシャルメディアサービス。 同社はこのサービスで発生する大量のデータを分析するプラットフォームとして、すでに2年以上Pinotを運用してきており、日々数十億件のデータを投入し、数千億件ものデータを保存。毎日1億クエリを実行し、10ミリ秒程度のレイテンシでリアルタイム分析しているとのこと。 例えば、LinedInのサービスである「Who's Viewed Your Profile」（あなたのプロフィールを誰が見たか」や、A/Bテストフレ
Apache Kafka 0.8 basic training - Verisign
Apache Kafka 0.8 basic training (120 slides) covering: 1. Introducing Kafka: history, Kafka at LinkedIn, Kafka adoption in the industry, why Kafka 2. Kafka core concepts: topics, partitions, replicas, producers, consumers, brokers 3. Operating Kafka: architecture, hardware specs, deploying, monitoring, P&S tuning 4. Developing Kafka apps: writing to Kafka, reading from Kafka, testing, serializatio
Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)
Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines) I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processing, and Hadoop data ingestion. To actually make this work, though, this "universal log" has to be a cheap abstraction. If you want to use a system as a central data hub
LinkedIn: Promiseでデータフローコントロールを改善 - ワザノバ | wazanova
LinkedInが同社のエンジニアブログで、Node.jsのフローコントロールの取組みについて紹介しています。 （原文には一連の説明用のコードが掲載されているのでそちらも参照ください。） LinkedInのiPadアプリでは、node.jsサーバで、複数のバックエンドサービスからのデータをまとめています。これまでは、そのデータフローをコントロールするのにAsync.jsとStepを使っていたが、新しい機能の追加に際してはJavaScriptのPromiseを利用してQでの実装にトライしてます。Promiseが複雑なI/O依存パターンを扱うのに適しているのと、Promise/A+の仕様が特にエラーをハンドリングするのが得意なことが採用の理由。 Why do we need flow control patterns in Node.js? 非同期のコールバックベースのコードは重層構造になる傾
iOSの標準Mailアプリにツールバーを追加しているLinkedIn Introはどうやって実現しているのか – @masuidrive blog
LinkedInが本日、iOSの標準MailアプリでLinkedInのプロフィールを見ることのできる「LinkedIn Intro」というサービスをリリースしました。 このサービスを導入すると、メールの中で送信者の情報をインラインで見ることができます。 iOSにはメールアプリが沢山ありますが、このサービスの特徴は既存のアプリにLinkedInの機能を追加しているところが特徴的です。 通常、iOSでは「機能拡張」みたいな物を作る事はできないのですが、これはどうやって実現しているのでしょうか？ LinkedIn社のブログ「LinkedIn Intro: Doing the Impossible on iOS」でどのように実現しているのか、解説しています。 仕組みとしては、IMAPプロキシを作り、メールの本文にツールバーのHTMLを差し込んでいるそうです。 サーバ側でメッセージのキャッシュなどは
Auto-Scaling with Apache Helix and Apache YARN
At LinkedIn, many individual services integrate together to deliver a reliable and consistent end-user experience. Although each service handles a specialized set of responsibilities, they all share a common set of required features such as load-balancing, dynamic reconfiguration, health monitoring, and fault-detection. Last year we introduced Apache Helix, an open-source generic cluster managemen
Optimizing Linux Memory Management for Low-latency / High-throughput Databases
Optimizing Linux Memory Management for Low-latency / High-throughput Databases Co-author: Cuong Tran Table of Contents Introduction Setting up the context Reproducing and understanding Linux's zone reclaim behavior NUMA memory rebalancing also triggers direct page scans Lessons learned Introduction GraphDB is the storage layer of LinkedIn's real-time distributed social graph service. Our service h
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
