Beringei: A high-performance time series storage engine
Operating large-scale, globally distributed services requires accurate monitoring of the health and performance of our systems to identify and diagnose problems as they arise. Facebook uses a time series database (TSDB) to track and store system measurements such as product stats (e.g., how many messages are being sent per minute), service stats (e.g., the rate of queries hitting the cache tier vs
Facebookが公開した10億語を数分で学習するfastTextで一体何ができるのか
fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表
MyRocks: A space- and write-optimized MySQL database
At Facebook we use MySQL to manage many petabytes of data, along with the InnoDB storage engine that serves social activities such as likes, comments, and shares. While InnoDB provides great performance and reliability for a variety of workloads, it has inefficiencies on space and write amplification when used with flash storage. A few years ago, we built RocksDB, an embeddable, persistent key-val
Cache-Control: immutable
About one year ago our friends at Facebook brought an interesting issue to the IETF HTTP Working Group - a lot (20%!) of their transactions for long lived resources (e.g. css, js) were resulting in 304 Not Modified. These are documents that have long explicit cache lifetimes of a year or more and are being revalidated well before they had even existed for that long. The problem remains unchanged.
Facebook's SSD findings: Failure, fatigue and the data center
Facebook's SSD findings: Failure, fatigue and the data center SSDs revolutionized data storage, even though we know little about how well they work. Now researchers at Facebook and Carnegie-Mellon share millions of hours of SSD experience Millions of SSDs are bought every year. It's easy to be impressed by fast boots and app starts. But what about 24/7 data center operations? What are the common
Tech Talk: RocksDB Slides by Dhruba Borthakur & Haobo Xu of Facebook
Tech Talk: RocksDB Slides by Dhruba Borthakur & Haobo Xu of Facebook This presentation describes the reasons why Facebook decided to build yet another key-value store, the vision and architecture of RocksDB and how it differs from other open source key-value stores. Dhruba describes some of the salient features in RocksDB that are needed for supporting embedded-storage deployments. He explains typ
Saving capacity with HDFS RAID | Engineering Blog | Facebook Code | Facebook
As we continue to evolve our data infrastructure, we’re constantly looking for ways to maximize the utility and efficiency of our systems. One technology we’ve deployed is HDFS RAID, an implementation of Erasure Codes in HDFS to reduce the replication factor of data in HDFS. We finished putting this into production last year and wanted to share the lessons we learned along the way and how we incre
Scaling the Facebook data warehouse to 300 PB
At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
IT業界（インフラより）のみんな！アニメのBDを大人買いしてる場合じゃないぞ - kuenishi's blog
飲み会で話していたら、この危険さに気づいている人あまりいなかったようなので。 Google Drive、激値下げ―1TBが月額49.9ドルからなんと月額9.99ドルに アマゾン ウェブ サービスがAmazon Glacierを発表 Facebook uses 10,000 Blu-ray discs to store 'cold' data その衝撃的動画 こうやってニュースを並べると聡明な諸君は気づくだろうが、ストレージの単価がほぼ同じだ。Facebookの記事はコンシューマ向けではないが、単価はそのレベルだろうと想像される*1。 Glacierは登場した当初は「すわテープドライブまでクラウド化か？」という憶測が飛び交ったが、「テープではないらしいぞ」という憶測も登場して実際のところは分からない。GMailはバックアップにデープドライブを使っていたらしいが今でもそうなのかは分からない。
Using Cassandra for RTB systems
Improving Learning Content Efficiency with Reusable Learning Content Enterprise Knowledge’s Emily Crockett, Content Engineering Consultant, presented “Improve Learning Content Efficiency with Reusable Learning Content” at the Learning Ideas conference on June 13th, 2024. This presentation explored the basics of reusable learning content, including the types of reuse and the key benefits of reuse s
Watchman·Facebook製のファイル/フォルダ監視ツール MOONGIFT
ファイルの変更を監視して何らかの処理を行うと言ったソフトウェアは静的サイトの流行もあって幾つか出てきています。軽量なもの、プラグインで拡張できるものなど色々ですが、今回はFacebookにより開発されているWatchmanを紹介します。 特徴としてはファイルの拡張子も問わず、指定したファイル（パターン指定可）が変更されたらそれをトリガーに何らかの処理を行うと言ったソフトウェアになるようです。さっそく見ていきましょう。 最も簡単な使い方として、CSSを変更したらミニファイする場合は次のようになります。 $ watchman -- trigger ~/src buildme '*.css' -- minify-css さらに複数のディレクトリ、ファイルを監視できます。 $ watchman watch ~/www この場合、~/wwwを監視対象に加えます。さらに別なディレクトリも監視対象に加え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - facebookarchive/fbtftp: fbtftp is Facebook's implementation of a dynamic TFTP server framework.
http://www.vldb.org/pvldb/vol8/p1816-teller.pdf
Facebook、静的解析ツールInferをオープンソース化
https://rocksdb.org/blog/323/the-1st-rocksdb-local-meetup-held-on-march-27-2014/
Scaling Userspace @ Facebook
https://qiita.com/kenokabe/items/9c650ec8bcb1418c596d
Facebookにログイン | Facebook
Facebookが新しいNoSQLであるApolloを発表
https://www.xtendsys.net/blog/post-1