Dropboxが構築したMagic Pocketの中身：エクサバイトのストレージシステムの仕組み | POSTD
自社で構築した数エクサバイトのストレージシステム、 Magic Pocketを発表 して以来、多くの好意的なフィードバックをいただいています。この発表に続きまして、舞台裏からシステムの興味深い側面を見ていただくことができる技術ブログシリーズを投稿していこうと思います。保護の仕組み、運用ツール、ハードウェアとソフトウェアの境界線上の革新などです。しかし、まず、背景を説明する必要があるでしょう。本稿では、Magic Pocketのアーキテクチャ概略と設計で使われた基準についてお話しします。 紹介の投稿 で説明しましたように、Dropboxには、ファイルの内容と、ファイルやユーザについてのメタデータという2種類のデータが保存されます。Magic Pocketは、ファイルの内容を保存するのに使われるシステムです。保存するファイルは、ブロックに分割されて耐久性のためにレプリケーションされ、複数の地域
【締切】ISUCON6 オンライン予選の参加登録を開始＆参加チームとメンバーリスト : ISUCON公式Blog
追記 9/9 12:00 参加チームを追加,参加登録を締め切り 追記 9/7 11:40 予選レギュレーションについて追記 追記 9/2 17:00 参考実装の追加を追記 追記8/18 10:15 学生枠の対象について追記 追記 8/16 14:00 本選出場チームの選出について追記 追記 8/5 17:55 仕様OSについて追記 -- こんにちは、櫛井です。本日から参加登録を開始いたしました。 参加登録締め切りは 2016年9月9日(金) 12:00:00 JST です。 ISUCONについてはこちら ▼ISUCON6 開催＆日程決定！ #isucon : ISUCON公式Blog オンライン予選の概要と開催日オンライン予選の方式は以下を予定しております予選はMicrosoft Azureを利用出題者側で作成したお題アプリ、ベンチマークツールが乗ったテンプレートを用意各参加チームのAzu
Big Sky :: UNIX コマンドを SQL で抽出できるツール qq を作った。
昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ
LinkedIn、1日100万回以上のテストを行えるというAndroidアプリ向けテストツール「Test Butler」を公開 | OSDN Magazine
LinkedInは8月4日、Androidアプリ向けUIテスト「Test Butler」をオープンソースソフトウェアとして公開したことを発表した。高い信頼性を特徴とし、LinkedInはこのツールを利用して毎日100万回以上のテストを行っているという。 Test ButlerはAndroidアプリ開発に向けたテストツール。LinkedInがAndroidアプリを開発するにあたって、テスト環境の信頼性が低いという問題に直面したことで開発に至ったという。 Androidエミュレータを用いたテスト時に、邪魔になるポップアップやアニメーションなどを無効化できるほか、テスト実行時に無線通信機能やCPUなどがスリープ状態にならないようにロックする機能を備える。さらに、無線LANが使えない環境をシミュレートしたり、デバイスの向きの変更やロケールの変更と言ったテスト環境の変更も自動化できるという。 And
inforno :: Goのインタフェースがパフォーマンスに及ぼす影響
Go Advent Calendar 2015 その3 11日目です。その3まであるなんてGo大人気ですね。 Gopherというのはいろいろな人がいてLLからGoへ、という方も多いかと思います。 LLではそもそも全てがオブジェクトだったりで話題になりませんが、よりマシンに近く変態的に速度を重視される方が多いC++では例えば仮想関数や実行時キャストのコストが議論になります。 Goにおいてこういう多態性はインタフェースで表現されます。結論からいうと、 Goのインタフェースにもそれなりのコストがあります。 なので極限までパフォーマンスを要求される場合には 例えばインターフェースを使わない というも選択肢に入ってくるのではないかと思います。 Go言語におけるインタフェースの内部表現 さて、Goはブートストラップ化(言語処理系をその言語自身で実装する)を進めており、1.5ではGoのコンパイラ、ランタ
NTTからピクシブ株式会社に転職しました - 大企業からベンチャーへ移ったエンジニアの話 - ふろしき Blog
ピクシブ株式会社に入社しました！…といっても、入社したのは2015年8月1日と約1年前です。 「転職エントリーは、転職した直後に書くよりも1年後の方がいいのでは？転職の興奮が覚め、会社のこともある程度わかってから書いたほうが、身になる話ができるんじゃないか？」 なんてことを入社直前に思いつき、あえて今頃になって、転職エントリーを書いています。 このエントリーでは、大企業からベンチャーへ、エンタープライズ系からネット系へ、受託メインの会社から事業メインの会社へ転職した私が、1年経った今感じていることをお話しします。それで、後ろに続こうとしている人に、何かしらのヒントを残せたなら、私としても嬉しいです。 最初に言っておきますが、「こんな会社辞めてやる！」的な、そういうコンテンツはないので、期待しないでください！！！ 転職で変わったこと 私の転職は、テクノロジーというキーワードを除くと、なにもか
HTTP/2プロトコルに複数のセキュリティ問題--Black Hatでレポート公開
Charlie Osborne （Special to ZDNET.com） 翻訳校正： 編集部 2016-08-05 10:28 新しいプロトコルであるHTTP/2に、数千万のウェブサイトを攻撃のリスクに晒す可能性がある複数のセキュリティ問題が発見された。 サイバーセキュリティ会社Impervaは米国時間8月3日、Black Hat USAでウェブや通信システムで使用されるHTTPの最新バージョンであるHTTP/2に関連して、複数の重大なセキュリティホールが存在すると報告するレポートを公開した。 このレポート「HTTP/2: In-depth analysis of the top four flaws of the next generation web protocol」は、HTTP/2に関連する4つの脆弱性と攻撃手法について説明したものだ。現在、HTTP/2の導入数は着実に増加して
【翻訳】 On Uber’s Choice of Databases （データベースにおけるUberの選択について）
数日前、Uberのブログで「Why Uber Engineering Switched from Postgres to MySQL」というエントリが公開されました。 Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog https://eng.uber.com/mysql-migration/ それに対して、PostgreSQLコミュニティ界隈でもいろいろなブログエントリが公開されました。 Robert Haas: Uber's move away from PostgreSQL http://rhaas.blogspot.jp/2016/08/ubers-move-away-from-postgresql.html On Uber’s Choice of Databases http:/
表参道.rb #14 でDigdagについてLTしてきました - ariarijp’s blog
8/4に開催された表参道.rb #14でLTさせていただきました。 omotesandorb.connpass.com ビアガーデン風ということで、会場提供していただいたSansan株式会社様のGardenというイベントスペースで開催され、飲み物、食べ物も無料提供していただきました。ごちそうさまでした。写真とっておけばよかった。 発表資料 Rubyを触る機会が以前にもまして減っているのですが、最近使ったDigdagにRuby APIがあったので、Ruby APIについてLTしました。 懇親会でもいろいろお話を伺いましたが、みなさんバッチ処理ではそれなりに困りごとがあるようだったので、興味を持って聞いていただけたのかなと思っています。 ひさしぶりのLT登壇で緊張しましたが、いくつか笑いも起こっていたので、自分も楽しんでLTできました。 資料はこちらです。 speakerdeck.com 追記
いつ突然会社をやめても問題ないという基準でコードやドキュメントを書く - $shibayu36->blog;
先に前提を話しておくと、会社は全く辞めるつもりはないし、むしろどんどん会社を良くしていこうと思っている。今回はそういう基準で自分がコードやドキュメントを書いていますよという話。 コードやドキュメントを書く時に、どのくらいきれいにしておくかとか、どのくらいわかりやすくしておくかとかを考えることがある。こんなとき僕は、いつ突然自分が会社をやめて連絡がつかなくなったとしても他の人がある程度理解できるか、を基準にしている。そのためにはあまりいい方法が思いつかなくて仕方なく書いている部分にはちゃんと経緯のコメントを書く。他にも例えば作ったサービスであるイベントを開催する方法のドキュメントを書くなら、全く何もやったことがない人がそのドキュメントを読んだらとりあえず開催できるよう、ドキュメントを書く。当然コードもかっこよさよりも、説明しなくても分かりやすくなるようなシンプルさを追求する。 また、このよう
All about Apache Aurora
Today we’re excited to see the Apache Aurora community announce the 0.7.0 release. Since we began development on this project, Aurora has become a critical part of how we run services at Twitter. Now a fledgling open source project, Aurora is actively developed by a community of developers running it in production. This is Aurora’s third release since joining the Apache Incubator. New features inc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The History of etcd | CoreOS
