メルカリのITインフラを支える「SRE」、ソフトの力でハードを活かす
「SRE（Site Reliability Engineering）」。耳慣れないこの言葉が、メルカリのITインフラを理解するキーワードだ。目標はいつでも快適かつ安全な、「信頼できる」サービスの実現。ハードウエアが司るITインフラの力を、コーディングやソフトウエア構成の最適化で引き出す。視線の先にあるのは、太平洋と大西洋をまたいだアーキテクチャーの実現だ。 「ユーザー向けの新しいサービスや機能『以外』のシステム開発全般を担う」。メルカリの長野雅広プリンシパルエンジニアは、同社が2015年11月に設けた、「SRE」と呼ぶエンジニア組織の役割をこう説明する。 SREとはコーディングやソフトウエアエンジニアリングによって、ハードウエアを含めたシステム全体の性能や可用性、セキュリティを高める方法論のこと。明確な定義はないが、「ハードウエア寄りの業務が多い印象のあるインフラエンジニアに比べて、ソフト
シェルスクリプトの書き方
12月にTwitterに流れていたPOSIX何とかという話題を読んでいたらこの記事にたどり着いた。もう3年以上前の記事だけれど、内容がとても偏っていると思う。 シェルスクリプトの書き方について解説しているウェブ上の資料は少なく、当該記事も検索に引っかかりやすい。最近の初学者はまず検索して調べることが多いが、反論が検索に引っかからないとそれが正しいと受け入れてしまう可能性が高いように思う。きちんと反論している日本語の記事が引っかからないので、あえて問題と思う点をまとめてみた。 そんなこと書いているあなたは誰? わたしはシェルスクリプトの専門家でも職業プログラマでもないけれど、シェルスクリプトを書いた量はそれなりにあると思う。環境はSunOS4, Solaris, HP-UX, IBM AIX, FreeBSD, OpenBSD, Linuxを経験していて、移植性や性能の問題がどこで発生しやす
HTTP/2サーバー「H2O」の開発者である奥一穂氏が次世代CDNの米Fastlyに転職
HTTP/2に対応したHTTPサーバーソフトウエア「H2O」など多くのオープンソースソフトウエアの開発で知られる奥一穂氏が2017年1月12日、DeNAから米Fastlyに2017年1月1日付けで転職したことを自身のブログで明らかにした（ブログエントリ）。Fastlyは、配信拠点サーバーのキャッシュを高速に更新できる次世代のCDN（コンテンツデリバリーネットワーク）サービスを運営する。 同氏は転職の理由として、Fastlyが「H2Oの世界最大の利用者であり、世界有数の規模のHTTPトラフィックを捌く事業者であり、HTTPを高度に運用することを事業のコアとしている」（同氏のブログエントリより）ことを挙げている。同社は、著名なソフトウエアエンジニアである宮川達彦氏が在籍していることでも知られる。同氏は「最も尊敬するエンジニアの一人である奥氏と働けることにとても興奮している」（原文は宮川氏のツイ
Split-second data mapping
People generally associate graphic processing units (GPUs) with imaging processing. Developed for video games in the 1990s, modern GPUs are specialized circuits with thousands of small, efficient processing units, or “cores,” that work simultaneously to rapidly render graphics on screen. But for the better part of a decade, GPUs have also found general computing applications. Because of their incr
家で長時間作業する人におすすめの机と椅子 - Hatsuka
今年買ってよかったもの Advent Calendar 2016の8日目の記事です。 3日目の方と少しシンクロしますが、椅子（+机）についてです。 過去の苦い思い出 今年は会社を退職し、家での作業時間が増えたため机と椅子を買うことに。 それ以前には、一応机と椅子はあったのですが、断捨離で捨ててしまいました…。 そして、ここ3、4年くらいはこたつかAVボードの上で作業してました。 それまでの作業環境 大学入学時 兄のおさがりで、そのまま使うことになった机と椅子。折りたたみ式のものを使っていたのですが、たたむことは一切なかったです。 机の脚と椅子の脚がガンガン当たるし、背中持たれられないし、お尻痛いし、高さ変えられないし、クッション敷いてもすぐ落ちるし…で結果あまり使わず。 社会人になってから ネットで椅子だけ買ったのですが、革は夏場はむれて暑いし、脚太くて重いし、背もたれの角度が自分に合わな
Netflix Chaos Monkey Upgraded
chaosmonkey — Chaos Monkey is a resiliency tool that helps applications tolerate random instance failures. The Freedom and Responsibility culture at Netflix doesn’t have a mechanism to force engineers to architect their code in any specific way. Instead, we found that we could build strong alignment around resiliency by taking the pain of disappearing servers and bringing that pain forward. We cre
OSSコミュニティの継続性
力武さんがこういう記事を書いている。自分自身BSD界隈に関わって15年は経つし、コミュニティ運営についてはいろいろと経験を積んだつもりなので、意見を書いてみることにした。書いてみたらまとまりのない文章になってしまったけれど、残しておくことにする。 目的のないコミュニティは続かない 「コミュニティに参加している人の年齢が高くなって、そのうちなくなるんじゃないか」という懸念は、少なくともFreeBSDには当てはまらない。活動がなくなる開発者もいるが、若いcommitter（ソースコードの変更権限を持っている開発者）は定期的に入ってきていて、人材の流動性は入口も出口も高い。CSRGの時代に活躍していた人が最近になって開発に再参加するケースも増えた。これらは国際会議の運営などを通じて交流を深める努力をしている成果でもある。50代や60代でコードを書いて参加しているひとはたくさんいて、特別なことでは
人工知能、機械学習、ディープラーニングの違いとは | NVIDIA
本稿は、長年のテクノロジ・ジャーナリストであるマイケル・コープランド（Michael Copeland）氏がディープラーニングの基本を説明する一連の記事の第一弾です。 「人工知能は未来のテクノロジだ」、「人工知能はサイエンス・フィクションだ」、「人工知能はすでに私たちの日常生活の一部だ」――これらの説明はすべて事実であり、単にAIのどの面を指して言っているかによります。 たとえば、今年、Google DeepMindが開発したプログラム「アルファ碁」（AlphaGo）が囲碁の対局で韓国のプロ棋士イ・セドル（Lee Se-dol）氏を破った際に、DeepMindが勝った経緯を説明するため、「AI」、「機械学習」、「ディープラーニング」という言葉がメディアでさかんに取り上げられました。この3つは、どれもアルファ碁がイ・セドル棋士を打ち負かした理由の一部ですが、同じものではありません。 その関係
データ分析担当は企画段階からコミットせよ！ドリコムのデータ分析チームの在り方 | SELECK [セレック]
〜ドリコムのデータ分析チームが、受け身の体制から事業へコミットするチームへ変貌を遂げる！分析チームを変えた、その取り組みを紹介〜 企業でのデータ活用が一般化するにつれ、データ分析チームを社内に設置する企業も増えている。 そのデータ分析チームが、最大の成果を出すために取り組むべきことは何だろうか。 ソーシャルゲームを始めとした、様々な事業を展開する株式会社ドリコムは、2015年に「データ分析チーム」の名称を「データコンサルティンググループ」に変更した。その裏には、データ分析担当は企画段階からコミットするべきという考えがあった。 ディレクターやプランナーからの依頼で動くことも多く、受け身になりがちなデータ分析担当。その環境を変えるための取り組みについて、データコンサルティンググループを統括する中村 竜太郎さんに詳しく伺った。 事業にコミットするデータコンサルティンググループ ドリコムには、20
![データ分析担当は企画段階からコミットせよ！ドリコムのデータ分析チームの在り方 | SELECK [セレック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d724f1e9623aac374dcdfadcf8a852acf7172b77/height=288;version=1;width=512/https%3A%2F%2Fdpd29bjwmgbr8.cloudfront.net%2Fwp-content%2Fuploads%2F2018%2F06%2F22112610%2F270.png)
AWSのP2.*インスタンスで PG-Strom を試す - KaiGaiの俺メモ
従前、AWSの提供するGPUインスタンス g2.* に搭載されているGPUはGRID K520というちょっと古いモデルで、PG-Stromは非対応だった。 理由は、一年ほど前にComputing Capability 3.5以降で対応のDynamic Parallelism機能を使うように全面的に作り直したからで、詳細は以下のエントリを参照。 kaigai.hatenablog.com その後、昨年の10月にAWSは新世代*1のGPUインスタンスを新たにリリースした。 japan.zdnet.com これでPG-Stromの動作要件を満たすようになった上に、特にメモリ搭載量で相応の強化が行われたため、例えばPGconf.ASIAで発表を行った創薬領域の類似度サーチのような、I/Oが支配的でないようなワークロードであれば相応の効果が見込める、ハズである。 発表から少し間が空いてしまったが、p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dataproc | Google Cloud