「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた｜ハイクラス転職・求人情報サイト AMBI（アンビ）
「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた 国内外で展開する膨大なメッセージを処理する、LINEアプリのインフラってどうなっているの？ こんな素朴な質問をサーバー、ネットワークなど、中の人に聞いてみました。 2011年6月のリリース以来、右肩上がりの成長を続けるコミュニケーションアプリ「LINE」。主要4カ国（日本・タイ・台湾・インドネシア）の月間アクティブユーザー数は1億6,400万人を超えており、多くの人々にとって必要不可欠な社会的インフラにも等しいアプリになっています。 そして、多数のユーザーを抱えるアプリでは、膨大な量のトラフィックやデータを前提としてインフラアーキテクチャを設計する必要があり、インフラエンジニアの技術力がアプリの使い勝手に大きな影響を与えます。 本稿では、LINE株式会社のサーバーサイドエンジニア 中村俊介さん、サ
なぜ「システムが無事に動いている」ことの価値は理解されないのか
最近はあまり技術的な仕事をしていないんですが、実は私は元々DBエンジニアです。 OがつくDBとか、PがつくDBとか、mがつくDBとかをいじくって、クエリを書いたり、テーブルの設計をしたり、パフォーマンスのボトルネックをあれこれ調べて解消したり、INDEXヒントを総とっかえして頑迷なオプティマイザをぶん殴ったりすることが主なお仕事でした。今でもたまーにそういうことをします。 同業の方であればお分かりかと思うんですが、DBのパフォーマンスは凄く唐突に、かつ多くの場合極端に落ちます。そして、DBのパフォーマンスが落ちると物凄く広範囲に影響が及びます。 アプリケーションサーバ、重くなります。クライアント、ろくに動かなくなります。お客様、切れます。カスタマーサポートにはわんさか電話がかかってきます。 ただ「遅くなる」だけでも十分に影響は甚大なのですが、それ以上のトラブルが発生するとまあエラいこっちゃ
Books For Site Reliability Engineering
By: Heather Adkins, Betsy Beyer, Paul Blankinship, Ana Oprea, Piotr Lewandowski, Adam Stubblefield Can a system be considered truly reliable if it isn't fundamentally secure? Or can it be considered secure if it's unreliable? Security is crucial to the design and operation of scalable systems in production, as it plays an important part in product quality, performance, and availability. In this bo
Amazon AWSでユーザ数1100万以上にスケーリングするためのビギナーズ・ガイド | POSTD
あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か
米ガートナー、先進テクノロジーにおけるハイプサイクル2016年版を発表。機械学習やブロックチェーンは過度な期待のピーク、量子コンピューティングは黎明期に
「Gartner's 2016 Hype Cycle for Emerging Technologies Identifies Three Key Trends That Organizations Must Track to Gain Competitive Advantage」から、縮小のため一部改変。赤線はPublickeyによる ハイプサイクルは、技術の登場から安定までを以下のステージに分けて説明したもの。 黎明期（Innovation Trigger） 「過度な期待」のピーク期（Peak of Inflated Expectations） 幻滅期（Trough of Disillusionment） 啓蒙活動期（Slope of Enlightenment） 生産性の安定期（Plateau of Productivity） 2016年版のハイプサイクルの中から、注目されるキーワー
Jupyter notebook を用いた文芸的インフラ運用のススメ
prepared for: Jupyterで運用する(したい)人たちの集い(仮) @ NII 2016 Jul 1. -- updated on 04 Jul 2016Read less
Dropboxが構築したMagic Pocketの中身：エクサバイトのストレージシステムの仕組み | POSTD
自社で構築した数エクサバイトのストレージシステム、 Magic Pocketを発表 して以来、多くの好意的なフィードバックをいただいています。この発表に続きまして、舞台裏からシステムの興味深い側面を見ていただくことができる技術ブログシリーズを投稿していこうと思います。保護の仕組み、運用ツール、ハードウェアとソフトウェアの境界線上の革新などです。しかし、まず、背景を説明する必要があるでしょう。本稿では、Magic Pocketのアーキテクチャ概略と設計で使われた基準についてお話しします。 紹介の投稿 で説明しましたように、Dropboxには、ファイルの内容と、ファイルやユーザについてのメタデータという2種類のデータが保存されます。Magic Pocketは、ファイルの内容を保存するのに使われるシステムです。保存するファイルは、ブロックに分割されて耐久性のためにレプリケーションされ、複数の地域
アマゾン､グーグルも頼るインフラ屋の正体
――ずっと増収を続けているのは、優良企業の顧客が多いからですか。 それだけではありません。今、コンピュータ、携帯電話、自動車、冷蔵庫など、いろいろなデバイスがインターネットと接続するようになりましたね。接続が進むことでわれわれの業績も拡大している。サーバー、ストレージが必要ですし、デバイスやクラウドはデータセンターによって生きているといっても過言ではありません。 シリコンバレーで最も成功した企業の1社 最近のようにモバイル化が進んでユーザーが世界的に分散していくと、データセンターにはキャパシティのほか、ネットワークの相互接続も求められます。すべてのトラフィックはデータセンターを経由して企業と企業をつなぐことになり、私たちはそれを円滑にする作業をしています。世界40都市に145カ所以上のデータセンターを展開しており、年に2～3カ所拡大しています。また、データセンターを保有していた企業が、われ
「現場のインフラ屋が教える インフラエンジニアになるための教科書」 本日発売です。
以前にもお知らせいたしましたが私も執筆した「現場のインフラ屋が教える インフラエンジニアになるための教科書」が本日発売です。皆様どうぞよろしくお願いいたします。 「目次」はこんな形となっています。 第1章 インフラ技術の基礎知識 1.1 ネットワークとプロトコル 1.1.1 OSI参照モデルとTCP/IPの階層モデル 1.2 IPプロトコルの役割 1.2.1 IPアドレスとプロトコル 1.2.2 サブネットでネットワークを分割する 1.2.3 特別なIPアドレス 1.2.4 ルーティング 1.2.5 IPv4とIPv6 1.3 ポートとプロトコル コラム：TCPとUDP 1.4 ドメイン名とDNS 1.4.1 ドメイン名 1.4.2 ドメイン名の種類 コラム：そうはいっても”独自ドメイン” 1.4.3 DNSの仕組み コラム：DNSの使い方も進化している 1.5 Webサービスのインフラ構
インフラ新卒研修と社内ISUCONのはなし - クックパッド開発者ブログ
インフラ部の荒井（@ryot_a_rai）です。 今年の4月、弊社には11名の新卒エンジニアが入社しました。そして現在、3ヶ月間の研修を受けています。ビジネスマナーから技術研修まで幅広く行われていますが、その中で5月下旬におこなったインフラ研修とその後の社内ISUCONについてご紹介します。 インフラ研修（講義） インフラ研修はインフラ部に配属されるエンジニアに限らず、全新卒エンジニアが参加する研修です。日常業務でコードを書いてサービスを開発していくうえで知っておいてほしい、インフラに関する基礎知識や共通言語を獲得することを目的としています。合計3日間をインフラ部の@kani_bと分担して講義しました。研修内容の内容はざっくりと以下のようなものです。 1日目 インターネットとは ブラウザでウェブサイトを閲覧する際になにが起きているのか IPからHTTPまでざっくりと Webインフラアーキテ
本を書きました！「現場のインフラ屋が教える インフラエンジニアになるための教科書」 6月24日発売です。
横田です。昨年から書いていた本「現場のインフラ屋が教える インフラエンジニアになるための教科書」が6月24日に発売されます。個人の本としては8冊目で、今回は 寺尾さんや中村さん、波多野さんとの共著となります。 内容はタイトル通り「ITインフラの教科書」で、ITインフラの基礎的な事柄やDevOpsやセキュリティなど幅広く取り扱っています。私が担当している箇所は「ITインフラの選定」の部分でオンプレミスから始まり、VPSやIaaSなどについて解説をしております。 私が「現場のインフラ屋」と言われると正直困ってしまいますが、これでも「それなりの規模のITインフラ」の企画業務を8年ほどやっておりますので、これからインフラエンジニアになろうとされている方には、それなりに役立つと思います。 というわけで今回もどうぞよろしくお願いいたします。
クラウドに次に必要なものは？
新しい職場にきて、3ヶ月ほどたった。まだ馴染みきったかはわからないが、まあなんとかやってます。 あんまり職場の細かいことは書かないが、正直いろいろな人がいる。メディア業界に近いような仕事の仕方や空気感もあれば、まさにエンタープライズなところもあるので、AWSの経験がなかったら相当とまどっていただろう。最後の方は同じことを感じていたがこの間の架け橋をなんとかしていくことで、よりベターなシステムが作れるのではという仮説をもっている。あまり合理的ではない部分をそぎ落とし、フレキシブルに対応すべき部分はフレキシブルに、プロセスと品質重視で対応すべき部分はエンタープライズらしいやり方の方が好ましい場合だってあるのだ。要求されているもので答えが変わる、当然だけどそれがなかなかできない事。こうでなければいけない、こうであってはいけない、同じ業界に長くいる・同じところに長く留まることで見方の癖みたいなもの
The Twelve-Factor App （日本語訳）
はじめに 現代では、ソフトウェアは一般にサービスとして提供され、Webアプリケーション や Software as a Service と呼ばれる。Twelve-Factor Appは、次のようなSoftware as a Serviceを作り上げるための方法論である。 セットアップ自動化のために 宣言的な フォーマットを使い、プロジェクトに新しく加わった開発者が要する時間とコストを最小化する。 下層のOSへの 依存関係を明確化 し、実行環境間での 移植性を最大化 する。 モダンな クラウドプラットフォーム 上への デプロイ に適しており、サーバー管理やシステム管理を不要なものにする。 開発環境と本番環境の 差異を最小限 にし、アジリティを最大化する 継続的デプロイ を可能にする。 ツール、アーキテクチャ、開発プラクティスを大幅に変更することなく スケールアップ できる。 Twelve-F
インフラを意識してコードを書くということ - Hatena Developer Blog
チーフエンジニアの id:Songmu です。 4月に 新人エンジニア研修を行なった のですが、その際に、「インフラを意識したアプリケーションの書き方」という講義を担当しました。そこでおこなった講義の内容について整理しながら書き起こしていきたいと思います。 インフラを意識すると何が良いか 業務でWebアプリケーションを扱うと、個人ではなかなか扱えないトラフィックであったりデータ量を扱うことになります。小規模サービスでは考えなくてよかった多くのことを考慮する必要がでてきます。なかなか体験できないことでもあるので、楽しく、やりがいもあります。 また、そういった経験を通して、インフラを意識しコードをかけるスキルを身につけることは、Webエンジニアとしては大きな強みとなります。ISUCONで優勝できるかもしれません*1。 インフラを意識すると何が良いか 〜 中規模ベンチャーの場合 そもそも、はてな
構成管理してるつもりだけにならない方法
構成管理ツールを用いたインフラ開発フローの改善 at Pepabo Tech Conference #5 http://pepabo.connpass.com/event/30348/
スケールアウト再考
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno
ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと - ゆううきブログ
この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談
モンストを支えるインフラの今とこれから
dots. Conference Spring 2016 ゲーム開発の裏側 http://eventdots.jp/event/580344
分散システムについて語るときに我々の語ること ― 分散システムにまつわる重要な概念について | POSTD
分散システムについては、もう随分と前から学びたいと思っていました。ただ、それは一度首を突っ込んだら最後、ゴールのない迷路に迷い込むようなものなのです。どこまでも続いているウサギの穴のようなものです。分散システムに関する文献は星の数ほど存在します。様々な大学からたくさんの論文が発表されているばかりでなく、膨大な数の書籍もあるのです。私のような全くの初心者には、どの論文を読んだらいいのか、どの書籍を買ったらいいのか、見当もつきません。 そんなとき、一部のブロガーが、 分散システムエンジニア （それがどういう意味であれ）になるなら知っておくべき論文というものを推奨しているのを見つけました。その一部を紹介しましょう。 FLP , Zab , Time, Clocks and the Ordering of Events in a Distributed Systems , Viewstamped
書籍「たのしいインフラの歩き方」を執筆しました | 外道父の匠
エンジニアになってかれこれ14年目、そのうちの多くをインフラエンジニアとして過ごしてきました。ドリコムが弱小ベンチャーの時代から始まり、上場を経て今に至るわけですが…… そんな私の経験を凝縮したような書籍 『たのしいインフラの歩き方』 を執筆しましたことを、ご報告させていただきます！ 本の概要 タイトルどおり、インフラ周りの歩き方について記したものであるため、これを読めば環境を構築できるとか、深い技術や仕組みを理解できる、というようなザ・技術書といった類の内容ではありません。 では、ここでいう歩き方とはなんぞや？といいますと、起業したての小企業から、数百人規模の大企業に至るまでに、どのような技術的要望があり、どのように解決していくのか、という時間軸や規模感に沿ったインフラのエンジニアリングや、その心構え、ということになります。 対象読者としては、大きくは初～中級者のエンジニアとなっています
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
