巨大企業のサーバー構成や内部ツールを覗く - 発明のための再発明
はじめに この記事は設計・アーキテクチャ Advent Calendar 2018の１日目の記事です。 大きなサービスを支えるのは一筋縄では行かず、考えることは多くあります。しかし、ありがたいことに巨大な企業の中にも自社のサーバー構成やそれを支えるツールを公開している企業があります。 この記事では、彼らの叡智に触れるため、有名企業の事例を取り上げ要約をします。 各事例には元記事へのリンクを書いているので、興味があればリンク先も覗いてみてください。 ※新しいものばかりではないので、古くなっていたり既に別の方法に移行している可能性があることに注意してください。 LINE: 25k/secのスパイクをさばくアーキテクチャ 元記事: 25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 最初に紹介するのは、LINEが2018年に実施した、「LINEのお年玉」というイベ
ペパボ・はてな技術大会〜インフラ技術基盤〜@福岡 (2017/10/07 15:00〜)
株式会社はてなさんとGMOペパボ株式会社が共同開催する技術イベント 「ペパボ・はてな技術大会」を2016年のvol.1、2に続き、vol.3を開催いたします。 今回のイベントでは、「はてなのシステム」と「ペパボのシステム」をテーマに、各社システムビジョンについて お話させていただく予定です。 ウェブサービスやホスティングサービスを10年以上運用し続けてきた、はてなさんとペパボの共同開催だからこそ 実現できる充実の内容となっております。 トークセッションはなんと充実した60分を確保！ さらに両社の取り組みを掘り下げて聞いていきます！ 技術の深いところのお話も是非お楽しみに。 「はてなやペパボのエンジニアって、実際どんなことをやっているの？」といった リアルな現場に興味をお持ちの学生の方々も来場お待ちしています。 イベント日程と会場 イベント名：ペパボ・はてな技術大会〜インフラ技術基盤〜@福岡
Datadogで手軽にいい感じに外形URL監視を実現する方法 - Qiita
これはDatadog Advent Calendar 2016 2日目の記事です。 Webサービスを運営している場合、実際のエンドユーザに対して、正常にサービスが提供出来ているかを知る手段として外形URL監視をそれぞれの方法でやっていると思います。 今回は、Datadogを使って外形URL監視を組んだ事例について紹介しようと思います。 目次 外形URL監視とは なぜDatadog こんな感じに出来る Datadogの設定 設定時のポイント まとめ 外形URL監視とは 定期的に、外部公開しているURLに対してリクエストを送り、レスポンスのステータスコードや応答時間をチェックし、異常時には、何らかの通知を送ることで、そのサービスの死活監視をすること。 なぜDatadog Saas系のモニタリングツールだとmackralやpingdomあたりは、Saas側の機能として外形URL監視サービスを持っ
インフラエンジニア以外も必見！インフラの基礎が学べるスライド10選-レバテック
インフラについて、何となく理解しているつもりでも、「インフラとは何か？」と聞かれると、こういうものであると明確に答えるのは案外難しいものです。 そこで、インフラの基礎がわかるスライドシェアを10個ピックアップしてご紹介します。 インフラエンジニアの定義、インフラの基礎、手順書の書き方、インフラ自動化など、初心者から中級者向けの内容となっています。 Web業界で働くなら、システムの基盤となるインフラについて学んでおいて損はないはずです。
ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと - ゆううきブログ
この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談
モンストを支えるインフラの今とこれから
dots. Conference Spring 2016 ゲーム開発の裏側 http://eventdots.jp/event/580344
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
インフラ自動化とHashicorp tools
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
Chef-Soloはオワコンになりlocal modeが今後の主流になるとのこと · DQNEO日記
ブログ書きました → Chef-Soloを100倍楽しく使うためのrsoloというツールを作りました。 http://t.co/GI1DrlMx8O #chef #knifesolo — DQNEO.php (@DQNEO) September 27, 2014 @DQNEO ご存知かもしれませんが参考までにどうぞ（最近の流れだとchef-solo -> chef local mode）: http://t.co/wNvSJz3iOR — Shuhei Tanuma (@chobi_e) September 27, 2014 全俺が泣いた。 SoloからZeroへ。Chef Client Local Modeに移行しましょう 詳しくはChef公式ブログの記事に書かれています。 From Solo to Zero: Migrating to Chef Client Local Mode Ch
インフラの継続的デリバリー - naoyaのはてなダイアリー
事前に断っておくがここでいう「インフラ」はレイヤ的には OS より上の話。 少し前に GitHub 時代のデプロイ戦略 - naoyaのはてなダイアリー で、GitHub を介したデプロイを実践しているということを紹介した。普段の開発を Pull Request ベースでやっているので、デプロイもまた Pull Request を契機に実行させると色々捗る、という話。 このプラクティスの対象領域をインフラにまで拡大してみました、というのが今回の話。 DNS レコードを Pull Request を merge した契機に自動で更新 AWS を利用している場合、ドメインの管理も Amazon Route 53 を使うといろいろと都合がいい。 Route 53 での DNS レコードの更新はこれまでブラウザから操作していた。これだと誰がいつ作業したかわからないし履歴もトラックしづらい。また変更
サーバ大量構築時のキモ ～シリアルナンバーからIPアドレスを自動設定するスクリプト(Ubuntu編)～ | 俺的備忘録 〜なんかいろいろ〜
CentOSも記述したので、こちらも同様に修正。 修正内容もCentOSのスクリプトと同様で、hostlistのキーとなる値をUUIDからシリアルナンバーに切り替えただけだ。 そのため、ここではスクリプトだけを記載する。 ●setip.sh #!/bin/sh function get_network() { local NETWORK="" local BROADCAST="" local NETMASK="" local IPADDR="$1" local MASKBIT="$2" local ip_array=(`echo "$IPADDR" | sed -e "s/\./ /g"`) local ip_index=0 while [ $ip_index -lt 4 ] do if [ "$MASKBIT" -lt 8 ] then MASK=$((256-2**$((8-MASKB
Facebookの数千台規模のmemcached運用について - ゆううきブログ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログの続きとして、Facebook の memcached 運用に関する論文を読んだ。 タイトルなどは以下の通り。 NSDI はネットワークシステムに関するトップレベルのカンファレンス。 Scaling Memcache at Facebook Rajesh Nishtala, Hans Fugal, Steven Grimm, Marc Kwiatkowski, Herman Lee, Harry C. Li, Ryan McElroy, Mike Paleczny, Daniel Peek, Paul Saab, David Stafford, Tony Tung, Venkateshwaran Venkataramani NSDI'13 In Proceedings of the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: イラスト図解でよくわかる ITインフラの基礎知識: 中村親里 (著), 川畑裕行 (著), 黒崎優太 (著), 小林巧 (著), 伊勢幸一 (監修): 本
はてなのインフラストラクチャ設計構想 / The Concept of Hatena Infrastructure
はてなシステム構想 / The concept of Hatena System
Webアプリケーションのキャッシュ戦略とそのパターン / Pattern and Strategy of Web Application Caching
秒間数万のログをいい感じにするアーキテクチャ
ホスティングを支える mruby
Lv1から始めるWebサービスのインフラ構築
