Infra Study Meetup #3 「SREのこれまでとこれから」の発表資料です https://forkwell.connpass.com/event/176885/
SRE_Culture_Organization
Infra Study Meetup #3 「SREのこれまでとこれから」の発表資料です https://forkwell.connpass.com/event/176885/
セキュリティグループのSSH全開放をAWS Configで自動修復したら3分くらいで直ったからみんな使ってほしい件 | DevelopersIO
こんにちは、臼田です。 皆さん、自動化してますか？(挨拶 先日AWS Config Rulesでコンプライアンスに非準拠となった時に自動修復ができるようになりました。 もともとはLambdaを経由して自動修復が可能でしたが、今回はConfig Rulesで違反を検知してそのままSSM Automationを実行できるのでよりスマートに、より適切になった感じです。詳細は下記をご確認下さい。 [アップデート] AWS Config Rule 非準拠リソースを自動修復する機能が追加になりました！ で、今回はこの機能を利用してSSHを0.0.0.0/0で全開放してしまったセキュリティグループを自動的に修復するという事をやってみました！ タイトルに結論を書きましたが、3分くらいで自動的に修復されましたのでぜひ活用してほしいです。 SSHを全開放することは万死に値するので、もうすべてのAWSユーザはこ
strace でシステムコールの所要時間を調べる - ablog
システムコールの所要時間は strace の -T オプションで調べることができる。 上はEXCELでピボットテーブルを使ってグラフ化したもの I/Oレスポンス（read システムコールの所要時間）は5〜15ミリ秒であることがわかる 例 strace でシステムコールのトレースを取得する $ strace -ttT -o strace-T_fs_`date +'%Y%m%d%H%M%S'`.log dd if=OVMRepo.vmdk of=/dev/null iflag=direct bs=1M count=1000 -T: システムコールの所要時間（秒.マイクロ秒）を出力 ※マイクロ秒=1/1,000,000秒 -tt: タイムスタンプをマイクロ秒で出力 -o: トレースを指定したファイルに出力 出力結果 $ less strace-T_fs_20150111143101.log [.
ネットワークでなぜ遅延が生じるのか
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料） 2020年1月31日 株式会社NTTデータ / NTT DATA Yuki Nishizawa ↓↓↓↓訂正あります。↓↓↓↓ 2018/07/02に株式会社エフコード社内で行われた勉強会のスライドです。 訂正版(随時更新中): https://docs.google.com/presentation/d/15HOMfAbtdWwO48njcB8IdkN3kVAMu3wsmZo0O3S-f_4/edit?usp=sharing 専門家による資料・専門家向けの資料ではありません。自分自身で学習し、論文・文献等を読解してまとめた内容となります。間違い等あるかもしれませんが、あれば是非コメント頂ければと思います。 【訂正事項】 スライド16: 誤：たった一つのプ
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
Terraform by HashiCorp
Deliver infrastructure as codeTerraform codifies cloud APIs into declarative configuration files. AdoptCompose infrastructure as code in a Terraform file using HCL to provision resources from any infrastructure provider. BuildInfrastructure automation workflows to compose, collaborate, reuse, and provision infrastructure as code across IT operations and teams of developers. StandardizeEstablish gu
HashiCorp Blog: Terraform
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
「「技術的負債」を問いなおす」というタイトルでJAWS DAYS 2014で話してきた #jawsdays - Kentaro Kuribayashi's blog
JAWS DAYS 2014のImmutable Infrastructure(以下、II)に関するトラックに呼ばれたので、話をしてきました。Immutable Infrastructure時代のConfiguration Management Toolの要件およびその実装についてや最近のImmutable Infrastructureに関する議論(Orchestration編)というエントリを書いていたからということでしょう。 ただ、最近は首都大学東京ビジネススクール不合格記に書いたように、経営学関連の学習をずっと行っていて、すっかりそのような話題から離れてしまっていた、ありていにいえば特に興味を持たなくなってしまっていたので、進学していたら研究テーマのひとつにしていたであろう件について、だいぶ生煮えではあるけれども最近またそうした話題でネットが盛り上がっていたりもしたので、以下スライド
What Powers Instagram: Hundreds of Instances, Dozens of Technologies
Welcome to the Instagram Engineering Blog, where we share insights on building and scaling our service. One of the questions we always get asked at meet-ups and conversations with other engineers is, “what’s your stack?” We thought it would be fun to give a sense of all the systems that power Instagram, at a high-level; you can look forward to more in-depth descriptions of some of these systems in
米Yahoo!がシステムダウンしない5つの理由
昨年の10月14日、米Yahoo!のトップページがダウンしたと、米Huffington Postが記事「Yahoo DOWN: Yahoo.com Outage Reported」で伝えました。米Yahoo!にとってトップページがダウンすることはきわめてまれなことで、この件が発生するまでほぼ10年にわたりトップページのダウンは起きていなかったと言われています。 その米Yahoo!はシステムダウンを防ぐためにどのような取り組みをしているのか？ 米オライリーが主催したイベント「Velocity 2011」で、Yahoo!サービスエンジニアリング部門のVice President、Jake Loomisが行ったセッション「Why the Yahoo FrontPage Went Down and Why It Didn't Go Down For up to a Decade before Th
Amazonクラウドの大規模障害を経て、これからは「データセンターはいつか落ちる」ことがサービス設計の前提となる
4月21日に発生したAmazonクラウドの米国東海岸データセンターで起こった大規模障害により、Foursquare、Quora、Herokuなど多くのサービスに影響がありました。 すでに障害は復旧し、Amazonクラウドの運営チームからは詳細な報告と今後の対応策について記したドキュメント「Summary of the Amazon EC2 and Amazon RDS Service Disruption in the US East Region」が公開されています。公式な日本語訳「 米国東リージョンにおける Amazon EC2 と Amazon RDS のサービス障害 の概要 (参考和訳）」（pdf）も公開されました。 これによると、障害はネットワークの構成を間違えたことをきっかけにして、ストレージサービスの「Amazon Elastic Block Store（EBS）」やデータベ
Yahoo!が自社のクラウド構築ソフトウェアをオープンソースとして公開へ
Yahoo!が自社内で利用しているクラウドプラットフォームの構築用ソフトウェアを、オープンソースとして来年早々にも公開する予定だと、Registerが記事「Yahoo! to open source floating Google-Amazon crossbreed」で報じています。 ロードバランスとセキュリティを確保した「コンテナ」を提供 クラウドを構築するためのオープンソースソフトウェアとしては、AmazonEC2互換のクラウドを構築できる「Eucalyptus」がすでにありますが、Yahoo!のプラットフォームはEucalyptusのように仮想マシンがむき出しで提供されるのではなく、ロードバランスとセキュリティが確保された「コンテナ」と呼ばれるものが提供されると説明されています。 詳細は不明ですが、開発者は分散処理やフェイルオーバー処理についてはコンテナにまかせることができるようです
らばQ : 世界一インターネット接続が速い国ニッポンの光と影
世界一インターネット接続が速い国ニッポンの光と影 Diggに国別ブロードバンドの平均速度というグラフが載っていました。 これを見ると日本は圧倒的に世界一です。しかし、その中身はというと、そう楽観的なものではありません。 数年前にYahoo!BBが格安ブロードバンドを提供し始めて以来、NTTとの熾烈な競争を繰り広げた結果、日本はとても安く高速なインターネット接続環境が普及した国になりました。 しかし、そこには無理をしすぎたツケというのが貯っているのです。詳細は以下から。 Average Broad Band Speed by Country 上のグラフ(クリックで拡大)を見てわかる通り、日本のブロードバンド接続の平均は60Mbpsという値になっています。これはBフレッツやYahoo!BB光などの最大100Mbpsのサービス加入者が多いためでしょう。 ただし、100Mbpsというのは理論値で、
ユメのチカラ: LiveJournalのアーキテクチャ
先日、mixiのお話を書いた(500万倍のスケーラビリティ)が、幸いにも多くの方からブックマークをいただく。ブックマークのコメントを眺めているとmixiのアーキテクチャはkazuhookuさんとmiyagawaさんからLiveJournalと同様なアーキテクチャだとの指摘をいただく。早速Googleで検索してみた。 LiveJournal's Backend -- A history of scalling, August 2005, Brad Fitzpatrick, 4ページ目の図を見るとmod_perlやらmemcachedやらmixiのお話のとき出てきたおなじみのコンポーネントが見える。ふむふむ。ユーザが増えてくるとDBをマスター・スレーブ構成にしてマスターに書き込みそれをreplicate（複製）する。読み込みはスレーブから行なうので、スレーブを増やせば読み込みはスケールするが、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterにおける大規模システム構築、3つの原則