【AWS】インフラエンジニアでなくてもできるアクセス負荷対策 - Qiita
こんにちわ、スタートアップで働くサーバーサイドエンジニアです。 メインはサーバーサイドですが、スタートアップなのでインフラやフロントについても担当させて頂く機会が多いです。 そこで今回はTV放送に耐えられるように行った負荷対策とその結果について書いていこうと思います。 AWSなどのクラウドサービスを使えば、インフラ専門の方でなくても随分な対策ができてしまいます。 ぜひサーバーサイドメインでインフラわからないよって方の参考になればと思います！ ①アクセス数の予測 放送される番組の視聴率や放送範囲からアクセス数を予測しました。 (視聴がわからない場合は番組担当者の方に直接聞いたり週間高世帯視聴率番組10 - ビデオリサーチ、テレビ視聴率ランキング | インターネットTVガイドが参考になりました) 計算内容はこちら(参考: カウル Tech Blog) # 総アクセス数を求める公式 総アクセス数
なるべく切れない回線のつくりかた（物理） - Qiita
◆なるべく切れない回線とはなんですか？ 「落ちないシステムなんてない」 「切れない回線なんてない」 エンジニアの方なら理解してくれると思います。 しかし、理解はしつつも回線断を体験したことがある人はあまりいないのではないでしょうか。 じつはその「あまり」中にあなたが含まれないのは、わりと運が良いだけなのかもしれません。 今日もたくさんの回線が切れています。今もどこかで切れています。月額5000円のベストエフォート回線でも、月額1000万円の10G専有回線でも、切れるときはいつでも切れます。明日もたくさん切れるでしょう。明後日も。来年も。１０年後も。古来電信回線から今後5Gになっても、人類が通信をし続ける限りは切れ続けます。その時に切れるのは、もしかするとあなたに関係があるネットワークかもしれませんし、運良くそんな事態には遭遇しないのかもしれませんし、気づかないうちに復旧しているかもしれませ
技術/UNIX/od, hexdump, xxd : 16進数 or 2進数ダンプ - Glamenv-Septzen.net
id: 1224 所有者: msakamoto-sf 作成日: 2013-07-27 18:46:41 カテゴリ: Linux UNIX [ Prev ] [ Next ] [ 技術 ] 使うたびにググってるので、いい加減、よく使うパターンについてメモ。 16進数(od, hexdump, xxd)と2進数(xxd)ダンプ出力の、よく使うコマンド例のまとめ。 (unix上でのバイナリファイルの編集については 技術/vim/メモ6, バイナリデータの編集 とか参照。) od -v : 直前と同じ内容を持つ行も表示する。事実上、必須。 -Ax : 基数を16進数に。 -t : GNU od : -tx1z : 1バイトずつ16進数で、対応する文字を行末にまとめて表示。 BSD, Solaris : -tx1c : 1バイトずつ16進数で、対応する文字を次の行に表示。 $ echo "abcde
【コンテナ技術入門】コンテナ要素技術をDocker使わずに基礎から手を動かして学べる超有用なテキスト #dockerTokyo | DevelopersIO
「Dockerって、結局中でなにやってんの？」 先日、以下のミートアップに参加して、LT登壇してきました。 Docker Meetup Tokyo #31 (初心者歓迎LT祭り＋KubeConCN報告) 自分はLTの一番手として、「雰囲気でコンテナ使っている 全ての人が読むべき 「コンテナ技術入門」の紹介」で喋ってきたので、それの登壇報告となります。 「コンテナ技術入門」は、Dockerコマンド一通り使えるようになってきたけど、もっとDockerやコンテナについて深く知っておきたいという方にはむちゃくちゃ有用なコンテンツなので、一度目を通して、実際に手を動かして試してみることをオススメします。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ｺﾝﾃﾅﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 講演概要 当日のセッションスライドはこちら。 この記事では、LTという時間枠の中
docker-compose + リバースプロキシ + ロードバランシングの環境構築手順 - Qiita
概要 docker-composeで構築した環境に、nginxのコンテナを作成し、リバースプロキシとロードバランシング(scaleを使います)の機能を持たせた手順。 下記の記事に、リバースプロキシとロードバランシングの機能を加えたものです。 [関連記事] docker-compose on CentOS7構築手順メモ CentOS 7.1 docker-engine (Docker 1.12.3) docker-compose 1.8.1 docker-engine, docker-composeのインストール 下記を参照 docker(docker-engine), docker-composeのインストール コンテナ構成 コンテナ名 役割 リンク先 イメージ元
ブラウザのキャッシュコントロールを正しく理解する - Qiita [キータ]
①ブラウザに一切、キャッシュさせたくない場合 サーバからクライアントへのHTTP応答ヘッダ → Cache-Control "no-cache" アクセス毎に内容が変わったり、サーバにアクセスしてもらわないと困るようなコンコンテンツの場合です。 スクリプト言語等で生成する動的コンテンツは、このようにした方が安全です。 例えば対象コンテンツが画像である場合、ブラウザで同じ画像のURLが含まれたHTMLを開いた場合は、 もちろんローカルにキャッシュがないので、サーバへ問い合わせを行う 条件つきリクエスト（If-Modified-Since、If-None-Match）もサーバへ送ってこない ②ブラウザにキャッシュさせるけど、変更ないか都度確認するようにしたい サーバからクライアントへのHTTP応答ヘッダ → Cache-Control "max-age=0" → Expires "Mon, 2
![ブラウザのキャッシュコントロールを正しく理解する - Qiita [キータ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9bd44f8ceadb57a90ce584b33ae0856bdec0011a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgzJTk2JUUzJTgzJUE5JUUzJTgyJUE2JUUzJTgyJUI2JUUzJTgxJUFFJUUzJTgyJUFEJUUzJTgzJUEzJUUzJTgzJTgzJUUzJTgyJUI3JUUzJTgzJUE1JUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTg4JUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgyJTkyJUU2JUFEJUEzJUUzJTgxJTk3JUUzJTgxJThGJUU3JTkwJTg2JUU4JUE3JUEzJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04MGM4YTY3MGUzNjAwZjZhZWQ0MTMyMjBkMDI4N2U2OA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGt1c3UmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgzODlkZjUwMzQyMTYxZTIxNzkwY2ZmOGViMjg4M2Fh%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7612c2a9e8c495820b1d16e95424ad73)
静的リソース(HTML,JS,CSS,画像)のブラウザキャッシュを制御 - Qiita
前回のエントリ(ブラウザのキャッシュコントロールを正しく理解する)でブラウザ側のキャッシュ制御について説明しました。 ただ動的スクリプトなら、次の例のようにHTTPレスポンスヘッダを操作すればいいのですが、 <?php header('Content-Type: text/plain; charset=UTF-8'); header('Cache-Control: max-age=0'); echo "Hello World!"; ?> スクリプトを介さない静的リソース(HTMLファイル、JSファイル、CSSファイル、画像ファイルなど)はどうやってHTTPレスポンスを操作すればいいかというと、もしApacheを利用している場合は mod_header と mod_rewrite を利用して次のように簡単に出来ます！ 設定例 想定ケースとして、次のようにブラウザ側のキャッシュを制御したいと仮
Dockerサービスの簡単リバースプロキシ - Qiita
はじめに Docker使ってますか？同一ホストに簡単に複数のアプリケーション環境を起動することができて便利ですよね。 しかし、複数のコンテナを起動した際に悩ましいのがポートマッピング問題・・・。 ホスト側の空きポートを明示的に指定してあげる必要がある ブラウザからアプリケーションへのアクセスは、可能な限り80番を使いたい これらの問題を、nginxで（動的に）リバースプロキシを設定し、任意のサブドメイン等からコンテナにアクセス可能にさせてくれるDockerイメージが jwilder/nginx-proxy です。 アプリケーションのポートマッピング例 以下のような、docker-compose.ymlファイルの場合 version: '3' services: web: image: web ports: - "80:80" web2: image: web2 ports: - "8080
ssコマンドはバグと地雷の塊なのでnetstatの代わりにならない - ろば電子が詰まつてゐる
既に有名な話ですが、CentOS 7およびRed Hat Enterprise Linux 7からはifconfigコマンドやnetstatコマンドが非推奨となり、デフォルトインストールすらされなくなりました。代替として、ifconfigコマンドはipコマンド、netstatコマンドはssコマンドが用意されています。 というわけでさっそくssコマンドを試していたのですが、明らかに動きがおかしなところがあり、少し調べてみました。 そして、「netstatコマンドの代替と思って安易にssコマンドを使うと、これは痛い目に遭うな……」ということが分かったので、不幸になる人を少なくするためにこのエントリを書きました。 概要 結論から先に言うと、CentOS 7/ RHEL 7のssコマンドには「UDPの開放ポートがTCPと報告される」というひどいバグがあり、使うべきではありません。 また、ssコマン
AWSへの移行におけるアカウント、及び、ネットワーク設計についての考察 - サーバーワークスエンジニアブログ
こんにちは、技術3課の城です。 サーバーワークスに入社して１年半となりましたが、いろいろなお客様の設計や構築業務に携わらせていただきました。 その中で、アカウントやネットワークの設計は土台となるものなので、重要性や難しさについて経験してきました。 最近ではAWSのサービスの拡張により、設計思想を若干変化させる必要がありそうです。 特にネットワークにおいてTransit GatewayやVPC共有等が昨年末発表されたことにより、アカウント設計、ネットワーク設計をより分離して考えることができるようになったと感じています。 そこで、現時点ではどういう観点で設計の検討をしていくかについて、まとめてみたいと思います。 1. 基本的な方針 要件は抑えつつ、できるだけシンプルな構成を心掛けています。 AWSは自由度が高く、要件に合わせやすい反面、複雑にしようとすれば際限なく複雑になってしまう一面がありま
SREをはじめる際のポイント：モニタリングとサービスレベルの考え方
近年、何かと話題に上がるSRE（Site Reliability Engineering）。しかし、「自分たちのチーム・組織に関係する話なのかよく分からない」「具体的に何をやればいいの？」といった感想を持つ方は多いのではないでしょうか。本連載では、そういった方に向けて、SREの考え方をご紹介します。連載の後半では、SREをいち早く取り入れた企業に導入背景などもインタビュー形式でお伝えする予定です。第三回となる本記事では、自社でSREチームの立ち上げを行ってきた筆者の経験をもとに、SREをはじめる際のポイントとして、実践的なモニタリングとサービスレベルの考え方についてお伝えします。 はじめに 株式会社スタディストSREチームの@katsuhisa__です。前回記事「SREをはじめるには、まずどうすればいいですか？ SREに必要なスキルと取り組み方」では、SREのはじめかたについて、スキルと取
ログ設計指針
概要 このドキュメントは、効率的かつ安定した、システム開発/運用をするためのログ設計指針です。 的確かつ無駄のない、ログ出力を目指します。 ログレベル ログの緊急度や用途により、以下のようにログレベルを設定する。 Log4j のログレベルを踏襲しているため、運用の状況によっては Critical などのレベルを適宜追加すると良い。 PHP における PSR-3 では、さらに細分化され emergency, alert, critical, error, warning, notice, info, debug となっている。 「出力先」「運用時の対応」は、各プロジェクトのポリシーに準じてください。 レベル 概要 説明 出力先 運用時の対応
【備忘録】dockerのログをfluentdでS3に保存する - TECHLOGICS
要件 AWS EC2で動かしているdockerのログの管理が面倒臭いので、S3に集約したい。 大事なこと S3へのアクセスコントロールは幾つか手段があってややこしいように見えるが、サーバからファイルをputするだけならIAMでEC2インスタンスにロールを設定するだけで良い。アクセスキーを取得する必要さえないし、インスタンスが増えても生成時に既存のポリシーを使い回し可能なので追加の設定も必要ない。 S3にバケット作成 バケット側に特に設定の必要はない。ただ、バケット名は後で変更が出来ないため注意。 ロールの作成 IAMダッシュボードからロールの作成。 対象のサービスにEC2を選択。 適用するポリシーを選択する。ここではログの読み書きのためAmazonS3FullAccessを選択。 ロール名を入力。ロール名は後で変更できないため注意が必要。 あとは新規にインスタンスを建てる時に適用するだけ。
インフラエンジニアであるか見分ける10の質問への回答 - smellman's Broken Diary
インフラエンジニアであるか見分ける10の質問をダメなインフラエンジニアが回答してみました。 1. 今まで自身で構築したサーバの種類と、その構築方法について説明せよ Application Server, Web Server, Database Server, File Server Application ServerはWeb Serverと共有しているケースが多い、主にPassengerを使ったケース。冗長化するケースが多いので、大体pound使ったりする。 Database ServerとFile Serverも何故か共有することが多い。File Serverと言っても大体Application で利用するファイルの共有がメイン。 DRBDでデータベース領域を共有化しておいて、Heartbeatで監視というのが大体のパターン。そろそろpeacemakerに浮気をしたい所存であります。
インフラエンジニア向けシステム系論文 - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2014の23日目とシステム系論文紹介 Advent Calendar 2014の23日目を兼ねています。 今回は、インフラエンジニア向けにシステム系論文を読むということについて書きます。 ここでいうインフラエンジニアは、Webサービスを作る会社のサーバ・ネットワーク基盤を構築・運用するエンジニアを指しており、はてなではWebオペレーションエンジニアと呼んでいます。 人が足りなくて普通に困っているので採用にご興味のある方はぜひこちらまで。 SRE (Site Reliability Engineer) 職 - 株式会社はてな はてなでは、id:tarao さんを中心に有志で論文輪読会を定期的に開催しており、システム系論文にかぎらず、言語処理系、機械学習についての論文などが読まれています。 だいたい１人でインフラまわりの論文を読んでいて、インフラ
インフラエンジニアと謎のサーバ - Qiita
この記事は闇の魔術に対する防衛術 Advent Calendar 2018の6日目の記事です。 あらすじ この世には歴史的経緯により何が動いているか分からない謎のサーバというものが存在する。 謎のサーバには、気の利いたドキュメントだの仕様だのGitHubにコードが上がってるだの、そういう甘っちょろい物は一切ない。謎のサーバは殆ど変更される事なく、あまりトラブルを起こす事なく、しかし何かのサービスによって必要とされてひっそりと動いている。 インフラエンジニアは時にこういった謎のサーバを調査して、ドキュメントに起こすか、コード化するか、ひっそりと退役させるか、はたまたリプレイスするか、といった対応に追われる。 私はこういったタスクの事を”考古学”とか”遺跡発掘”とか呼んだりする。 (考古学の成果の一例) uptime2700日超えのサーバにshutdown -h nowをカマした — かんが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本当は恐ろしい分散システムの話
hatebu.me
サーバサイドの技術スタック・アーキテクチャ総ざらい - SmartNews Tech Night in Fukuoka Vol.1
TCP/IPの基礎（前編） - Google スライド
