Books For Site Reliability Engineering
By: Heather Adkins, Betsy Beyer, Paul Blankinship, Ana Oprea, Piotr Lewandowski, Adam Stubblefield Can a system be considered truly reliable if it isn't fundamentally secure? Or can it be considered secure if it's unreliable? Security is crucial to the design and operation of scalable systems in production, as it plays an important part in product quality, performance, and availability. In this bo
GoogleスプレッドシートからAWSを操作する
最近、TerraformやCloudFormationみたいに、JSONや独自DSLなどでかっこよくAWSを管理するツールがいろいろ出てきてます。 こういうツールは便利そうだなとは思うんですが、なんかふと、ユーザがホントに求めているものはコレなんだろうか？と思いました。 なんだかんだ言って、一番多く使われているサーバ管理ツールは『Excelサーバ一覧』なのではｗ？ じゃあExcelで同じようなことが出来ればそれが一番いいのでは？と。 というわけで、Excelは手元になくてキツイので、今回はGoogleスプレッドシートでAWSのサーバ構成管理をやってみました。 使い方 事前準備 サンプルのスプレッドシートをコピーする 『ツール』 -> 『スクリプトエディタ』 -> config.gsを編集 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYにAWSのアクセスキーを
Linuxでソースからコンパイルしてインストールしたパッケージを管理する『porg』 | 俺的備忘録 〜なんかいろいろ〜
yumやapt-getからインストールしたり、rpmやdebパッケージを利用してインストールした場合、アンインストールやアップグレードを行うのは簡単だ。 しかし、ソースファイルからコンパイルしたパッケージの場合、makeファイルにuninstallが用意されているならまだしも、もし用意されてないと、パッケージをアンインストールしたりするのは非常に大変だ。 そんなソースからコンパイルしmake installしたパッケージを管理してくれるのが、『porg』だ。pacoという、同じくソースからインストールしたパッケージの管理ツールが前身。 今回は、この『porg』をCentOS 7に実際にインストールし、ソースからインストールしたパッケージを管理してみることにする。 1.『porg』のインストール まずは『porg』のインストールから。 以下のコマンドを実行し、パッケージのソースコードをダウン
新しいMacへの開発環境移行が思った以上に大変だった話 - give IT a try
はじめに 先日、開発マシンを約3年ぶりに新しくしました。 最近発売された15インチのMacBook Proです。 TimeMachine + TimeCapsuleでバックアップを取っているので、そこから復旧させれば簡単に移行できるだろうと思いきや、思った以上に苦労しました。 今回のエントリではどのへんで困ったのかをざっくりとお伝えします。 2台並んだ新旧のMacBook Pro。（どっちが新しいマシンでしょうか？） TimeCapsuleからデータを移行させるのにかかった時間 旧マシンに入っていたデータは200GBぐらいです。 これをTimeMachine + TimeCapsuleにバックアップして、新しいMacを起動する際に移行元のデータにしました。 無線LANよりも有線の方が速いかな？と思い、TimeCapsuleに有線でつないで復旧させました。 有線の方が速いのかどうかはわかりま
そろそろ本気でDockerを始めるためのTips - のんびりSEの議事録
去年あたりから急激にDockerが騒がれてますな〜と ここいらで本気で慣れておきたいところなので、Dockerコマンド〜Dockerfileの作成をまとめてみました。 Dockerとは Docker Inc. がオープンソースで開発しているコンテナ型仮想化技術、ソフトウェア。 各コンテナは独立した環境になっており、その中でアプリケーションをパッケージング、デプロイ、実行することができる。 また、このコンテナは簡単に再利用することが出来、コンテナを複数起動することにより容易にアプリケーションサーバを複数実行することが可能。 Dockerfileに設定を記述していきコンテナを構成していく。GO言語で記述できる。 コンテナとは 一つのホスト上で複数の隔離されたLinuxシステム(コンテナ)を走らせる、OSレベルの仮想化ソフトウェア。 VMに比べ、消費リソースが少い、起動が早い、オーバヘッドが少い
サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
Rubymotion and Apple TestFlight
Apple finally released TestFlight and now allows up to 1000 beta tester to be invited to test your app. Before then, I’ve been using the original TestFlight service. With Rubymotion setting up the original TestFlight service has been pretty simple wrt sending out builds. However, now that I finally got my feet wet with Apple’s TestFlight, the experience is much different. Thinking nothing of the p
Cloudfrontより1/3も安いと噂のkeyCDNを試してみた - razokulover publog
先日、CloudFrontでクラウド破産しかけたのでkeyCDNというCDNサービスを試してみた。 keyCDNはお手頃で何かと便利なのだが、日本語情報がとてつもなく少ないので紹介がてら使ってみた感想などをまとめておく。 keyCDNとは何か keyCDNとは、スイスのベンチャー企業がやっているCDNサービス。 世界中にエッジロケーションがあり、ちゃんと東京にも用意されてある。 数あるCDNサービスの中でkeyCDNを選んだ理由は、 S3をオリジンにできる 転送料金が安い(CloudFrontの東京リージョンの場合に比べて約1/3) 東京にエッジロケーションがある アクセスログなどが見られる素敵なダッシュボードがある というところ。 特にCloudFrontの転送料金ははじめの10TB(東京): $0.14/GB*1に対して、keyCDNの転送料金は、はじめの10TB: $0.04/GBと
AWS 対応した GitHub Enterprise v2 へスムーズに移行した話 - クックパッド開発者ブログ
技術部 id:sora_h です。今回は v2 より AWS 上での運用に対応した GitHub Enterprise を、オフィスにある既存の環境から AWS へスムーズに移行した話について説明します。 GitHub Enterprise v2 GitHub Enterprise (以下 GHE) とは、github.com を自前の環境で運用できるアプライアンスです。クックパッドでは主に GHE 上で開発を行っています。 従来まで GHE の実行環境として VMware vSphere, VirtualBox 上の実行しかサポートされていませんでしたが、11 月にリリースされたアップデート v2 より、AWS での実行がサポートされました。 クックパッドでは全面的に AWS を利用していますが、いままで GHE を AWS 上で動作させる事はできませんでした。そのため、オフィス内に E
構成管理ツール Ansible について - aptheia.info
Ansible というサーバーの設定を管理するツールの説明。いわゆる構成管理 (CM: Configuration Management) にカテゴライズされるもので、Puppet や Chef の親戚みたいなものと考えてもらえればだいたいあってる。 概要 リード開発者は Michael DeHaan で、現職の AnsibleWorks の前は Redhat で Cobbler や Func に携わっていたり、Puppet labs でプロダクトマネージャーしたりしているという経歴の持ち主。 Ansible は Python で書かれている。同じジャンルで Python 製というと Salt が有名。Chef の場合、レシピを書くためには Ruby の知識が必要となってくるけど、Ansible はどんな言語でもモジュールが書けるようになっているので、運用にあたって Python の知識は
Dockerコンテナ内でsshdを実行してはいけない理由 | POSTD
Dockerを使い始めた人がよくする質問といえば、「どうすればコンテナに入れますか？」です。その質問に対して、「コンテナ内でSSHサーバを起動すればいいよ」と答える人たちがいますが、これは非常にマズいやり方です。なぜその方法が間違いなのか、そして代わりにどうすればよいのかをこれから紹介します。 注：本記事へのコメントやシェアは、 Dockerブログ にアップされた標準版から行ってください。よろしくお願いします。 コンテナでSSHサーバを起動すべきではない …もちろん、コンテナ自体がSSHサーバである場合は除きます。 SSHサーバを起動したくなる気持ちは分かります。それはコンテナの”中に入る”簡単な方法だからです。この業界の人ならほぼ全員がSSHを一度は使ったことがあります。多くの人がSSHを日常的に使用し、公開鍵や秘密鍵、パスワード入力の省略、認証エージェント、そして時にはポート転送やその
ログの扱いを知る -logrotate編- - 技術いろいろ勉強メモ
2013-12-19 ログの扱いを知る -logrotate編- インフラ サーバ上でいろんなサービスを動かしていると、当然ログが溜まる。 ログをそのままにしておくとファイルサイズが肥大化する。 肥大化するとディスク容量を圧迫するしログを見るのが大変になる。 そんなときに便利なのがlogrotateというプログラム。 どんなことができるのか どんな動きをするのかというと、下記のようなことができる。 一定期間でログファイルをリネームする 過去のログを圧縮する 一定以上過去のログを破棄する インストール logrotateは大抵のLinuxディストリビューションに入っているようだ。 入っていなければyumでインストールできる。 $ yum -y install logrotate 設定ファイルの構造 設定ファイルがどのようになっているのか見てみよう。 apacheをインストールすると
nginx連載5回目: nginxの設定、その3 - locationディレクティブ
locationディレクティブはパスの条件が評価されて選ばれたものが適応されます。この条件はパスの文字列の前方一致あるいは正規表現による評価です。この評価の順番は以下のようになります。 前方一致（"=", "^~", プレフィックスなし）の条件の評価を実施 最も一致する条件を選ぶ。 選ばれた条件が、完全一致で、プレフィックスが"="であれば、そこで評価を終了し、そのlocationディレクティブを適応する。 選ばれた条件のプレフィックスが"^~"であれば、そこで評価を終了して、そのlocationディレクティブを適応する。 正規表現（"~", "~*"）の条件の評価を実施 正規表現の条件を設定ファイルに定義した順番に評価する。一致したら、そこで評価を終了して、そのlocationディレクティブを適応する。 前方一致の評価で選ばれた条件のlocationディレクティブを適応する。 ここで注意
multistage 環境で capistrano-rbenv を使うときは rbenv_path の扱いに注意！ - Hack like a rolling stone
タイトル読んで納得した人は読み飛ばしてください。 VM の設定が完了するのを待ちつつ Fulentd Casual Talks #2 の ust 聞きながらこれを書いてます。 capistrano-rbenv 使ってますか? デプロイ先で rbenv を使う場合は capistrano-rbenv が非常に便利です。 config/deploy.rb に # rbenv setting require 'capistrano-rbenv' set :rbenv_ruby_version, '1.9.3-p374' set :default_environment, { 'RBENV_ROOT' => "#{rbenv_path}", 'PATH' => "#{rbenv_path}/shims:#{rbenv_path}/bin:$PATH" } と書いておくだけで rbenv を利用し始
Switch to HTTPS Now, For Free
Update, January 2016: This guide is seriously out of date. Don't use StartSSL anymore, and don't jump through all these hoops below. Instead, check out either of three great options: 1) SSLMate issues single-domain certificates for $16/year. While it's more than $0, it's more than worth it to be able to run sslmate buy mywebsite.com and have it Just Work. If you use SSLMate, this guide will still
最初に設定しないと絶対損する！Google Analytics 9個の必須設定＆解説 | Find Job ! Startup
アクセス解析は最初の解析設定が命。「やっておけばよかった！」と後悔しても、設定し忘れた集計数値はもう2度と手に入りません。 Webサイトの財産とも言える解析データをしっかり取得してビジネスの成長につなげるためにも、必ず設定しておきたいGoogleアナリティクスの必須設定項目をまとめました。 もし抜けがあるようでしたら、この機会に設定してみて下さい。 ※現時点で、アナリティクスの設定は標準・ユニバーサルの2種類があります。ユニバーサルは、まだ不完全なので今回は「標準」での設定をベースにご紹介します。 【設定1】プロパティ＆プロファイル まずはサイトの運用方針などに合わせて、的確にプロパティとプロファイルを設定します。 基本的には「サイトごとにプロパティ」設定がおすすめ いくつものサイトを『それぞれ別のドメインで展開』する場合や、サブドメインでそれぞれのサイトを管理する場合、基本的に
Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013
4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinterest、Marty Weiner氏。 Pinterestはオンラインのピンボードで、ユーザーが「ボード」を作成して、そこに画像など好きなものをアップロードしてシェアできるというもの。「ピン」ひとつひとつが画像やリンクになっている。 ユーザーやボードをフォローすることもできるし、再ピンしたりイイネしたり、コメントの入力もできる。
http://shibayu36.hatenablog.com/entry/2012/12/29/001418#mc?u=ainame
ふとemacsの設定どのくらいになっているのかなーと思って行数数えたら wc -l init.el inits/* | grep total 2303 totalと、とんでもないことになっていたので、これまでどんな設定してたか思い出すことも兼ねて、emacs設定大掃除をおこなってみました。そこで「これは捨てられないなー」と思った設定を淡々と書いていきます。 ちなみに実際の設定ファイルはhttps://github.com/shibayu36/emacs/tree/master/emacs.d を御覧ください。 init-loader.el emacsでinit-loaderを導入してみた - $shibayu36->blog; の記事でも書きましたが、init-loaderは便利です。最近の構成としてはinit.elにはinit-loaderの設定だけ書いて、inits以下に全部設定置いて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - oshow/why-bundler-exists: http://gembundler.com/v1.3/rationale.html の翻訳
