Amazon EBSのスナップショット(バックアップ)を取得しつつ世代管理も行うスクリプト - 元RX-7乗りの適当な日々
# タイトル長い。 Amazon EBS(Elastic Block Store)では、スナップショット機能と呼ばれる、ボリューム(ディスク)を瞬時にバックアップする機能をAPI経由で簡単に使うことができます。 参考 最近発表されたストレージサービスAmazon EBS(Elastic Block Store)をEC2から利用する - 元RX-7乗りの適当な日々 Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～ (1/6)：CodeZine（コードジン） そんな便利機能なEBSスナップショット君ですが、そのバックアップデータの保存先はAmazon S3ということで、S3の利用容量無制限！という素晴らしい恩恵を受けちゃっていて、当然、バックアップデータの世代管理は使い手自身に委ねられています。 ということで、指定したEBSボリューム
Amazon EBSからブートしたEC2インスタンスのディスク容量を増やす＆エフェメラルディスクを取り付ける方法 - 元RX-7乗りの適当な日々
Amazon EBSは、永続的にデータを保持できるボリューム(ディスク)が扱える、Amazon EC2のストレージオプションです。 通常(instance-store)のAmazon EC2のサーバローカルに接続されているディスクは、良くも悪くも停止時(terminate)にデータが消えてしまいますが、Amazon EBSのストレージをルートパーティションとしてインスタンスを起動(EBSブート)した場合は、停止(stop)してもデータは保持されたままとなり、ディスクに対する信頼性は向上します。(instance-storeからのブートにも良い点はあります。それは別エントリで。) で、EBSブートのEC2インスタンスは、既存の(EBSブート用の)AMIから利用される方が多数だとは思いますが、このEBSブートした仮想サーバのルートパーティションのディスク容量は、デフォルトでは、AMIを作成した
Amazon EBS の性能ベンチマーク その3 (Provisioned IOPS編) - 元RX-7乗りの適当な日々
さて、またまた昨日のエントリ「Amazon EBS の性能ベンチマーク その2 (Standard-Vol増量編)」の続きです。 ここまでの経緯は以下。 Amazon EBS の性能ベンチマーク その1 (Standard編) Amazon EBS の性能ベンチマーク その2 (Standard-Vol増量編) ここまでのベンチマークでは、StandardタイプのEBSボリュームを使っていたのですが、ここからは、必要とするIOPSを設定することが可能な"Provisioned IOPS"なEBSボリューム(プロビジョンドIOPSボリューム)を使って性能を計測してみたいと思います。 # 個人で Provisioned IOPS ボリュームを使って高負荷テストとかクラウド破産まっしぐら。 ベンチマークの条件の詳細等は、上記のこれまでのエントリからご確認くださいませ。 今回ベンチマークの対象とす
Amazon EBS の性能ベンチマーク その1 (Standard編) - 元RX-7乗りの適当な日々
以前、「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた」でAmazon EC2で利用できるSSDボリュームのベンチマークを取った際に、EBSボリュームに関しても簡単に計測しているのですが、もう少し詳細に見てみようと思い、もうちょっと詳しく性能を計測してみました。(急いでいる方は最後のまとめを読むだけでOKですｗ) 実は、大昔(3〜4年くらい前)にも同じようなことを軽くやったのですが、結果がどこかにいってしまった＆今はまた結果が違うかもなので、やってみた。 ベンチマークの目的は、EBSボリュームをソフトウェアRAIDで束ねた(ストライピング)場合に、どのくらいパフォーマンスが出せるのかという観点。 というわけで、色々な観点から性能を測ってみました。使ったツールは「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた -
デブサミ2018「Kubernetesを用いた最強のマイクロサービス環境をGKEで実現しよう」講演メモ #devsumi - 元RX-7乗りの適当な日々
Googleのパワーを強く感じられるセッション。さすがでございました。そのセッションのメモでございます。 福田 潔 氏 Google Cloud Japan Customer Engineer GKE = Google kubernetes Engine 他のクラウドと比べてGoogleが勝っている点3つ ビッグデータ関連での利用 ML/AIでの利用 コンテナの利用 kubecon 2017 keynote => 「kubectl is the new ssh...」 kubernetesの世界では、低レイヤを気にしなくてよくなる kubectlは、これからのエンジニア全員が覚えるべきコマンドである なぜkubernetesが注目されるのか VM => コンテナ => コンテナオーケストレータ アプリケーションのコンテナ化が進んでいる モダンアプリケーションのインフラとして コンテナオーケ
デブサミ2018「GitHubの開発フローにおけるサポートエンジニアの役割」講演メモ #devsumi - 元RX-7乗りの適当な日々
GitHubで働いている前職の同僚がありがたいお話をしてくれるとのことで、セッションを聞きに行った。 登壇前に、手汗ぐっしょりの彼と握手をしましたが、面白い話が聞けたので、そのメモを残しておきます。 Hayato Matsuura GitHub / Enterprise Support Engineer Yakst主宰 最近「入門Kubernetes」を翻訳したよ GitHubとは スローガン GitHub is how people build software ユーザ数: 2700万＋ リポジトリ数: 7700万＋ GitHubを支える技術 ベアメタルサーバで運用 IOバウンドなので、クラウドだとパフォーマンスが出ない Rails + kubernates + MySQL + redis + Git + ...(etc. ミドルウェアとしては、固めでスタンダードな選定 Gitリポジトリ
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
デブサミ2017「グランブルーファンタジーを支えるインフラの技術」講演メモ #devsumi - 元RX-7乗りの適当な日々
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
デブサミ2016「大規模Redisサーバ縮小化の戦い」講演メモ #devsumi - 元RX-7乗りの適当な日々
メモメモ。泥臭い話で面白かったです。 「大規模Redisサーバ縮小化の戦い」 駒井 祐人 氏 (株)アカツキ ゲームのサーバサイド機能開発、インフラの設計構築・保守運用 Redisとは インメモリDB 5種類のキーバリューのデータ型 ファイル永続化オプション システムの問題点 EC2サーバが20台に対して、AWSのElasticCache(Redis)が64台あった なぜ64台あったかというと、リリース直後にRedisの負荷問題があり、8台 => 64台になった 調査するとkeys("")を実行している箇所があった 当然お金がかかる(cache.m3.large * 64台 = 約135万円/月) 冗長化しんどいし、設定ファイルの記載も辛い ので、縮小化と冗長化の対処をしたい 現状整理 格納されているデータ フレンド情報、セール情報、ランキング情報 キーの件数 1サーバに8DB、1DBあた
Jenkins + Nginx(SSL) 構成での「リバースプロキシの設定がおかしいようです。」問題 - 元RX-7乗りの適当な日々
(1ヶ月前くらいの話だけど)解決できたからメモっておく。私のケースは、あまりにもしょーもない恥ずかしい話で、インターネッツに事例が見つからなかったので晒しておこうと思います。 以下、時系列に書いていきます。OSは Ubuntu 14.04 LTS でござる。 Jenkinsのインストール # apt-get install openjdk-7-jre openjdk-7-jdk # wget -q -O - https://jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add - # sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list' # apt-get update # apt-ge
認証・認可制御している Jenkins CLI で get-job や update-job の時だけ "No such job" と言われちゃう場合 - 元RX-7乗りの適当な日々
この前エントリにブログ書いてなさすぎるから、12月は1人アドベントカレンダーやるかーと書いて、気付くと 12/10 になっていました。進捗全然ダメです。 最近、慣れない Jenkins 氏と久しぶりに戯れているのですが、昨日勉強したメモについて残しておきます。 ちなみに環境は、 Jenkins 1.640 / Java 7 でございます。 前提 前提として、Jenkinsの検証環境では、ユーザ単位での認証に加えて、ジョブに対する認可制御を加えています。 開発ユーザは、このジョブ(ビルド)を編集したり実行できるけど、オペレータユーザは実行しかできない、匿名ユーザはジョブの存在自体も見えない、とか、そういう感じ。 で、そういう環境で、Jenkins CLIからジョブの更新などを行おうとすると、指定したユーザの認証がうまく通っていそうにも関わらず、ジョブが無いとエラーが返されるというケース。 状
サーバの状態のテスティングツールである「Serverspec」の書籍を読んだ - 元RX-7乗りの適当な日々
サーバの状態を自動でチェックするためのテスティングツールである「Serverspec」。開発者のmizzyさんが書き下ろした書籍が出版されるということで、著者/出版社の方々からご献本いただきました。ありがとうございます！ Serverspec 作者: 宮下剛輔出版社/メーカー: オライリージャパン発売日: 2015/01/17メディア: 単行本（ソフトカバー）この商品を含むブログ (6件) を見る いきなりですが余談 当方も、サーバまわりのプロビジョニングツールとして、2008年頃よりPuppet、2010年頃よりChefを使っていますが、特にChefを使ってからは、それなりの規模の環境で複数名でメンテナンスするケースが多かったので、テストについてはそれなりに頭を悩ませました。 使い始めの頃は、おはずかしながらテストなど全く無く、仮想環境でチェックしていた(普通に目見の他、出力された文字列
サイバーエージェントを退職します - 元RX-7乗りの適当な日々
私事ですが、タイトルの通り、(株)サイバーエージェントを退職します。昨日8/31が最終出社でした。正確に書くと退職日はもう少し先です。 入社日が2010/09/01だったので、ちょうど丸5年が経ちました。在籍中は、社内外の皆様に多くのご協力を頂き、様々なことにチャレンジすることができました。本当にありがとうございました。 5年もやっていると、それはもう毎日飽きないくらい良い事も悪い事も色々ありましたが、エンジニアとして技術面、および人間として考え方の幅が大きく広がったと思っていて、良い成長機会を頂けたと思っています。 会社として伸び盛りの重要な大規模サービスやプラットフォームサービスに大きく関われた事、様々な技術的挑戦をさせてもらえた事、その上でそれなりの事業貢献ができた事、そして多くの優秀なメンバーと共に刺激を受けながら仕事ができた事、その全てが素晴らしい経験となりました。 私がやってき
Linuxサーバに搭載されているCPUコア数の確認 - 元RX-7乗りの適当な日々
この前、若手に聞かれたので、ここにも書いておく。 好みでは有るが、可能な限り数字のみで標準出力に出せるようにしておくと、スクリプトの中などで並列実行数を動的に定義しやすい。 ちなみに下記の前提は、CentOS 6.6 & 56コア(！)のサーバで確認している。 nproc # nproc 56一番簡単なやつ。 getconf # getconf _NPROCESSORS_ONLN 56getconfでも拾える。 /proc/cpuinfo # cat /proc/cpuinfo | grep -c "processor" 56皆さん、ご存知の通り、 /proc/cpuinfo は多くのCPU情報を取得することが出来る。 余談だけど、 /proc/cpuinfo に含まれる"physical id"はどの物理ソケットか、とか、"core id"を見ると物理コア(HT関連などで論理コアの紐付き
はじめてのAmazon VPC - 1. ルーターからVPCへVPN接続する - 元RX-7乗りの適当な日々
ぼちぼちAmazon VPCを触り始めてみました。 今更な感じもしますが、Amazon VPCのPrivate SubnetにHardware VPN(IPsec VPN)を使って接続できる今時点での詳しい手順を残しておこうと思います。(シリーズ化します。多分。) Amazon VPCの概要は、下記公式サイトの説明に任せますが、簡単に説明すると、Amazon VPCを使うことで、AWSクラウド内にプライベートネットワークを作成することができるので、従来よりネットワークレベルでの細やかなアクセスコントロールを実現できます。 また、VPN接続をサポートしているので、会社やデータセンターと接続することで、プライベートネットワーク内でAWSのリソースをシームレスに扱うことができるようになります。つまり、自社ネットワークのアドレスをAmazon EC2のインスタンスに振ることができる、みたいなイメー
はじめてのAmazon VPC - 2. 外部インターネットと接続する(NATインスタンスを使う) - 元RX-7乗りの適当な日々
前回のエントリ「はじめてのAmazon VPC - 1. ルーターからVPCへVPN接続する」の続きです。(今更シリーズ) Amazon VPCでは、各サブネットでのアクセスコントロールを柔軟に設定できたり、自ネットワークからVPNトンネルをはって接続できるなど、よりセキュアなネットワーク構成を意識できることもあり、VPC内で起動したサーバ(Amazon EC2インスタンス)は、場合によっては外部インターネットに出て行くことが出来ないケースがあります。 しかし、サーバから外部の必要なものをダウンロードしたり、外部リポジトリや外部APIアクセスしたい場合、Amazon S3等のVPC外のAWS各サービスに接続したい場合(パブリックネットワークからしかアクセスできない)などもあるでしょう。 もちろん、そこはVPCでの設定次第となりますので、今回は、前回作成したAmazon VPC網内で起動した
6rdプロトコルを使って、IPv6ネットワークとAmazon VPC(EC2)をつないでみた - 元RX-7乗りの適当な日々
タイトルの通りですが、IPv6を使っている自ネットワーク環境下から、Amazon VPCにVPN接続し、VPC内のインスタンスとIPv6ネットワーク配下のサーバとを通信(連携)できるようにしてみたログです。 IPv6を使う上での前提条件/要件 まず、今回話をする上での前提となる話ですが、IPv6を使っている自ネットワークの環境は以下のような状態でした。 自ネットワーク内のサーバは、割り振られているIPアドレスがIPv6アドレスonlyのケースと、IPv4/IPv6のデュアルスタックとなっているケースがある。 どちらのパターンのサーバであっても、VPC内のインスタンスと通信したい。 IPv6のアドレスはGUA(Global Unicast Address: つまりグローバルなアドレス)を割り当てている。 通信するサーバ(VPC内のサーバ)もIPv6のGUAを使った宛先にしたい。 と、こんな感
「Amazon EBS パフォーマンスベンチマーク2015」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
これまたメモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Amazon EBS EC2インスタンスにアタッチして使用するブロックレベルのストレージサービス snapshotによりバックアップやディスクの暗号化機能を提供 99.999%の可用性を備えるよう設計されている EBSの特徴 1GB単位で指定。最大16TB マグネティックは最大1GB AZ毎に独立、同一のAZからのみ利用可能 Snapshotからは任意のAZに復元・移動可能 EBSを複数のインスタンスから同時に使う(共有)ことはできない アーキテクチャ データはAZ内の複数のHWにレプリケートされる 実態はネットワーク接続型のストレージ セキュリティグループによる通信制御の対象外 ボリュームタイプ ユースケースに応じて3種類から選択 汎用SSD、Provisioned IOPS(SSD)、マグ
「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン
「サーバにログインしない・させないサービス運用」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモった。間違い等あるかもしれませんが、その場合はごめんなさい。 Gunosy 2011.09リリース 現在900万DL突破 エンジニアは現在26名 2014.11は16名、2013.11は7名、2012.11は4名 クライアント+QAは5名、Web+APIまわりは5名、インフラは1名とかとか Gunosyの開発 API: Golang パートナー・広告主への管理画面: Rails バッチ・内部向け: Django or Python バージョン管理: GitHub 構成管理・デプロイ: Chef (+OpsWorks) 開発の特徴 小さい単位で作ってすぐ捨てる マイクロサービス的な 機能が増えすぎたら分割 メンテするよりリプレース サーバにログインされて困る事 信頼できないビルド・デプロイ 開発者の手元でビルドすると、どの断面なのかわからずトラッキングできない プロダクションに上がってい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
