【レポート】AWS Summit Tokyo 2017: [メルカリ] Cloud connect the world as a Glue #AWSSummit | DevelopersIO
『AWS Summit Tokyo 2017』が2017年5月30日(火)〜6月2日(金)、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで開催されています。 当エントリでは、Dev Day トラック 2のセッション、「 [メルカリ] Cloud connect the world as a Glue」をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 当セッションの登壇者及び概要は以下の通りです。 スピーカー： 長野 雅広 株式会社メルカリ Principal Engineer / SRE メルカリは今年イギリスに進出させて頂きました。現在、日本、アメリカと合わせ 3 つのリージョンにてサービスを展開しています。日本、アメリカ、イギリスはそれぞれに合わせた異なるプラットホーム上でサービスを
![【レポート】AWS Summit Tokyo 2017: [メルカリ] Cloud connect the world as a Glue #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a669aa43d1fe7b9ba93c4a76a7754337a4c29155/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F05%2Faws-summit-tokyo-2017-logo.png){kind=logo}
CVE-2015-7547 (glibcの脆弱性) AWSでの対応まとめ | DevelopersIO
ども、大瀧です。 本日午前中にCVE-2015-7547に関する情報が公開されました。 AWS環境での対応方法をまとめておきます。 AWSからのアナウンス : CVE-2015-7547 Advisory AWSのマネージドサービスは影響無し RDSやS3など、AWSのマネージドサービスは影響ありません。 EC2はAWS DNSを参照する場合は影響無し 今回の脆弱性はDNS関連とのことですが、Amazon VPCで提供されるDNSキャッシュサーバー(AWS DNS)を参照するEC2インスタンスも影響ありません。 AWS DNS以外のDNSサーバーを向いているEC2では、glibcパッケージをアップデートすることで対応が必要です。Amazon Linuxの場合は、以下のyumコマンドでアップデートしましょう。 sudo yum update glibc ただし、Amazon Linuxのバー
次世代Webカンファレンス「モニタリング」レポート #nextwebconf | DevelopersIO
こんにちは、虎塚です。 10月18日(日)、次世代 Web カンファレンスへ行ってきました。イベントの趣旨は「「次世代 Web カンファレンス」を開催します - Block Rockin’ Codes」で公開されています。 最後のセッション「monitoring」に参加したので、レポートします。 オーナー: @songmuさん はてなで監視サービスのMackerelを作っている @mikedaさん クックパッド株式会社のインフラ監視をしている @rrreeeyyyさん ハートビーツ-でMSPをしている（サーバを預かって監視、構築など） @fujiwaraさん インフラや監視まわりのお仕事をしている 監視とは何か mikedaさん：監視とは、サービスが正常に稼動しているかをみて、異常を検知したら収束させるという活動を含むもの。 fujiwaraさん：落ちたら困るので監視する。将来リソースが足
次世代Webカンファレンス「サーバーサイドパフォーマンス」レポート #nextwebconf | DevelopersIO
こんにちは、虎塚です。 10月18日(日)、次世代 Web カンファレンスへ行ってきました。イベントの趣旨は「「次世代 Web カンファレンス」を開催します - Block Rockin’ Codes」で公開されています。 最初のセッション「server_perf (サーバーサイドパフォーマンス)」に参加してメモを取ったので、共有します。 オーナー: @mirakuiさん クックパッドでインフラ担当 @xcirさん ゲーム屋さんでインフラ担当 @cubicdaiyaさん メルカリでインフラ担当 登壇者の紹介 mirakuiさん：サーバサイドパフォーマンスというセッションは、次世代Webの文脈では話題選びがむずかしい。サーバサイドアーキテクチャもモニタリングも別にセッションがあるので、Webのパフォーマンスの話に絞る必要があった。そんな話ができる方ということで、xcirさんとcubicdai
ジョブスケジューラ「Rundeck」を試してみる | DevelopersIO
森永です。 最近は大逆転裁判をやりながら寝落ちするという毎日を送っています。 サーバ構築する上で、ジョブをどうするかというのは考慮が必要な点です。 簡単に実現するにはcronを使えばいいのですが、要件によってはジョブスケジューラを使わないと厳しいということがあります。 かと言って、エンタープライズで使われている本格的なジョブスケジューラを使うのも大げさすぎる、というのもわかります。 そこで今回は、簡単に構築ができてそれなりに痒いところには手が届くジョブスケジューラ「Rundeck」を試してみます。 Rundeckとは OSSのジョブスケジューラです。 特徴として以下の様なものがあげられます。 エージェントレス SSH接続できればジョブを実行できます。 なので、別サブネットはもちろん、別VPCでも別AWSアカウントでもはたまたオンプレでもRundeckサーバからSSH接続とジョブを実行できる
【速報】AWS Database Migration Service & AWS Scheme Conversion Tool発表！DBの移行が簡単に！ #reinvent | DevelopersIO
こんにちは、せーのです。AWS Re:Invent2015現地におります。 たった今新サービス「AWS Database Migration Service」「AWS Scheme Conversion tool」が発表されました！ AWS Database Migration Service (Preview) Now in Preview: AWS Database Migration Service 現在はプレビュー版なのでこちらより申し込みが必要です。 オンプレからRDSへ簡単に移行できる このサービスは簡単に言うと「オンプレにあるDBをAWS上に移行するためのサービス」となります。 通常オンプレのデータをRDSに全て移行するには長い計画、移行設計をしなくてはいけません。通常1企業のデータであれば6ヶ月から1年みたりします。この新サービスを使うことでそれを数十分に縮めることが可能で
[新機能]Amazon Elasticsearch Serviceがリリースされました！ | DevelopersIO
はじめに AWS re:Invent 2015前にすごい新サービスが飛び出てきました！ New – Amazon Elasticsearch Service Amazon Elasticsearch Service なんと、フルマネージドなElasticsearchです。AWSでの全文検索サービスはCloudSearchがありますが、やはり全文検索システムとしてElasticsearchの人気が高い、ということでしょうね。「ElasticsearchはAWSのサービスではありません」と長年言われ続けていましたが、ついにサービスとして提供されました。 なお、Amazon Elasticsearch Serviceの略称はAmazon ESとのこと。若干ECSと紛らわしい感じもありますが、まぁそのままだと長いですからね。公式に略称が決まっているのは良いことです。 ということで、早速やってみまし
![[新機能]Amazon Elasticsearch Serviceがリリースされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/505237ea0bf65f1e0f52f821a61adf066e99ba70/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F10%2Felasticsearch-service.png)
HashiCorpの新プロダクトNomadとOttoを触ってみた | DevelopersIO
ども、大瀧です。 VagrantやTerraformで有名なHashiCorpのカンファレンスイベント、HashiConf 2015が今朝未明からポートランドで開催されています。そこでNomadとOttoという2つの新サービスが発表されました。両方とも発表直後に公開され、試せるようになっているのでサンプルを動かしてみた様子をレポートします。 Nomad by HashiCorp Otto by HashiCorp Nomad NomadはEasily deploy applications at any scaleというリード文からあるように、アプリケーションをデプロイするスケジューラです。あらかじめアプリケーションを実行するホストにエージェントをインストール、アプリケーションをジョブとして設定ファイル(*.nomad)に定義しておき、設定ファイルに従ってジョブを実行します。 デプロイツー
次世代CDNのFastlyで即時削除(Instant Purge)を体感した | DevelopersIO
ども、大瀧です。 最近話題のCDN、Fastlyを触ってみました。そのセットアップレポートと、Fastlyの目玉機能の一つであるInstant Purge(即時削除)の様子をご紹介します。 Fastlyとは FastlyはFastly社が展開するCDN(Content Delivery Network)サービスです。最寄りでは東京と大阪にPOP(points of presence: CloudFrontで言うエッジロケーションのこと)があります。従来のCDNの型に収まらない様々なオプション機能を備え、Varnishを基盤技術とし設定をVCL(Varnish Configuration Language)で記述できるなど先進技術に特化したCDNと見ることができます。 価格体系は一般的なCDNとさほど変わりませんが、アカウント作成時に50ドル分までクレジットカード登録なしで試せる他、OSSデ
[iOS 9] iOS 9 で追加された App Transport Security の概要 | DevelopersIO
はじめに iOS 9 で追加された「App Transport Security」について調べてみましたのでご紹介します。 目次 App Transport Security とは App Transport Security の基本動作 Info.plist に例外を設定 Info.plist の設定例 SSL/TLS 暗号スイート ログ出力について まとめ App Transport Security とは App Transport Security (以降、ATS と呼びます) は iOS 9.0 または OS X 10.11 以上で有効な機能であり、アプリとウェブサービスとの間のセキュアな接続のために利用できます。 ATS が有効の場合、HTTP での通信はできません。また、Apple が推奨する必要条件を満たさない接続は強制的に接続失敗扱いになります。例えば、Apple 推奨の
![[iOS 9] iOS 9 で追加された App Transport Security の概要 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/03e3e1f7bece5c287ef701d12939ee3d5ca2b3d1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F06%2Fe9f52821a8f079bdb1ddf4f17fd9632e.png)
EBS最適化インスタンスの効果を知るべくベンチマークを取ってみた | DevelopersIO
また、EBS最適化インスタンスの検証は、それなりにネットワークトラフィックが高い状況で無いと確認が出来ません。そこでもう1台EC2を起動し、abでHTTPリクエストをガンガン掛けておきます。構成と結果予想は以下のような感じです。 ベンチマークの準備 今回のベンチマークはド定番であるところのfioを使用しました。 作成したEBSをext4、inode=512でmkfsし、特にオプションを付与すること無く普通にマウントします。 $ sudo mkfs.ext4 -I 512 /dev/xvdj $ sudo mkdir /mnt/standard $ sudo mount /dev/xvdj /mnt/standard fioをインストールします。 $ sudo yum -y install rpm-build libaio-devel gcc make $ wget http://pkgs.
【Amazon S3 Streaming】AWS CLIを使って標準入出力とS3を直接つなぐ【小ネタ】 | DevelopersIO
よく訓練されたアップル信者、都元です。ひさびさのブログになってしまいました。リハビリも兼ねて、小ネタにて。 ローカルファイルシステムと標準入出力 まずは基礎的過ぎる話から。linuxシェル上で、ローカルファイルシステム上のファイルを標準出力に書き出したい時、例えばこんなコマンドを使いますね。 $ cat foo.txt 次に、シェルからちょっとしたテキストファイルを作成したいとき、下記のようにechoとリダイレクトを使って書き込みをすることがあると思います。 $ echo foobar >foo.txt 複数行に渡るファイルであれば、ヒアドキュメント *1を使ってこんな感じでしょうか。 $ cat << _EOF_ >bar.txt aaa bbb _EOF_ ローカルファイルシステムとAmazon S3 さて一方で。AWS CLIでは、下記のようにs3 cpサブコマンドで、S3とローカル
DockerのFluentd Logging Driverを試してみる | DevelopersIO
ども、大瀧です。 Dockerバージョン1.6でLogging Driverというプラガブルなログ機構が追加され、DockerコンテナのログをSyslogに送信するなど柔軟なログ構成ができるようになりました。 ログアグリゲータとして著名なFluentdのLogging Driverが最近Dockerのmasterブランチにマージされたので、試してみた様子をご紹介します。 検証環境 OS : Ubuntu 15.04 Vivid Vervet(AMI : ubuntu-vivid-15.04-amd64-server-20150616.1 (ami-0473a904) 東京リージョン) Docker : Master Binaries 1.8.0-dev/Git commit: 90024b9 まだリリースされていない段階なので、最新リリースのDockerパッケージをインストールした状態でG
CentOS on Amazon EC2 でディスクサイズ変更しても変わらないときの対処方法 | DevelopersIO
こんにちは、梶です。 AWS MarketplaceのCentOS 6 (x86_64) - with Updates HVMから、Tokyoリージョンで新規インスタンスをlaunchする際に、ディスクサイズを20GBで指定しましたが、OS側の認識がデフォルトの8GBのままなので対応方法を公開いたします。小ネタです。 パーテーションサイズが変更されていないのはわかったのですが、別インスタンスにVolumeをAttachしてパーテーションサイズを修正しようとしてもダメだったりして、かなりハマりましたので誰かのお役に立てたら光栄です。 以下のブログの構築した際、ディスクサイズ変更で問題が発生し調査することになりました。 AWSでのBacklogエンタープライズサーバの構築 事象 launch後のdfコマンドでは以下の結果となります。 （20GBで指定しても、8GBのまま） # df -h Fi
【AWS】S3のマルチパートアップロードで簡易サスペンド／レジュームを実装してみた | DevelopersIO
本日の課題 こんにちは植木和樹です。本日はS3に大きなサイズのファイルをアップロードする際の課題についての話題です。 S3へ大きなファイルをアップロードする時には次のような課題があります。 アップロード途中にネットワーク障害などで失敗しても最初からアップロードし直さず途中から再開したい。 サイズが大きなファイルは分割して並列アップロードしたい。 S3にはマルチパートアップロードという機能があります。これはアップロードするファイルをいくつかに分割し（断片ファイルと呼ぶことにします）、断片ファイルをそれぞれS3にアップロードした後に、S3側で再びひとつのファイルに結合する機能です。S3にマルチパートアップロードする手順は以下になります。 アップロードするファイルを断片ファイルに分割する。 マルチパートアップロードのセッションを開始する。（create-multipart-upload） 断片フ
Amazon EC2から負荷テストを行うときの落とし穴と対策 | DevelopersIO
ども、大瀧です。 ここのところ新機能を追いかける記事ばかりだったので、今回は少し毛色の異なるノウハウ系を書いてみます。 負荷テストの前置き(読み飛ばし可) 「Webサイトがテレビ番組で紹介されることになった！大幅なアクセス増がやってくる！」という場合に、ロードバランササービスのElastic Load Balancing(ELB)やCDNのCloudFrontなどスケールするサービスを組み合わせ乗り切るというのは、クラウドらしい柔軟性の高さを活かせる典型な例かと思います。実際、弊社の事例でも多くのお客様に提供し、ご好評をいただいています。 これらのサービスを構成するにあたり、実際のアクセス増に耐えられるか試すため負荷テストを実施することも多いと思いますが、大規模なケースになってくると難しいのが負荷テストを実施するマシンの確保です。これについてもAmazon EC2であれば、Auto Sca
【セッションレポート】ZabbixによるAWS監視のコツ #cmdevio2015H | DevelopersIO
はじめに 先日開催されたDevelopers.IO 2015で『Developers.IO 2015』というタイトルで発表いたしました。 利用した資料と当日いただいたアドバイスを紹介します。 スライド 概要 次のような内容を紹介しました。 Zabbixの用語説明 弊社でのZabbix利用例 Zabbixを使ったAWSリソースの監視 Zabbixへのホストの自動登録 Zabbixサーバ自身の監視方法 発表後、Zabbixへのホスト自動登録について2つアドバイスを頂きました。 1つは、ホスト登録時の通知についてです。 発表ではZabbixのアクティブエージェントを利用した自動登録を紹介したのですが、登録時に通知メールを飛ばしたほうが良いのではないかとアドバイスを頂きました。 これまで自動登録に失敗したことがなかったため、登録時の通知については検討していなかったのですが、言われてみれば監視対象が
RDSを短いダウンタイムでgp2へ移行する方法 | DevelopersIO
はじめに ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日RDSでGeneral Purpose (SSD) Storage、通称gp2が選択可能になったのでベンチマークをしましたが、ストレージの違いだけでMagneticの4倍程度のスループットが出ました。 既存のMagneticで構成しているRDSもgp2へ移行してスループットを向上するために、移行方法を検討してみました。 どんな移行方法があるか？ 既存インスタンスをそのままディスク変更 これが、一番簡単な方法です。各RDSインスタンスのModifyでStorage Typeを変更するだけで実行できます。 しかし、注意点も有ります。Modify画面でStorage Typeをgp2へ変更すると以下の注意書きが表示されます。 つまり、Multi-AZだとフェイルオーバーを伴って変更するので60~120秒の間RDSへアクセスが出来
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
Consul 0.5の新機能 Atlas連携を試してみる | DevelopersIO
ども、大瀧です。 今朝かた、HashiCorpのクラスタオーケストレーションツールConsulのバージョン0.5がリリースされました。多くの新機能が追加されていますが、ここではAtlasとの連携を紹介してみます。 Atlasとは AtlasはHashiCorpのツールを連携させるクラウドサービスです。Atlasの概要については、こちらの記事を参照ください。従来AtlasはVagrant、Packer、Terraformとの連携機能を持っていたのですが、かねて予告されていたConsulとの連携が今回の新機能です。 連携1: Auto Join ConsulのAltas連携機能としてAuto Joinが利用できます。Consulでは、既存クラスタに加わるためにクラスタメンバーのIPアドレスを特定し、接続する必要がありました。Auto Joinを利用すると、新規メンバーはAtlasのAPIにメン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
