ネコニキの開発雑記
AWS CDKをStackを分けて構築する前回、AWS CDKを使ってVPCを作成し、その中にLambdaを入れるまでを行いました。 実際に動作しているシステムを動かす場合は、サービスが複雑に絡み合うため、 どこかでStackを切り分けたほうがいいです。 今回はその辺りの方法について紹介します。 おさらい 前回までの記事は以下の通りです。 AWS CDKを使ってLamda in VPCを構築する 上記の記事で作成したものベースで話を進めるので、実際に手元で動かしてみたい方は参照ください。 Stackを分割する 前回までは1つのStackの中で以下のことを行なっていました。 IAMロールを作成 VPCを作成 Lambdaを作成し、実行ロールとして1のものを、格納するものとして2のVPCを指定 この3つの処理は対応するAWSのサービスが異なるため、スタックを切り分けたいと思います。 依存関係と
実践！AWS CDK #7 ファイル分割 | DevelopersIO
はじめに 今回はファイルの分割を行います。 メインのプログラムを見やすくしていきましょう。 前回の記事はこちら。 既存の作り 現在のソースコードはこのようになっています。 import * as cdk from '@aws-cdk/core'; import { CfnVPC, CfnSubnet } from '@aws-cdk/aws-ec2'; export class DevioStack extends cdk.Stack { constructor(scope: cdk.Construct, id: string, props?: cdk.StackProps) { super(scope, id, props); const systemName = this.node.tryGetContext('systemName'); const envType = this.no
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
RDS for MySQL データベースを Amazon Aurora へ移行するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ RDS for MySQL データベースを Amazon Aurora へ移行するためのベストプラクティス MySQL は世界で最も普及しているオープンソースデータベースです。それにも関わらず、多くの利用者が一様にバックアップ、高可用性の確保にかかる膨大な手間に苦心していたり、また MySQL のスケーリングが複雑である、時間がかかる、あるいはその両方であると感じています。 お客様がそうした既存の MySQL 環境から Amazon RDS for MySQL へ移行する最大の理由の 1 つはそこにあります。Amazon RDS はポイントインタイムリカバリや高可用性などのオプションを複雑な設定など一切なしですぐに使用できる機能を提供します。RDS for MySQL はさらに、ソースあたり 5 つのリードレプリカに対応しています。このように
【実録】攻撃者のお気に入り API 10選 | DevelopersIO
AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 はじめに 弊社オペレーションチームでは、AWS よりお客様アカウントの侵害疑いの連絡を受けた際に、状況確認のため CloudTrail を調査しています。本記事では調査で気づいたことをいくつかお伝えできればと思います。 仮想通貨のマイニングを例とすると、攻撃者は自分たちの IAM ユーザーを作り、とにかく「ハイスペックなインスタンス」をとにかく
ログインできないec2インスタンスを調査する ｜ DevelopersIO
はじめに サーバを運用しているといろいろなことが起こります。 今回はなんらかのトラブルによりインスタンスが正常に起動しない、 ログインできなくなった場合の対応方法をご紹介します。 障害インスタンンスはAmazon LinuxでrootボリュームはEBSということで話を進めていきます。 障害インスタンスを停止する 正常に起動しない、ログインができないインスタンスをstopします。 サーバにログインできないのでマネジメントコンソールやAPIでstopします。 障害インスタンスのルートボリュームをデタッチする ルートボリュームのEBS IDを確認してVolumesへ移動します。 ・DescriptionのRoot Device 「/dev/xvda」をクリック また後でアタッチし直すのでRoot Device名はメモしておきます。 ・EBS ID をクリック ・Volumesに移動します。 ・A
Let's Encrypt 証明書の自動更新システムを作る - Hatena Developer Blog
この記事は はてなエンジニア Advent Calendar 2018 11日目の記事です． こんにちは，システムプラットフォーム部でSREをしているid:cohalzです． はてなでは証明書を自動更新してくれる仕組みを作っており，今回はその紹介をします． はてなの証明書自動更新といえば，はてなブログの独自ドメインにおける証明書自動更新システムのことを思い浮かべる人もいるかも知れません． 今回紹介するのは，そのシステムとは違う，開発チーム用に向けて作成したシステムとなります． ここではブログの方のシステムについて紹介は行いませんが，少し前にGeekOut様にてはてなブログのHTTPS化に関する記事が公開されましたのでそちらをご覧ください． geek-out.jp ブログのシステムと何が違うのか まずはじめに，何故ブログと別のシステムを作成したかについて説明します． 大きな違いはシステムで使
AWS特有の運用イベントまとめ（非障害系） | DevelopersIO
【ACM】 サーバー証明書の有効期限切れ／自動更新失敗 ACMは、CloudFrontとELBと連携してサーバー証明書を提供するサービスです。 ACMで発行する証明書は1年毎に更新する必要がありますが、基本的には自動更新されます。 ただし、場合によっては自動更新が失敗するケースがあります。 検証の仕組みは、以下のドキュメントを確認してください。 自動ドメイン検証の仕組み 自動検証に失敗した場合、EメールおよびPersonal Health Dashboardで通知されます。 自動検証に失敗した場合 また、外部で発行された証明書を利用している場合は、手動で更新する必要があります。 再インポートの手順は、以下のドキュメントを参照してください。 証明書の再インポート EV証明書が必要なケースでも無ければ、ACMで証明書を取得してオペレーションが発生しないようにしておきたいですね。 【Route
意外と知られてない？AWS EC2上で169.254.169.254にアクセスして、IPやホスト名、VPC情報などを取得する方法。 - 人生やまあり
意外と知られていないAWS EC2のインスタンスIDやホスト名、AMI-IDなどの情報を、EC2インスタンス内から取得する方法を紹介。 どんなことができるのか 詳しい説明は後にして、とりあえず試しに curl http://169.254.169.254/latest/meta-data/instance-id/とEC2インスタンスから実行してみましょう。 実行すると、 $ curl 169.254.169.254/latest/meta-data/instance-id/ i-577f7355実はこんな簡単にインスタンスIDを取得することができるんです。 例えばAWSのAPIをたたいて、インスタンスのAMIを取得することでバックアップを取る場合、インスタンスIDを引数に設定する必要がありあす。そんな場合、この169.254.169.254を利用して、自分のインスタンスIDを取得して、簡単
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
AWS Elastic Load Balancer と Apache を使って HTTPS(SSL) 通信を行うための設定方法 - #tech
AWS Elastic Load Balancer で HTTPS（SSL）通信を行うための準備、設定についてのメモ。目標とするサーバー環境のイメージは下記の通り。 Web アプリケーションサーバーを Amazon EC2 上に、Apache で構築する 負荷分散として Elastic Load Balancer を使う クライアントとアプリケーションの間は HTTPS（SSL）で通信する Elastic Load Balancer の設定 - Listener Configuration Elastic Load Balancer（以下、ELB）とは？ Elastic Load Balancing - Amazon Web Services ELB の一般的な設定方法は、下記の記事が参考になった。 Amaon EC2〜ELB設定編〜 | ナレコムAWSレシピ 今回、クライアントとアプリケ
運用してわかった Amazon RDS のパフォーマンスを上げる 3 つのコツ
本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon
AWS ALBの運用豆知識 | 外道父の匠
たいした諸事情なわけでもないですが、だいぶ更新を空けてしまいましたので、ささやかなことからコツコツと書いていこうかと思います。 今回は、ALB(Application Load Balancer)の運用で得られた豆知識の記録です。 暖機運転の豆知識 申請の必要性 ALBはトラフィックが増加しても自動的に拡張して対応してくれますが、急激に増加すると拡張が間に合わずにキャパシティオーバーとなって、ALBがエラーを返してしまう可能性があります。そのため、事前にこのくらい跳ね上がりますので暖めて馴染ませておいてください。ってのが暖機運転（Pre-warming）です。 基本的には事前に申請して扱う仕組みですが、想定よりトラフィックが多くなり、エラーが多発し、数十分・数時間も解決しない場合もこの申請をすることがあります。この場合、ALBが自動拡張してくれない ＝ 何か他に問題がある 可能性が高いので
今何かと話題のマストドン(mastodon)鯖を自分用に無料で立てる方法 - jtwp470’s blog
こんにちは。社会人2週間が経過して日々辛い思いを背負っているたんごです。 www.itmedia.co.jp 水曜日頃TLで賑わっていたポストTwitterとか色々呼ばれているマストドン(mastodon)が流行っていますね。ただ日本鯖であるmstdn.jpが1人の大学院生の自宅鯖で動いていてめっちゃアクセスが有ってしんどいみたいな感じだったようですね。そんな中私は仕事を終え帰宅後に1時間程度でAWSにこれをデプロイして自分用として遊んでいます。 基本的には公式ドキュメントをそのまま読めば大抵何とか成るのですが、自分用に鯖を立てて良い感じに公開する方法を記述しておきます。 必要なものと前提知識など LinuxサーバーにSSHしたことがある AWSのアカウント または適当なクラウド事業者を使うことのできるアカウント クレジットカード (無料枠だけなら必要ないかも?) 独自ドメイン エンジニア
EC2+nginxでhttp2対応できたとおもったらできてなかった話。（解決します） - Qiita
ssl対応でサイトパフォーマンスがあがるらしい あるサイトのはじめてのSSL対応の作業中、「SSL対応するとはやくなるで！！」という記事を見つけました。 いわく、 Web サイトのパフォーマンスについて、「SSL 化でパフォーマンスが悪化する可能性」 と、一方で 「HTTP/2 や SPDY が利用可能な状況では SSL 化でパフォーマンスが向上する可能性」 という両方の可能性 だそうです。 なるほど、本来ならSSLで接続するとパフォーマンスが悪化する（SSLハンドシェイクなどによる）けど、HTTP/2やSPDYを使うとパフォーマンスが向上するんか！ じゃあSSL接続もさることながら、HTTP/2やSPDY対応させなければ！！ SPDYでサイトにアクセスできるようにする EC2上で動いているnginxのバージョンをたしかめてみたところ、1.8.1とのこと。 めでたくSPDYに対応しておりま
まさに実践入門！！「Amazon Web Services 実践入門」 - プログラマでありたい
舘岡さん（@iara）さんに、Amazon Web Services 実践入門を頂きました。ありがとうございます！！ 早速読んでみましたが、実践入門という名前に違わず入門なのに実践的という内容にまとまっていました。その辺りは、著者陣の経験の深さがにじみ出ています。著者陣は、舘岡さんを筆頭に、今井さん、永淵さん、間瀬さん、三浦さん、柳瀬さんとAWS界隈のスーパースターたちです。それぞれの所属する会社は、日本で5社しかないAWSのプレミアパートナー、従来の情報システム部の常識をスーパーのパックの刺身のツマほどの価値しか認めず常に大胆かつ合理的な方法でAWSを利用し周囲を驚かせるハンズラボ、オンラインによる名刺管理という業界を作りリーダーとして君臨するSansanの中の人とAWSを知り尽くした人々によって書かれています。 Amazon Web Services 実践入門が実践的な理由 本書で取り
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[TIPS]RDS から手軽かつダウンタイムを限りなく少なく Aurora へ移行する方法
AWSで実現する簡単サーバーレスアーキテクチャ（新サービス「Cloud9」でもやってみる） | Tech Blog | CRESCO Tech Blog