気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Amazon VPCでELBとNATを使ってよりセキュアな環境を作る【5日目】 | DevelopersIO
公開するサーバはセキュリティを特に強化する ELBを介してEC2インスタンスのWebアプリにアクセスするとき、ELB以外からのアクセスを拒否したくなります。また、公開IPアドレス自体も持ちたくありません。公開IPを持たせたくないということでVPCを前提に考えます。そして、ELBをパブリックサブネットに置いて、EC2をプライベートサブネットにすることで実現できます。今回は、VPCを使ってELBとNATインスタンスを使ったセキュアな環境を構築したいと思います。 VPCとELB ELBとAutoScalingが連携できることは知られていますが、VPC内でも使うことができます。 VPC内のELBのテクニックとして、ELB自体をパブリックサブネットに置いてEC2をプライベートサブネットにおくことがあります。ELBがリバースプロキシとして働いて、EC2はELBからのHTTPインバウンドのみ受け付けるの
ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply
【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 | DevelopersIO
よく訓練されたApple信者、都元です。 以前、【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみるという記事を書きましたが、そこから半年経ち、状況も変わって来ましたのでアップデートを行いたいと思います。 以前のエントリーを読んだ方は、忙しい場合は下記の「2013年10月版からのアップデート」だけを読むといいかもしません。 VPCを利用する理由 AWSは、あらゆる規模のプロジェクトに対応するインフラを提供しています。前述のサーバ数千台規模のプロジェクトしかり、1台構成しかり。大規模プロジェクトであれば当然、オンプレミスと同様にネットワークインフラについての設計を綿密に行う必要がありますが、では、中小規模のプロジェクトにおいてはネットワークの設計をする必要はないのでしょうか。 AWSでは、VPCという「ネットワーク環境」を構築するサービスを提供しています。しかもVPCの利用
[新サービス] 一撃でCI環境を作れる AWS CodeStar | DevelopersIO
渡辺です。 2017/04/19開催(日本時間:2017/04/20)の『AWS Summit in San Francisco』で発表された新サービス『AWS CodeStar』についてお知らせします。 一言で言えば、CodeCommit, CodePipeline, CodeBuild, CodeDeployとそれらに付随する実行環境を一撃で構築・管理できます（2017年4月の時点で、東京リージョンでは利用できません）。 実行環境もカバーする最強のスキャホールド AWS CodeStarが何者か、一言で言えば、一時期に流行ったスキャホールドの類です。 Ruby on Railsが登場した時、コマンドひとつでウェブアプリケーションの雛形ができることに衝撃を覚えた人は多いでしょう。 ベース部分をスキャホールド（足組）として作り、肉付けをしていくというスタイルが流行ったかと思います。 AWS
![[新サービス] 一撃でCI環境を作れる AWS CodeStar | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/495673edbefe7b7bc5e6e9e54b2565989b893342/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Faws1.png)
できた！S3 オリジンへの直接アクセス制限と、インデックスドキュメント機能を共存させる方法 | DevelopersIO
CloudFrontをS3 オリジンで利用するとき、「CloudFrontをバイパスしたアクセスを制限」「インデックスドキュメントを返す」という要望は少なくないのではないでしょうか？出来そうで出来なかった共存を Lambda@Edge で解決！ ちょっと伝わりにくいタイトルですが、やりたいことは以下の2つです。 CloudFront の S3 オリジンには直接アクセスさせない（CloudFront をバイパスした S3 へのアクセスをブロック） オブジェクト指定のないアクセス（末尾"/"の URL アクセス）にはインデックスドキュメントを返す（サブディレクトリも含む） 画にするとこういうことです↓ 「CloudFront をバイパスさせない」という点でまず考えるのは、オリジンアクセスアイデンティティでかと思います。そして、「オブジェクト指定のないアクセスにインデックスドキュメントを返す」と
Amazon DynamoDB のデータを API Gateway と Angular( D3.js ) でサーバーレス可視化する | DevelopersIO
とある投票システムを仮想したデータです。特定の投票者IDに関するデータを、日別で見たいとしましょう。 export interface Vote { voteDate: string; value: number; } export const Votes: Vote[] = [ {voteDate: '2017-11-10T12:00:12+09:00', value: 345.11 }, {voteDate: '2017-11-11T22:00:12+09:00', value: 102.34 }, {voteDate: '2017-11-12T09:12:45+09:00', value: 345.11 }, {voteDate: '2017-11-13T09:12:45+09:00', value: 312.12 }, {voteDate: '2017-11-14T09:12:45
DynamoDBの料金を最適化しよう【初級編】 | DevelopersIO
こんにちは、臼田です。 DynamoDBの料金体系って難しくてよくわからないと思っている方も多いかもしれません。私もその一人でした。 今回はどのようにすればDynamoDBを安く利用できるのかについて、まとめてみたいと思います。 本ブログのコンセプト DynaomDBをこれから利用する、もしくはとりあえず利用しているが熟知はしていない方向け 利用料金の最適化に必要な範囲の説明を行う キャパシティーユニット等のわかりにくい用語についても少し解説を入れる RDSとの比較などは行わない 大規模であったり、細かいチューニングを伴うような部分は割愛 なお、上級者向けの内容は含まれていませんのでご了承下さい。 RDSとの比較やDynamoDBの詳細な使い方などは、弊社都元が執筆しているコンセプトから学ぶAmazon DynamoDB – シリーズ –がむちゃくちゃ参考になるので、こちらも御覧ください。
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
Amazon Elasticsearch ServiceがVPCをサポートしました | DevelopersIO
まいど、大阪の市田です。 本日のアップデートでAmazon Elasticsearch ServiceがVPCをサポートしました。 AWS Developer Forums: Amazon Elasticsearch Service now supports Amazon Virtual Private Cloud (VPC) 試してみた それではマネジメントコンソールから作成してみます。 ドメインの名前を付けます。バージョンはデフォルトの「5.5」のまま「Next」をクリックします。 インスタンス数は「2」として、複数のサブネットにMulti-AZで構成するため「Enable zone awareness」にチェックを入れておきます。 次の画面で「VPC access」を選択して下さい。サブネットが2つ選択出来ます。セキュリティグループは複数選択することが可能です。 VPCがサポートされ
CloudFrontのCustom Error Responseを利用して、S3上にあるSorryページを表示する | DevelopersIO
CloudFrontのCustom Error Responseを利用して、S3上にあるSorryページを表示する こんにちは、ゴールデンウィークの10連休が終わってしまい、社会復帰ができていない岩本です。 さて、早速ですが やりたい事 CloudFrontで指定した、オリジンサーバーの障害時に、オリジンがSorryサーバーに自動的に切り替わるようにしたい。 備考 Cloudfront - オリジン間はHTTP/HTTPSが混在しており、 クライアントからのHTTPS通信の際はCloudfront - オリジン間の通信もHTTPS化したい。 想定した構成 問題（オリジンサーバーがS3へフェイルオーバー時） 上記の構成では、このような問題が考えられます。（オリジンへの通信はMatch Viewerを指定する） HTTP通信の場合は、S3に割り当てたドメイン名origin.hoge.comを利
Amazon Athena で CloudFront のアクセスログを集計する | DevelopersIO
こんにちは、菊池です。 これまでのエントリで、ELBのログをAmazon Athenaで分析する方法を紹介しました。 Amazon Athena RegexSerDe を利用して CLB ログ / Apache Web のアクセスログを探索する Amazon Athena RegexSerDe を利用して ALB ログを探索する 今回は、CloudFrontのアクセスログをAmazon Athenaで分析してみます。 CloudFront とは Amazon CloudFrontは、AWSが提供するコンテンツ配信サービス（CDN）です。ユーザからのアクセスを、世界中にあるエッジサーバを経由するよう誘導することで、高速なアクセスを提供します。また、エッジサーバにコンテンツをキャッシュすることで、オリジンサーバの負荷を低減することもできます。 AWS再入門 Amazon CloudFront編
[F5] Auto scaling the BIG-IP VE Web Application Firewall を試してみる | DevelopersIO
こんにちは、菊池です。 F5 BIG-IPには、Application Security Manager（ASM）のライセンスを有効化することで利用できる、WAFの機能があります。 この、WAF機能について、Auto Scalingを有効化し、BIG-IPの設定まで自動で実施してくれるCloudFormationのテンプレートが公開されています。 Auto scaling the BIG-IP VE Web Application Firewall in AWS | GitHub このテンプレートを利用することで、BIG-IPの詳しい知識がなくとも、基本的な設定が適用されたWAF環境がデプロイ可能です。 システム構成 構築する環境は以下のようなイメージになります。 Auto ScalingによるBIG-IP VE（ASM）のEC2が起動 外部からのリクエストをExternal ELBが複数
![[F5] Auto scaling the BIG-IP VE Web Application Firewall を試してみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/39d688c07365f27e63f9121e95df2f61d2071b32/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F11%2Ff5.png)
Amazon AthenaでELBのログを調査するときに使ったSQL | DevelopersIO
はじめに 今まではログの調査の際にはS3にあるELBのログをローカルに落としてgrepしたりしてましが、 Athenaを使ってログを解析してみましたので今回は調査のときに使ったSQLをご紹介します。 ご紹介するSQLを使えばあとは少し変えるだけでいろいろな調査が可能かと思います。 Athenaデータベース、テーブルの準備 Athenaを使用する際の手順は以下ブログを参考にしてください。 Amazon AthenaでELBログをSQLで解析する #reinvent 調査に使用したSQL ELB毎のリクエスト数を調べる SELECT elb_name, count(*) AS request_count FROM elb_logs GROUP BY elb_name ORDER BY request_count DESC; 特定の時間内でのリクエスト数を調べる SELECT elb_name,
Amazon EC2 アクセス制御レシピ | DevelopersIO
はじめに 悪意のあるユーザーからシステムを守るにあたって、アクセス制御は重要です。 社内システムのような一般公開しないシステムの場合は必要な拠点からのみ接続を許可することで、悪意のあるユーザーからの攻撃をブロックします。 ECサイトのような一般公開するシステムの場合は必要な通信のみ許可します。 不要な通信を許可すると、攻撃が成立しやすくなります。 攻撃を防ぐだけでなく、攻撃を受けた後の対応としてもアクセス制御は重要です。 例えば、特定IPアドレスからの攻撃が認められる場合、そのIPアドレスをブロックします。 本記事ではAmazon EC2で行うアクセス制御の基本を整理します。 本記事でのアクセス制御は、主にIPアドレスベースでの制御を対象にします。 EC2のアクセス制限には主にセキュリティグループとネットワークACLで行います。 上記との2重管理になるため、iptablesやWindows
コンセプトから学ぶAmazon DynamoDB【GSI篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はグローバル・セカンダリ・インデックス（GSI）にフォーカスします。LSIを忘れないうちにGSIいきますよっ。 ローカル・セカンダリ・インデックス（LSI）というのは、ハッシュキーattributeが共通で別のレンジキーattributeを持つ、複合キーテーブルに対するインデックスでした。 グローバル・セカンダリ・インデックス（GSI）とは 例えば、Amazon DynamoDB Developer Guide - サンプルテーブルとデータにあるProductCatalogテーブルは、Idがハッシュキーとなったハッシュキーテーブルです。つまりこのテーブルは、Idを条件としたquery（問い合わせ）しかできません。ハッシュキーテーブルであるが故に、LSIも定義できません。 アプリケーション要件「ProductCategoryで絞り込んだ後、Title
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
Amazon EC2 Container Service(ECS)のデータモデルについて整理した | DevelopersIO
はじめに Amazon EC2 Container Service(以降ECS)はAmazon EC2上でDockerコンテナを稼働・管理するためのサービスです。私は最近ECSをよく触っており社内外の啓蒙活動も行っているのですが、「TaskとServiceってどう違うの？」「ECSのデータモデルがよくわからない」といったフィードバックを何度かもらいました。今日はECS学習のとっかかりとして、ECSで使われる概念について整理してみました。 概念 Task 前述の通り、ECSはDockerコンテナを起動、管理するためのサービスです。Dockerのベストプラクティスとして、基本的には1コンテナ1サービスであることが公式に推奨されています。 It is generally recommended that you separate areas of concern by using one ser
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AKIBA.aws 第1回 基礎編で「負荷分散だけじゃないELBのメリット」を話しました | DevelopersIO
