Developers.IO 2017セッション「実案件で見るデータ分析用AWS基盤の構築方法」を発表しました #cmdevio2017 | DevelopersIO
Developers.IO 2017セッション「実案件で見るデータ分析用AWS基盤の構築方法」を発表しました #cmdevio2017 セッション内容 本セッションでは、私が所属しているインテグレーション(DI)部で経験した案件を元に、 データ分析基盤の色々 そこから得たノウハウ 基盤構築後発生した問題とその解決 今後導入したいAWSサービス をお伝えしました。以下、詳細です。 データ分析基盤の色々 今までに関わってきた主な案件のパターンを紹介します。 ログデータ分析 基幹システムのデータをRedshiftに格納しBI参照 基幹システムのデータをCSVやTSVのようなテキスト形式に変換してもらい、S3に格納する。それをEC2インスタンス上で動作させるバッチプログラムでRedshiftへロード、加工する。ロードされたRedshift上のデータはBIシステムで検索データとして利用される、という
Developers.IO 2017セッション「AWSネットワークのL4以下の話」を発表しました #cmdevio2017 | DevelopersIO
セッション概要 セッションでは、AWSネットワークについての少しマニアックな話とちょっと未来の話題をレイヤー毎にご紹介しました。 レイヤー1の話 AWSのデータセンターに関する話や、最近のサーバーハードウェア周りについてお話ししました。いずれも、AWS James Hamilton氏によるre:Inventでのセッション資料を参照しました。 英語 (SPOT301) AWS Innovation at Scale | AWS re:Invent 2014 AWS re:Invent 2016: Tuesday Night Live with James Hamilton - YouTube 日本語 (SPOT301)AWS Innovation at Scaleのスライドがスゴい - yoshidashingo Amazon データセンターについて、James Hamilton が語る |
Amazon ECSのELB構成パターンまとめ(ALB対応) | DevelopersIO
ども、大瀧です。 DockerクラスタリングのマネージドサービスであるAmazon ECSにここ数週間で大きなアップデートがあり、AWSのロードバランササービスであるELB(Elastic Load Balancing)との組み合わせ方が大幅に増えました。この記事ではパターンとその使い分けについて解説してみます。 ECSとELBのアップデート概要 ECSでは、ここ数日で以下のアップデートがアナウンスされています。 Amazon EC2 Container Service Automatic Service Scaling Region Expansion Amazon EC2 Container Service Now Integrated with Application Load Balancer to Support Dynamic Ports and Path-based Rout
サブネットとインターネット通信 ｜ Developers.IO
プライベートサブネットの特徴 プライベート（プロテクト）サブネットは、NATインスタンスを介さなければインターネットと通信が出来ません。これは不正ログインなどから守るという点では大きなメリットですが、運用を行う上ではデメリットを抱えます。セキュリティ面と運用面のバランスを取る必要があります。 この時、インスタンスからインターネットへの外向きの通信と、SSHログインなどインターネットからの内向きの通信になります。 インターネットへの外向き通信とNATインスタンス インターネットとの通信を一切必要としない場合を除き、プライベートサブネットではNATインスタンスが必要となります。NATインスタンスはmicroインスタンスで十分です。しかし、NATインスタンスを起動していればそれだけ費用が増え、構成が複雑になります。 また、yumやgemといったパッケージインストーラはインターネット通信が前提です
EIPで料金発生するパターンとしないパターン #AWS | DevelopersIO
EC2でパブリックIPアドレスを固定したい時にはEIP (Elastic IP) を使いますが、 それなりにAWSを使っているひとからも、「どういう時に料金が発生するのか分かりにくい」という話を聞くことがあります。 ちょっとまとめてみました。 その前に : そもそもEIPとは ひとことで言えば「EC2インスタンスで使える、パブリックIPアドレス（グローバルIPアドレス）の固定IPアドレス」です。 これを説明しだすと長くなるので、参考URLをご紹介するに留めさせてください。 Elastic IP アドレス - Amazon Elastic Compute Cloud サブネットとインターネット通信 ｜ Developers.IO 問題は、これが完全に無料で使えるわけではないということです。 公式には、下記のように記載されています（記事執筆時点での東京リージョンの場合）： $0.00 : 実行
Amazon EC2 Container Service(ECS)のデータモデルについて整理した | DevelopersIO
はじめに Amazon EC2 Container Service(以降ECS)はAmazon EC2上でDockerコンテナを稼働・管理するためのサービスです。私は最近ECSをよく触っており社内外の啓蒙活動も行っているのですが、「TaskとServiceってどう違うの？」「ECSのデータモデルがよくわからない」といったフィードバックを何度かもらいました。今日はECS学習のとっかかりとして、ECSで使われる概念について整理してみました。 概念 Task 前述の通り、ECSはDockerコンテナを起動、管理するためのサービスです。Dockerのベストプラクティスとして、基本的には1コンテナ1サービスであることが公式に推奨されています。 It is generally recommended that you separate areas of concern by using one ser
AWSリソースについてセキュリティベストプラクティスに従った設定をしよう！ | DevelopersIO
コンニチハ、千葉です。 AWSのセキュリティブログでこんなポストがありました。 Getting Started: Follow Security Best Practices as You Configure Your AWS Resources ということで、早速環境を見直して見ました。 強力なパスワードの設定 パスワードポリシーは、IAMから設定可能です。パスワード管理についてはサードパーティ製のパスワード管理ツールを利用するといいでしょう。 IAMのアカウント設定から変更できます。 参考：IAM ユーザー用のアカウントパスワードポリシーの設定 AWSアカウントでグループメールを使う 自社でAWSアカウントを管理している場合は、アカウント作成時にメールアドレスを登録していると思います。その場合は、グループメールを指定しておくと、特定の人が不在でも他の誰かがメールを受け取ることができ対応
【Sophos】AWSに構築したVPNサーバ経由で社内PCにリモートアクセスするにはIPマスカレードを有効にする | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。クラスメソッドではリモートワークが盛んで、多くの人が自宅やコワーキングスペースで仕事をしています。 特に台風の日は交通機関の乱れが予想されるため自宅勤務に切り替え、作業を行なう方が多いようです。 ただリモートワーク中でも、どうしても社内のデスクトップPC等にアクセスしなくてはならないケースがあります。 そのため会社ではVPNサーバーを用意し、リモートから接続することで作業ができるようにしてあります。 背景 これまでVPNサーバーは本社サーバー室に設置していました。しかし諸々の事情によりリプレースを行なうことにしました。 VPNサーバーの保守切れ 社員数が多くなりリモート接続ユーザーも増えた（ライセンス、パフォーマンスが足りない） 物理サーバーだとメンテナンスが現地にいるメンバーしかできない（年一回のビル停電など） そこでリプレースと合わせ
[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO
ども、大瀧です。 一昨日、Amazon S3に地味〜な機能追加としてVersioningとLifecycleの両方の有効化がサポートされました。 元々S3ではファイル(オブジェクト)の管理オプションとしてVersioningとLifecycleを別々に使うことはできたのですが、排他の関係で両方有効化しようとするとエラーになっていました。両方を組み合わせることで、ユニークな使い方ができそうなのでご紹介してみます。 復習 S3 Versioningオプションとは S3のVersioningとは、保存するファイルを上書きする際に古い内容を維持できるオプションです。Git/Subversionといったバージョン管理ツールほどの機能は持っていませんが、更新前の内容を保持できますので、誤って内容を変更・上書きしてしまった際などに対応できます。 S3 Lifecycleオプションとは S3のLifecy
![[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae1831085634f040d8ea87c65585c41d4de216bc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_S3.png)
AWS CLIを利用してS3上のファイルをgrepする | DevelopersIO
先日Hadoop Streamingを利用してS3上のファイル群にgrepコマンドを実行する方法を紹介しました。 grepコマンドをHadoop Streaming上で実行する とはいえ、ファイル数が少ない場合や時間が掛かってもいいからEMRを利用せずにローカルPC上でgrepコマンドを実行したいこともありますよね。ということで、今回用意したのがAWS CLIを利用してS3上のファイル群をローカルPC上でgrepするbashスクリプトです。 動作確認環境 今回の動作確認を行った環境です。 Mac OS X 10.12.5 GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin16) aws-cli/1.11.60 Python/2.7.10 Darwin/16.6.0 botocore/1.5.23 s3grep s3grepという
Docker for AWS は、デフォルトで安全なコンテナープラットフォーム | DevelopersIO
本記事は、2017/6/2 の docker blog ポストより引用しています。 Docker for AWS and Azure: Secure By Default Container Platform - Docker Blog ざっくり紹介 Docker for AWS （および Azures）製品について、2017/2 に NCC Group(セキュリティ会社)と共同で セキュリティ評価を実施したところ、デフォルト設定で安全なプラットフォームが提供されていると評価された。 また、それとは別に Docker プロジェクト（Notary、詳細は後述）についても検証されていたりします。 他には、 Fleet Management from Docker Cloud という、より大きな開発者やオペレーションのチームのための製品が紹介されています。 記事の内容紹介 Docker for
AWS再入門 AWS Trusted Advisor編 | DevelopersIO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の21日目のエントリです。 昨日 20日目のエントリは平田の『Machine Learning』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて 最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようという コンセプトが含まれています。 本日21日目のテーマは『AWS Trusted Advisor』です。 目次 AWS Trusted Advisorとは 使ってみる Trusted Advisor Dashboard メール通知 Excel出力 評価基準一覧＜2015年12月時点＞ Cost Optimizing【コス
Auto Scalingでスポットインスタンスを活用しつつ可用性も確保する | DevelopersIO
よく訓練されたアップル信者、都元です。Auto Scalingと言うと、サーバ負荷に応じて自動的にサーバ台数を制御してくれる機能、という印象が強いと思います。まぁ実際にこのような使い方がベストではありますが、単に「（仮に一部のサーバが落ちたとしても、自動で追加起動して）一定数のサーバを維持したい」「手動による台数コントロールを楽にしたい」といった目的でもしばしば利用されます。 スポットインスタンス それはそうと、皆さん、安いの好きですよね！ 安いは正義。 EC2のインスタンスは大きく「オンデマンドインスタンス」「リザーブドインスタンス」「スポットインスタンス」の3種類に分かれます。ざっと一言で説明しますと、以下の通りです。 オンデマンドは普通に立ち上げたインスタンス リザーブドインスタンスは「前払金を払って1年or3年間の継続的な利用を約束」することによって単価が安くなったインスタンス ス
Amazon EC2インスタンスの自身のMetadataを簡単に取得する | DevelopersIO
Amazon EC2のメタデータを簡単に取得する方法 Amazon EC2はたくさんのメタデータを持っています。SDKやAPIを経由して取得する方法が一般的ですが、自身のインスタンス内で簡単に問い合わせる方法があります。以下のアドレスにアクセスすることです。 http://169.254.169.254/ 実際にどんな情報が取得できるのか試してみたいと思います。 $ wget -q -O - http://169.254.169.254/ 1.0 2007-01-19 2007-03-01 2007-08-29 2007-10-10 2007-12-15 2008-02-01 2008-09-01 2009-04-04 2011-01-01 latest 取得したファイルの中身はテキストの羅列です。 トップレベルのMetadataを表示する $ wget -q -O - http://16
ELBのスティッキーセッションについて調べてみた | DevelopersIO
はじめに 藤本です。 私事ですが、先週「AWS認定Sysopsアドミニストレーター - アソシエイトレベル」を受験しまして、 無事合格しました(8888 更に昨日「AWS認定デベロッパー - アソシエイトレベル」を受験しまして、 無事合格しました(8888 トリプルアソシエイトになりました。 今回はELBのスティッキーセッションがどういうものなのか理解できていなかったので調べてみました。 概要 ELBにクライアントとバインド先を固定するスティッキーセッションという機能があります。 HTTPレスポンスにELBでCookieを埋め込んで、 そのクッキーを基にバインド先のインスタンスを固定するというものです。 ELBのスティッキーセッションはCookieの有効期限設定が2種類あります。 任意の有効期限を指定する アプリケーションのCookieに従う スティッキーセッションを利用したい場合、 アプ
「AWSとGitHubで始めるDevOpsハンズオン」の資料を公開します！ | DevelopersIO
はじめに こんにちは、中山です。 弊社はGitHubと国内初のサービスパートナー契約を結びました。そこで、ソースコード共有サービスとしてデファクトスタンダードとなっているGitHubと、クラウド業界で高いシェアを誇っているAWSを組み合わせて、継続的インテグレーション/継続的デリバリーを構築するハンズオンを実施します。すでに募集ページも公開しているので是非お越しください。まずは大阪から、次に東京で開催します。 【6/9】入門セミナーシリーズ第二回 AWSとGitHubで始めるDevOpsハンズオン in 大阪 【会場変更/満員御礼】入門セミナーシリーズ第二回 AWSとGitHubで始めるDevOpsハンズオン in 東京 本エントリではハンズオンで利用する資料を事前に公開します。どういった内容を実施するのかぜひご覧になってください。 ハンズオンでは弊社エンジニアが各種サービスの説明をしなが
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
[新ツール] AWS Serverless Application Model (AWS SAM) を使ってサーバーレスアプリケーションを構築する | DevelopersIO
[新ツール] AWS Serverless Application Model (AWS SAM) を使ってサーバーレスアプリケーションを構築する AWS Serverless Application Model (AWS SAM) とは AWS Serverless Application Model (以降 AWS SAM) は、AWS が公式で提供しているサーバーレスアプリケーションを構築するためのフレームワーク (モデル) です。Lambda, API Gateway, DynamoDB のリソースをひとまとめに管理 (作成 / 更新 / 削除) することができます。 AWS SAM は、元々 Flourish という名前で知られていたものです。今年5月に開催された Serverless Conf にて Tim Wagner から発表されて以来、期待が集まっていました。re:Inv
![[新ツール] AWS Serverless Application Model (AWS SAM) を使ってサーバーレスアプリケーションを構築する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/17c008813764fb15f69f5ae4d5c67d6f3fc096ce/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F10%2Fserverless.jpg)
【レポート】ドコモが考える地道なデジタル化とその先にある AI #AWSSummit | DevelopersIO
こんにちは、臼田です。 2017/05/31（水）に行われましたAWS Summit Tokyo 2017 Day2 「ドコモが考える地道なデジタル化とその先にある AI」のセッションレポートになります。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 セッションの登壇者及び概要は以下の通りです。 栄藤 稔氏 株式会社 NTTドコモ イノベーション統括部 執行役員、部長 AI という言葉が先行し、業界的には盛り上がっているますが、実際に取り組もうと思うとハードルが高く、何から手をつければ実現できるのかについてのコンセンサスが少ないのが現状です。ドコモは 2012 年からしゃべってコンシェルなどの音声対話エージェントなどを提供し、さらに様々な業界に "AI" を提供してきました。盛り上がっている AI への取り組みを考える上で何が重要なの
【レポート】AWS のコスト最適化入門#AWSSummit | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 現在開催中のAWS Summit Tokyo、当エントリでは2017年05月31日に行われたAWS Techトラック2：AWS のコスト最適化入門についてレポートします。 セッション概要 当セッションの登壇者及び概要は以下の通りです。 http://www.awssummit.tokyo/summit/index.html スピーカー：高山 博史 アマゾン ウェブ サービス ジャパン株式会社 ストラテジック アカウント マネジメント部 シニア ストラテジック アカウント マネージャー 概要：AWS は初期費用不要、ご利用になられた分だけをお支払いいただく、従量課金モデルが基本となっています。さらに「リザーブドインスタンス」や「スポットインスタンス」などのコスト最適化オプションを活用することで、構成を変更することなくコスト削減を実現できるケースもあります。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
