【AWS Data Lake】ニアリアルタイムデータ分析環境・スピードレイヤを構築してみた（ハンズオン1） | DevelopersIO
こんにちは。DA事業本部の春田です。 管理のしやすさや拡張性の高さで注目を集めている、次世代のデータ分析基盤Data Lakeについて、ハンズオンにトライしてみました。 Datalake Handson 本記事では、Lab1~Lab3のニアリアルタイムデータ分析環境（スピードレイヤ）を構築していきます。 Lab1: はじめの準備 Lab1: はじめの準備 はじめにハンズオン共通で使用するVPC、EC2、IAM Roleを設定していきます。まずEC2で使用するキーペアを作成します。 上で作成したキーペア datalake-handson-haruta を用いて、CloudFormationからEC2インスタンスを作成します。 EC2の構築が完了したら、 datalake-handson-haruta の公開鍵でSSHログインし、 /root/es-demo/testapp.log にログが吐
Gremlinを使って障害を注入してみる | DevelopersIO
こんにちは、森です。 昨年のAWS re:Invent 2018でも紹介されたカオスエンジニアリングツールの Gremlin というサービスを使って障害を注入し、 使用感を確かめたいと思います。 Gremlinとは "Gremlin provides a hosted service for you to safely, securely, and simply run Chaos Experiments to prevent outages." システムに障害を注入するためのホスティングサービスです。 以下の３つの原則をもとに、我々にChaos Experimentsを提供してくれます。 Safety 正確な故障テストで影響範囲を最小化。 安全に停止し、すぐに安定した状態にロールバックします。 Security ルートアクセスを必要とせず、SSOとMFAを提供し、 定期的なサードパーティ
安全なデータレイクの構築が容易になる AWS Lake Formation がついにリリースされました | DevelopersIO
昨年のre:Invent2018で紹介されたAWS Lake Formation がついにリリースされました。東京リージョンでもリリースされましたので、早速、試してみたいと思います。 ついにきましたLake Formation. データレイクの構築が容易に。 AWS Lake Formation – Now Generally Available | AWS News Blog https://t.co/qBdo8Ubj8O — Junpei Ozono (@jostandard) August 8, 2019 Jeff Barさんよりも、大薗さんの方が情報早かったw AWS Lake Formation とは AWS Lake Formation を試してみました！ AWS Lake Formation の設定できる権限のIAMユーザー/IAMロール付与 AWS Lake Formati
AWS Glue ETLワークロードをGUIでオーケストレーションする『Workflows』を実際に試してみました | DevelopersIO
AWS Glueは、ワークフローを用いて、クローラ、ジョブ（及びトリガ）の有向非循環グラフ（DAG）を作成して、ETLワークロードをオーケストレーションできるようになりました。AWS Glueが利用可能なすべての地域で利用できるようになりましたので早速試してみます。 Workflowsとは Workflowsの作成 Workflowのシナリオ 新規Workflowの追加 Workflowにエンティティを追加 Workflowの実行 実行結果の管理 制限事項 まとめ AWS Glue now provides workflows to orchestrate your ETL workloads Workflowsとは Workflowsは、既存のクローラ、ジョブ（及びトリガ）をGlueコンソール上のGUIを用いて有向非循環グラフ（DAG）を作成、実行、管理できる新機能です。これからは、クロ
【レポート】【re:Mars 2019】M18: 機械学習を使った人身売買との闘い #reMARS | DevelopersIO
せーのでございます。 只今私はAmazon初めてのAI・機械学習系カンファレンス「re:Mars 2019」に参加するため、アメリカはラスベガス「Aria Casino & Resort」に来ております。 このエントリでは「M18-Fighting Human Trafficking Using Machine Learning」についてレポートします。 スピーカーはThorn CEO、Julie Cordua氏、AWS Artificial Intelligence Director、Ranju Das氏です。 レポート AWSと一緒に5年前から取り組んできた闘いとオンラインでの幼児の性的虐待について AIについて話す前にまず人間について話したい 子供の性的虐待は世界が始まる頃からあった 技術の進歩により、虐待も加速した この20年でオンライン上で子供の売買市場が出来上がり、オンラインで
プライベートネットワーク経由でAWS S3にアクセスする7つのアーキテクチャの紹介 | DevelopersIO
[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する
EmacsでCloudFormationテンプレート(YAML)を編集する ｜ DevelopersIO
はじめに 清水です。1年ほど前に以下のエントリでEmacsでCloudFormationテンプレート (JSON)を編集しやすくする方法をまとめてみました。 EmacsでCloudFormationテンプレート(JSON)を編集する ｜ Developers.IO このエントリ執筆時はCloudFormationのテンプレートファイル記述方法はJSONのみでしたが、その後2016年9月のアップデートでYAML形式でもCloudFormationテンプレートファイルが記述できるようになりました。 【アップデート】AWS CloudFormationでYAML形式をサポートしました ｜ Developers.IO 今回はYAML形式のCloudFormationテンプレートファイル(つまりYAMLファイル)をEmacsで見やすく、編集しやすい環境を整える方法をまとめてみたいと思います。具体的に
Amazon WorkLinkを試してみた（IdPとしてAWS SSOを利用する場合） | DevelopersIO
はじめに 中山です WorkLinkってサービスをご存じでしょうか？ Amazon WorkLink のご紹介 今年の1月にリリースされたサービスなのですが、まだ東京では提供されていないためか、日本語での技術情報が公式のドキュメント以外ではほぼありませんでした（ニュースサイトの紹介記事を除く）。 唯一見つけた情報はこちらです。さすがクラウドネイティブさん。 AWS WorkLinkを触ってみました WorkLinkとは？ クローズドなネットワーク内にあるWebサービスへモバイルデバイス (Android, iOS) でセキュアにアクセスための手段を提供します。 ユーザー認証はSAMLに対応したIdPと連携することができ、特定の要件を満たしたデバイスのみにアクセスを許可するような制御も可能です。 デバイス - WorkLink 間の通信はVPNで暗号化されます。 。。。と書いたものの、ちゃん
AWS Systems Manager パラメータストア + Chamberで機密情報を管理する | DevelopersIO
シークレットの保存 chamber writeで、引数で指定した値をSSMパラメータストアに保存します。 ## chamber write <service> <key> <value> $ AWS_PROFILE=prod chamber write prod/web dbuser prod-user01 上記のコマンドを実行すると、SSMパラメータストア上では/prod/web/dbuserというキーで値prod-user01が保存されます。 はシークレットをまとめて管理する単位、といったイメージです。例えばWebサーバーで使用するシークレットを保存する場合はに「web」や「prod/web」等を指定し、````に「dbuser」等を指定する使い方になります。 指定したキーがすでに存在する場合は、新しいバージョンでシークレットが保存されます。 またvalueの代わりに-を指定することで
[アップデート] Amazon EFSにSLAが設定されました | DevelopersIO
大栗です。 新年明けましておめでとうございます。新年早速AWSのアップデートがありました。Amazon EFSにSLAが設定されたのでご紹介します。 Amazon EFS Service Level Agreement Amazon EFS Announces 99.9% Service Level Agreement Announcement: Amazon EFS Announces 99.9% Service Level Agreement サービスレベルアグリーメントの設定 今までAmazon EFSにはSLAが設定されていませんでしたが2019年1月2日付けでSLAが設定されました。これでAWSでSLAが設定されたサービスは以下のサービスとなりました。 Amazon CloudFront Amazon DynamoDB Amazon EC2 / Amazon EBS / Amaz
![[アップデート] Amazon EFSにSLAが設定されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a01d2a30d8d8fda8628f6fd097ed8a766fa5ab46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_amazon-elastic-file-system_1200x630.jpeg)
Alteryx 2018.3 新機能：「Python Tool with Jupyter Notebook」でPythonコードをAlteryxワークフロー上で実行出来るようになりました #alteryx | DevelopersIO
日本時間の2018年08月28日、Alteryxの最新バージョンとなる「v2018.3」がリリースされました。 Did somebody say #Visualytics, faster workflows and code-friendly tools? We did! In our upcoming Alteryx Analytics 2018.3 release you can have it all. Learn more here: https://t.co/7LaxVnQ9Q0 pic.twitter.com/w9reFJUg7Y — Alteryx (@alteryx) 2018年8月28日 当エントリではv2018.3の新機能である「「Python Tool with Jupyter Notebook」でPythonコードをAlteryxワークフロー上で実行出来るように」に
【速報】【新サービス】時系列データベースであるAmazon Timestreamが発表されました #reinvent ｜ DevelopersIO
サーバーレス開発部の阿部です。 re:Invent 2018のキーノートにて、時系列データベースであるAmazon Timestreamが発表されました。現在はプレビュー受付中です。 時系列データベースとは、その名の通り、タイムスタンプを持つデータを保持、扱うことに特化したものです。他の製品だとInfluxDBやBeringei (Gorilla)などがあります。 概要(サマリ) Amazon Timestreamは、関係データベースの1/10のコストでIoTや運用系のアプリケーションのような大量のイベントを扱うケースを想定した時系列データベースサービスです。リレーショナルデータベースでも保持はできますが、時間感覚でのクエリや保存の最適化については不十分です。 Timestreamはこれら時系列データの保存やクエリを処理することを目的に構築されたデータベースとなります。 サーバーレスなマネ
[新サービス] HPC用の高速な分散ファイルシステムAmazon FSx for Lustreが発表されました #reinvent | DevelopersIO
大栗です。 現在re:Invent 2018のKeynote中で機械学習やHPC向けの高速なファイルシステムの新サービスが発表されました。 Amazon FSx for Lustre AWSには様々なストレージサービスがありますが、多数のマシンからアクセスするためのサービスはレイテンシよりもスループットを重点においたサービスが多くありましたが、今回発表されたAmazon FSx for LustreはHPCや機械学習で必要になるスケールアウトな並列ファイルシステムで数百万GB/秒のスループットとミリ秒未満の低レイテンシのLustreファイルシステムを提供します。 Amazon FSx for LustreはS3と統合されていて長期間保存するデータセットを高性能なファイルシステムへ簡単にリンクしてコンピュータ集約型のワークロードを実行できます。また実行結果をS3に書き戻せます。 メリット A
![[新サービス] HPC用の高速な分散ファイルシステムAmazon FSx for Lustreが発表されました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1e34f0f5acf838134b9b895d89d830ecbb162de9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Ffsx-lustre.jpg)
[レポート] DEV322: What’s New with the AWS CLI #reinvent ｜ DevelopersIO
はじめに こんにちは、コンサル部の望月です。 縁の下の力持ちこと、AWS CLIの新着情報ということで、AWS re:Invent 2018のセッション「DEV322: What's New with the AWS CLI」 のレポートをお送りします。 セッション概要 We're working on a new major version of the AWS Command Line Interface (AWS CLI), a command-line tool for interacting with AWS services and managing your AWS resources. AWS CLI v2 will include features to improve workflows and make it even easier to manage AWS res
![[レポート] DEV322: What’s New with the AWS CLI #reinvent ｜ DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
[速報]ARMベースのプロセッサ”AWS Graviton Processors”を搭載したA1インスタンスがリリースされました！ #reinvent | DevelopersIO
はじめに 中山（順）です AWSさん、CPU作っちゃったみたいです。 New – EC2 Instances (A1) Powered by Arm-Based AWS Graviton Processors Introducing Amazon EC2 A1 Instances Powered By New Arm-based AWS Graviton Processors A1インスタンスの概要 ざっくりまとめると以下のような感じです。 ARMベースのプロセッサ"AWS Graviton Processors"を開発 Graviton Processorsを搭載したホスト上で稼働するのがA1インスタンス 実行するアプリケーションの言語によってはビルドし直す必要あり（スクリプト言語であれば不要） 現時点でサポートされるOSは、"Amazon Linux 2", "RHEL", "Ubun
マルチプラットフォームで利用可能なOpenJDKのAmazon Correttoが発表されました！ | DevelopersIO
マルチプラットフォーム（ubuntu、RHEL、Windows、MacOS）対応のLTSがついたOpenJDK互換のJavaリリースのアナウンスです！ しばらく前に、Amazon LinuxでのJavaのLTSが発表され大きな話題となりました。 Amazon LinuxでのJavaのLTS (Long-Term Support)提供について 「ほぇー、AWSもやりおるやんけ！！」と感慨にふけっていたら、それの100倍ぐらい衝撃的なニュースが、Javaの神様James Goslingのツイートで飛び込んできました。 Just announced #amazon #Corretto at #devoxx. It is our distribution of OpenJDK. https://t.co/09cuPEqnex — James Gosling (@errcraft) 2018年11月
Amazon Auroraで組み合わせ自由なエンドポイントが設定可能になりました ｜ DevelopersIO
大栗です。 Amazon Auroraのエンドポイントにはクラスタエンドポイント、リーダーエンドポイント、インスタンスエンドポイントの3種類がありましたが、組み合わせを変更できるカスタムエンドポイントが利用可能になったのでレポートします。 Announcement: Amazon Aurora Simplifies Workload Management with Custom Endpoints Using Custom Endpoints カスタムエンドポイント 概要 Auroraは同じインスタンスでもフェイルオーバーなどでロールが変化するため、ロールごとにアクセスするためのエンドポイントがありました。 クラスターエンドポイント: ロールがWriterのインスタンスへアクセスするエンドポイント 読み込みエンドポイント: ロールがReaderのインスタンスへアクセスするエンドポイント イ
Alteryx Connectで出来ることのまとめ – Alteryx製品別概要紹介 – #alteryx | DevelopersIO
セルフサービス分析を強力にサポートする製品「Alteryx」については弊社当ブログでも度々取り上げて内容を紹介していますが、近年は関連製品も増え、更にその守備範囲を拡大してきました。そこで改めてこのタイミングで、Alteryx各種製品の概要や関連情報について整理して紹介して行きたいと思います。 当エントリで紹介する概要の製品は「Alteryx Connect」です。 目次 Alteryx Connectとは 主な製品機能・特徴 情報を探す(Find Information) 洞察を増幅する(Amplify Insights) 業績の改善(Improve Business Results) その他 まとめ Alteryx Connectとは Alteryx Connectを使うと、分析ユーザーが分析を行う上で必要となる組織内の関連情報を発見し、優先順位付けを行い、分析に活用していく事が出来ま
Alteryx v11.7 実行可能全タスク251種 機能概要＆ブログエントリ総まとめ #alteryx | DevelopersIO
2015年02月に投稿した下記の「実行可能全タスク」エントリは公開以後、多くの皆様にご参照頂いておりました。(ありがとうございます！) Alteryxで何が出来るのか – 実行可能タスク全197種 概要紹介&リファレンスまとめ #alteryx ｜ Developers.IO ですがこのエントリ自体、公開からそろそろ2年が経とうかという状況となり、情報もかなり古くなって来ていました。そこで今回、直近最新の情報を洗い出し直し、整理し直して「改訂版」としてまとめなおしてみました！ 『改訂版』となる今回は、タスクの数が以前よりも大幅に増えた(今回の版で行くとその数251！)ため、エントリを分割してテーマ毎にその内容をま とめています。また、下記の「Alteryxに関する特集カテゴリが付いたエントリ」も当エントリ投稿時点で210を超えています。これらのエントリについても利用しているツール毎にその内
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2019年1月にAWS Fargateが大幅値下げしたのでEC2との価格比を確認してみた | DevelopersIO
