Why Fugaku, Japan’s fastest supercomputer, went virtual on AWS | Amazon Web Services
AWS Public Sector Blog Why Fugaku, Japan’s fastest supercomputer, went virtual on AWS When you think of climbing one of the world’s most famous mountain peaks, ease of access isn’t the first thing that comes to mind. While Mount Fuji in Japan is famous for its height and width, it is also reachable by novice hikers without lots of time on their hands due to the nation’s efforts to make it accessib
【AWS Glue】Glue Studioでカラムを追加して計算結果を格納するETLジョブを作成する - MONEX ENGINEER BLOG │マネックス エンジニアブログ
こんにちは、マネックス・ラボの田代です。 前回の記事(https://blog.tech-monex.com/entry/2020/07/17/191115)で次回は開発寄りの内容の記事を...などと書いておきながら、3回連続でAWSをテーマにしてしまいました。 書きやすいので。 はじめに データ基盤におけるETLジョブの作成を、ビジュアルエディターと呼ばれるGUI上で行える新サービス、AWS Glue Studioが2020年9月にリリースされました。 このGlue Studioによってデータの抽出や変換と言ったETL処理をGUI操作のみで開発出来るようになり、また標準で用意されていない処理についてはCustom codeを記述して自由に開発する事も可能です。 今回はこのGlue Studioの標準機能とCustom codeを使って、タイトルの通りのETLジョブを作成してみたいと思いま
AWS Glue Studioにてお気軽にGUIでETL - サーバーワークスエンジニアブログ
例のAWSデータレイクの本でお勉強がてら AWS Glueを開いていたら何やら「new!」としてAWS Glue Studioなる機能が追加されていたので実際に触ってみました。 aws.amazon.com 一言でいうと「AWS Glueの新しいビジュアルインタフェースで、利用者がAWS Glue ETL ジョブを簡単に作成、実行、および監視できるようになるもの」だそうです。 実際に簡単なCSVのサンプルデータを作ってどんな感じに利用出来るのか試してみたので自分へのメモを兼ねて残します。 今回は実際の現場でよくあるであろう複数テーブルのジョインや、不要カラムの削除、カラム名変更、フィルタリングをやってみました。 サンプル環境整備 今回用意したサンプルデータは以下2点のごく簡単なものです。 最終的にこのデータ2つに上で書いたようなETLをかけてデータ分析用途のファイルとして出力してみます。
GUIでETL処理を構築するAWS Glue Studioのハンズオンをやってみた | DevelopersIO
2020年9月23日にリリースされたAWS Glue Studioでは、GUIベースでETLを構築、ジョブの実行や監視を実施可能です。 この新機能を体験できるハンズオンが費用も1ドルほど、45分程度の時間でできるとのことでしたので挑戦してみました。本エントリは以下手順に沿ってハンズオンを進めていきます。 Making ETL easier with AWS Glue Studio | AWS Big Data Blog ハンズオンのゴール ハンズオン資料からの引用です。 AWS Glue Studioを使用してETLジョブを作成する方法を示すために、トロントの駐車違反切符データセット、具体的には2018年にトロント市で発行された駐車違反切符に関するデータと、それらの駐車券に関連する裁判の情報を含むデータセットを使用します。このハンズオンのゴールは、2つのデータセットをフィルタリング、結合、
インフラエンジニアBooks #7 「Amazon Web Servicesコスト最適化入門」 / infra-engineer-books-aws-cost-optimization
2021/03/16 インフラエンジニア Books #7の資料です。 https://infra-eng-books.connpass.com/event/201291/
[新機能] AWS Glue Studio によるビジュアルジョブオーサリングと高度なモニタリングを試してみました | DevelopersIO
データアナリティクス事業本部の石川です。本日リリースされたAWS Glue Studioは、オーサリング、実行、モニタリング、AWS Glue によるETL（Extract Transform Load）開発が容易になる新しいビジュアルインタフェースです。本日から東京リージョンでも利用可能になりましたので早速試してみます。 AWS Glue Studioとは AWS Glue Studioは、AWS GlueでETLジョブを簡単に作成、実行、監視できる新しいグラフィカルインターフェイスです。データ変換ワークフローを視覚的に構成し、AWS GlueのApache SparkベースのサーバーレスETLエンジンでシームレスに実行できます。 ビジュアルインターフェイスによるETL開発 ボックス（ノード）と矢印（流れ）のシンプルなインターフェイスを用いて、データの移動や変換、AWS Glueで実行す
AWS再入門ブログリレー AWS Glue編 | DevelopersIO
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の14日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。14日目のテーマは『AWS Glue』です。 目次 AWS Glueとは AWS Glueの概念・構成要素 データストア、データソース、データターゲット データカタログ クロ
AWS Glue（分析用データ抽出、変換、ロード (ETL) ）| AWS
この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです
［速報］AWS、自身でプロセッサを開発していく姿勢を明らかに。独自開発の第二世代ARMプロセッサ「Graviton 2」発表。AWS re:Invent 2019
Amazon Web Services（AWS）は、米ラスベガスで年次イベント「AWS re:Invent 2019」を開催中です。 開催3日目に行われたキーノートスピーチには、同社CEO Andy Jassy氏が登場。 x86プロセッサのサーバと比較して、40％も価格性能比が高いとのこと。 チップデザイン会社の買収がターニングポイントだったとAndy Jassy CEO Jassy CEOは、2015年にAWSがイスラエルのチップデザイン会社であるAnnapurna Labsを買収したことが、同社にとってターニングポイントだったと振り返ります。 同社がAnnapurna Labsを買収した当初の目的は、Amazon EC2におけるサーバの仮想化機能をより高性能化するためにハードウェアへのオフロード用ASICを自社で開発するためだと説明されていました。 このASICは「Nitro Syst
AWS シンプルアイコン - AWS アーキテクチャーセンター | AWS
アーキテクチャダイアグラムは、設計、デプロイ、トポロジーを伝達する手段として優れています。このページでは、AWS 製品アイコン、リソース、およびダイアグラムの作図に役立つその他のツールを含む AWS アーキテクチャアイコン (旧称シンプルアイコン) の公式セットをご覧いただけます。 AWS は、お客様やパートナーがアーキテクチャダイアグラムを作成するために以下のリソースを使用することを許可します。これらのアイコンは、ホワイトペーパー、プレゼンテーション、データシート、ポスター、または技術資料などのダイアグラムに取り入れやすいよう、シンプルなデザインになっています。 AWS リファレンスアーキテクチャダイアグラムを閲覧し、AWS アーキテクチャセンターの専門家によるガイダンスとベストプラクティスを利用しながらより効率的かつ効果的に AWS で設計する方法を学びます。
Amazon ElastiCache（インメモリキャッシングシステム）| AWS
AWS 無料利用枠を利用すると、cache.t2.micro または cache.t3.micro ノードを 12か月の間 750 時間無料で使用できます
営業でも簡単！Route 53の基本設定 - サーバーワークスエンジニアブログ
こんにちは。セールスグループの中嶋(@mnakajima18)です。 ずいぶん暖かくなってきたので、四国にうどんを食べに行きたいなと思う今日このごろです。 もしくは京都がいいですね。特に清水寺は春の夜のライトアップが非常に綺麗みたいです。 あ、しかも今日からですね。今から行ってもいいですか、部長。 さて、早速ですがみなさんはDNSは何を使っていますか。 BIND？レジストラの提供サービス？ AWSにもRoute 53というDNSのサービスがあるのをご存知でしょうか。 Route 53とは様々な特徴はありますが、大きなところはこのような感じです。 速い 全世界33箇所にロケーションを配備しているので、アクセス元に一番近いロケーションに転送される 信頼性が高い SLA100％ 参考ページ→Amazon Route 53 サービスレベルアグリーメント 安い 1ホストあたり$0.5/月(最初の25
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
Amazon ECS（Docker コンテナを実行および管理）| AWS
Amazon Elastic Container Service (ECS) はフルマネージドのコンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションをより効率的にデプロイ、管理、スケールするのに役立ちます。AWS 環境と深く統合され、Amazon ECS Anywhere を使用した高度なセキュリティ機能を備えた、クラウドとオンプレミスでコンテナワークロードを実行するための使いやすいソリューションを提供します。 アプリケーションと必要なリソースを記述するだけで、Amazon Elastic Container Service (Amazon ECS) が柔軟なコンピューティングオプションで、アプリケーションを起動、モニタリング、スケーリングし、アプリケーションが必要とする他のサポートされている AWS サービスと自動的に統合します。カスタムスケーリングルールやキャパ
コマンド1つで作れる！かんたん自宅Amazon S3互換環境！ - Qiita
Amazon S3って？ 追記: 以下の記事で紹介したS3互換環境を使って，サムネイルサーバーを作ってみました！！ サーバーレスの入門に！自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー！ ざっくりというとAmazonが提供している"ファイルサーバーのようなもの"です． 公式ドキュメントによると Amazon Simple Storage Service はインターネット用のストレージサービスです。また、ウェブスケールのコンピューティングを開発者が簡単に利用できるよう設計されています。 引用：Amazon S3 とは何ですか？ 厳密にはAmazon S3はオブジェクトストレージの一種で， オブジェクトストレージはデータをファイル単位やブロック単位ではなく、オブジェクトという単位で扱います。オブジェクトにはストレージシステムのなかで固有のID（URI）が付与され、データと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSで「ノーコード開発」ができる「Amazon Honeycode」の基本的な使い方
AWS Glue
Connect AWS Redshift Data Warehouse to Google Data Studio
クラウドならアマゾン ウェブ サービス 【AWS 公式】
Welcome To X-Team