AWS Fargate and Amazon Elastic Container Service (ECS) now support external deployment controllers for ECS services with the launch of task set management APIs. Task sets are a new primitive to allow controlled management of application revision within a single ECS service. You now have new APIs to manage multiple revisions of your application and transitioning from one revision to another. You ty
AWS News Blog AWS App Mesh – Application-Level Networking for Cloud Applications AWS App Mesh helps you to run and monitor HTTP and TCP services at scale. You get a consistent way to route and monitor traffic, giving you insight into problems and the ability to re-route traffic after failures or code changes. App Mesh uses the open source Envoy proxy, giving you access to a wide range of tools fro
Amazon Web Services ブログ EMRFS S3 最適化コミッターを使用して、Apache Parquet 形式での Apache Spark 書き込みパフォーマンスを向上させる EMRFS S3 最適化コミッターは、Amazon EMR 5.19.0 以降の Apache Spark ジョブで使用可能な新しい出力コミッターです。このコミッターは、EMR ファイルシステム (EMRFS) を使用して Apache Parquet ファイルを Amazon S3 に書き込む際のパフォーマンスを向上させます。この記事では、この新しい最適化されたコミッターを既存のコミッターアルゴリズム、つまり FileOutputCommitter アルゴリズムのバージョン 1 および 2 と比較するためにパフォーマンスベンチマークを実行します。最後に、新しいコミッターに対する現在の制限につ
Amazon Web Services ブログ 大規模なゲームサーバを最大90%安いコストで運用する方法 Fortnite: Battle Royale, Warframe, そしてApex Legendsなど成功している多くのビデオゲームでは、プレイヤーがゲームの一部に無料でアクセスできる”Free-to-Play”モデルを採用しています。このようなゲームは、もはや低品質なものではなく、プレミアムな品質を必要とします。ビジネスモデルはコストの制約を受けていますが、そのような状況に対してAmazon EC2 スポットインスタンスは実行可能な低コストのコンピューティングオプションを提供します。カジュアルなマルチプレイヤーゲームはもちろん、マルチプレイヤーゲームサーバのワークロードを実行するAmazon EKSコンテナのオーケストレーションではプレイヤーへの影響を最小限に抑え、コストを最適化す
10分間で数億件を超えるIoT関連のデータをストリーム処理するためのPoC(概念実証)をする機会がありました。そこで経験をしてハマったことなど一部事例として紹介します。 検証の概要 まずは、何のために検証しようとしたかというと... IoT機器からKinesis Streamを通して大量のメッセージを受け取り、分散処理で関連付け処理を検証します。 実証検証の目的としては アーキテクチャ構成の妥当性を検証し コスト軽減のポイントを把握 運用に向けた課題を洗い出す としました。 データと要件の特性 今回の検証用データは自前で生成し投入する必要があり、結構なデータ量となります。 トラフィック量 およそ数十万件/秒(数億件/10分) 時間帯によってバースト(スパイク)が存在する メッセージの関連付け処理を行うが、いつ終点メッセージが届くかわからない。 数分後には処理結果を利用したいのでバッチでは実
1年ほど前に Amazon Athena がリリースされ、半年ほど前に AWS Glue や Redshift Spectrum がリリースされ、この1年で AWS のビッグデータ関連のサービスが次々と出てきました。 Athena や Glue は、それ単体でも十分に便利なのですが、データレイクの構成要素としてそれぞれ重要な役割を持っています。 この記事では、データレイクにとって Glue や Athena がどういう位置付けなのか考えてみようと思います。 データレイクとは? AWS におけるデータレイク データレイクの生命線 メタデータの難しさ Glue とか Athena とか (おまけ) BigQuery と Athena まとめ データレイクとは? Wikipedia では data lake は次のように説明されています。 A data lake is a method of s
Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 ETL(Extract、Transform、Load)プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト(挿入)プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化
Long live Serverless! Since the launch of AWS Lambda in 2014 the industry has battled around what the word “serverless” has meant. I say, in 2019 who cares? In this talk we’ll cut past the hype and talk about the realities of what this technology space means, how it’s changing how companies build and operate technology, and how you can properly understand the value it brings to the table.Read less
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScalaでETL Jobを作成・実行して、ScalaとPythonコードの違いやScalaのユースケースについて解説します。 AWS Glue Now Supports Scala in Addition to Python ScalaでETL Jobを作成して実行する ETL Jobは、ソース、ターゲット、カラムのマッピング、ETL言語などを指定すると対応したETLコードが自動生成されます。その生成されたコードに対して、さらにテンプレートを追加したり、コードを編集します。では早速、ScalaでETL Jobを作成してみます。 Job Properties 全般的なETL Jobに
RedshiftのデータをAWS GlueでParquetに変換してRedshift Spectrumで利用する際のTips集AWSredshiftgluePyspark RedshiftのデータをAWS GlueでParquetに変換してRedshift Spectrumで利用するときにハマったことや確認したことを記録しています。 前提 Parquet化してSpectrumを利用するユースケースとして以下を想定しています。 テーブルにある、全データをParquet化した後にテーブルを削除(または、全データを洗い替えする) -> Redshift Spectrumからのみ利用するようにする。 テーブル内の一部データ(特定の日付以前のデータのみ)をParquet化して、テーブルからParquet済みのデータを削除する。 -> 利用頻度の高いデータはRedshiftに残しておき、利用頻度の低い
February 13, 2019 9:00 PM PST CVE Identifier: CVE-2019-5736 AWS is aware of the recently disclosed security issue which affects several open-source container management systems (CVE-2019-5736). With the exception of the AWS services listed below, no customer action is required to address this issue. Amazon Linux An updated version of Docker (docker-18.06.1ce-7.amzn2) is available for Amazon Linux
オンプレミスのシステムをAWSやAzureなどのパブリッククラウドへ移行するツールを提供している「CloudEndure」が、Amazon Web Services(以下AWS)に買収されたことを発表しました。 Exciting news! CloudEndure is now an AWS company. This acquisition expands our ability to deliver innovative and flexible migration, disaster recovery, and backup solutions. https://t.co/Y6KW2CyYj5 pic.twitter.com/G48I5ET6UI — CloudEndure (@CloudEndure) 2019年1月10日 CloudEndureは2012年に創業された新興ベンダ。
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側 名刺データ化システムにおけるAWSとGCPのマルチクラウド活用 2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「名刺データ化システムにおけるAWSとGCPのマルチクラウド活用」に登場したのは、Sansan株式会社DSOC(Data Strategy & Operation Center)Development Group、インフラエンジニアの大澤秀一氏。名刺データ化システムのアーキテクチャと、AWSからGCPへの
追記 各モジュールの動作確認には以下のようなシェルスクリプトを作って行うと捗る。こちら参考になりました。ありがとうございます。 #!/bin/sh rm -rf /var/lib/cloud/* cloud-init init --local cloud-init init cloud-init modules --mode config cloud-init modules --mode final まず、/var/lib/cloud/ 以下をバサッと消す。その後で... cloud-init init --local cloud-init init cloud-init modules --mode config cloud-init modules --mode final を実行する。これは /etc/rc3.d/ 以下の起動スクリプトの順番に準拠している。 [root@cento
本記事はQiitaに投稿していたものを、Qiitaのコミュニティガイドライン追加に伴い削除の可能性を考慮してこちらに移行しました。理由は、fluentdからElasticsearchにログを投げ込み処理は弊社のOpenShiftのログ収集機能で利用しているものであり、記事投稿が自社で利用している技術の宣伝がないかといわれれば否定できないためです。 先にまとめ 以下のすべての条件を満す時、"Cannot get new connection from pool."というエラーが、fluentd起動後しばらく(自分のテストしたときは1日弱)してから発生し、以後すべてのログの送信ができなくなる elasticsearchの_nodes APIの返すレスポンスにクラスタのノードのIPの情報が含まれていない環境。例)AWS elasticsearch fluent-plugin-elasticsea
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く