LLAPを使用してAmazon EMRでのApache Hiveクエリをターボチャージ！ | Amazon Web Services
Amazon Web Services ブログ LLAPを使用してAmazon EMRでのApache Hiveクエリをターボチャージ！ Apache Hiveは、SQLを使用してHadoopクラスタに格納された大規模なデータセットを分析するための最も一般的なツールの1つです。データアナリストやデータサイエンティストは、大きなデータのクエリ、要約、探索、および分析にHiveを使用します。 Hive LLAP（Low Latency Analytical Processing）の導入により、Hiveが単なるバッチ処理ツールであるという考え方が変わりました。 LLAPは、インテリジェントなインメモリキャッシュを使用して長期実行デーモンを使用し、バッチ指向のレイテンシを覆し、1秒未満のクエリ応答時間を提供します。 この記事では、Hive LLAPのアーキテクチャと、クエリパフォーマンスを向上させ
【新リージョン】2018年に大阪ローカルリージョンを開設予定 | Amazon Web Services
Amazon Web Services ブログ 【新リージョン】2018年に大阪ローカルリージョンを開設予定 皆様にうれしい発表があります。AWSは2018年に大阪に新たなリージョンを開設します。 本リージョンは、ローカルリージョンと呼ばれる新しい設計概念のデータセンターです。AWSのローカルリージョンは、旧来の単一データセンターのインフラ設計とは全く異なる、耐障害性の高い単一のデータセンターです。AWS アジアパシフィック（大阪）ローカルリージョンは、東京リージョンと連携して利用いただくことを想定しています。 東京リージョンには3つのアベイラビリティゾーン（データセンター群）を用意しているため、お客様はいずれか一つのデータセンターで障害が発生した場合でも支障をきたさない、耐障害性に優れ高い可用性を持つアプリケーション構築が可能となっています。 IT資産に対する災害対策として国内に地域的な
EC2 Price Reductions – Reserved Instances & M4 Instances | Amazon Web Services
AWS News Blog EC2 Price Reductions – Reserved Instances & M4 Instances As AWS grows, we continue to find ways to make it an even better value. We work with our suppliers to drive down costs while also finding ways to build hardware and software that is increasingly more efficient and cost-effective. In addition to reducing our prices on a regular and frequent basis, we also give customers options
Amazon DynamoDB Accelerator(DAX) – Read heavyなワークロード向けインメモリ型キャッシュクラスタ | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB Accelerator(DAX) – Read heavyなワークロード向けインメモリ型キャッシュクラスタ 既にAmazon DynamoDBの事はご存知の方が多いと思います。ご存じのように、必要なだけのテーブルスペース、読み込み容量、書き込み容量に対応できるように拡張されたフルマネージドのNoSQLデータベースです。応答時間は1桁のミリ秒単位で測定され、多くのお客様がadtech、IoT、ゲーム、メディア、オンライン学習、旅行、電子商取引、金融など、さまざまな種類のアプリケーションにDynamoDBを使用しています。一部のお客様では一つのDynamoDBテーブルに100TB以上のデータを格納し、1秒当たり何百万もの読み取りまたは書き込み要求を行います。 Amazonの小売サイトはDynamoDBに依存しており
Amazon Lex – 一般提供開始 | Amazon Web Services
Amazon Web Services ブログ Amazon Lex – 一般提供開始 昨年の AWS:Reinvent の最中に、「Amazon Lex – 対話的音声＆テキストインターフェースを構築」をご紹介しました。当時は Amazon Lex をプレビューという形でリリースし、開発者向けの公開としてきました。 本日、Amazon Lex を一般公開できることを喜ばしく思います。本日からお使いいただけます！ プレビュー期間の間に追加された、いくつかの機能をご紹介します。 Slack とのインテグレーション – Slack チャンネルのメッセージに反応してイベントを送る機能を持った 、Lex ボットを作成することができます。ボットの Channels タブをクリックしてフォームを埋めることで、Slack を使うためのコールバック URL を取得することができます。 どのように作成するか
Amazon Redshift Spectrum – Exabyte-Scale In-Place Queries of S3 Data | Amazon Web Services
AWS News Blog Amazon Redshift Spectrum – Exabyte-Scale In-Place Queries of S3 Data Now that we can launch cloud-based compute and storage resources with a couple of clicks, the challenge is to use these resources to go from raw data to actionable results as quickly and efficiently as possible. Amazon Redshift allows AWS customers to build petabyte-scale data warehouses that unify data from a varie
AWS Lambda Supports Python 3.6
You can now develop your AWS Lambda functions using Python 3.6. This feature will become available in all AWS Lambda regions within 24 hours. You simply upload your Python code as a ZIP using the AWS CLI or Lambda console and select the "python3.6" runtime. You can also use the AWS Serverless Application Model to package and deploy Lambda functions. Lambda takes care of everything required to run
Amazon Aurora Supports Fast DDL Operations
Amazon Aurora can now execute one of the most common Data Definition Language (DDL) operations – an ALTER command to add a nullable column at the end of a table – nearly instantaneously. This capability, called fast DDL, is available in lab mode. Fast DDL doesn’t require a table copy and does not materially impact other DML statements. Since it doesn’t consume temporary storage for a table copy, i
Amazon Elasticsearch Service をはじめよう: シャード数の算出方法 | Amazon Web Services
Amazon Web Services ブログ Amazon Elasticsearch Service をはじめよう: シャード数の算出方法 Dr. Jon Handler (@_searchgeek) は検索技術にスペシャライズした Amazon Web Services のプリンシパルソリューションアーキテクトです。 Elasticsearch および Amazon Elasticsearch Service(Amazon ES) のブログポストシリーズへようこそ。ここでは今後もAWS上でElasticsearchをはじめるにあたって必要な情報を提供していく予定です。 いくつのシャードが必要？ Elasticsearchは、大量のデータを、シャードと呼ばれる細かいユニットに分割し、それらのシャードを複数のインスタンスに分散して保持します。Elasticsearchではインデックス作成
新機能 – TTL（Time to Live）機能を利用したDynamoDBアイテムの管理について | Amazon Web Services
Amazon Web Services ブログ 新機能 – TTL（Time to Live）機能を利用したDynamoDBアイテムの管理について AWSを利用頂いている多くのお客様にDynamoDBは使用されています。速度と柔軟性がその理由で、Ad Tech（ リファレンスアーキテクチャ ）、Gaming（ リファレンスアーキテクチャ ）、IoT（ リファレンスアーキテクチャ ）、そして一貫した一桁のミリ秒のレイテンシを実現しアプリケーションを構築されています。また、DynamoDBはフルマネージドのデータベースで、テラバイトサイズのテーブルに対して毎秒何百万というリクエストを処理することができます。 多くのDynamoDBユーザーは、利用する時間が限られている、または時間の経過とともにアクセス頻度が低くなるデータを格納しています。 直近のログイン、試用版のサブスクリプション、アプリケー
Amazon EBSのアップデート – 新機能エラスティックボリュームが全てを変える | Amazon Web Services
Amazon Web Services ブログ Amazon EBSのアップデート – 新機能エラスティックボリュームが全てを変える お客様からビジネスのダイナミックさと、それを実現するためのアプリケーションがブロックストレージに求めるものについてご意見をうかがうことは、いつも興味深いものです。ビジネス状況の変化に伴ってブロックストレージへの要求も変化し、容量を追加したり、性能特性の異なるボリュームが必要になったりすることもあるはずです。今日では、24時間運用され続けるシステムも珍しくはありません。結果として、ダウンタイムやシステム運用への影響なく変更作業を行えることがお客様にとって重要な要素となってきます。 我々は長年にわたり、お客様の様々なユースケースをカバーするために、EBSに新機能を追加し続けてきました。例えば、2016年にはスループット最適化HDD(st1)とコールドHDD(sc
タスクIAMロールとパラメータストアを利用したAmazon ECSアプリケーションの秘密情報管理 | Amazon Web Services ブログ
Amazon Web Services ブログ タスクIAMロールとパラメータストアを利用したAmazon ECSアプリケーションの秘密情報管理 同僚のStas Vonholskyが、Amazon ECSアプリケーションの秘密情報管理に関する素晴らしいブログを寄稿してくれました。 —– コンテナ化されたアプリケーションとマイクロサービス指向のアーキテクチャが普及するにつれて、アプリケーションデータベースにアクセスするためのパスワードなどの秘密情報を管理することは、より困難かつ重要になっています。 いくつか課題の例を挙げます： dev、test、prodなどのさまざまなアクセスパターンをコンテナ環境全体でサポートしたい ホストレベルではなくコンテナ/アプリケーションレベルで秘密情報へのアクセスを隔離したい サービスとしても、他サービスのクライアントとしても、アクセスが必要である疎結合なサービ
Lambda@Edge – プレビュー | Amazon Web Services
Amazon Web Services ブログ Lambda@Edge – プレビュー ちょうど先週、私が Hacker News上で書いたコメントがきっかけでAWSのお客様から興味深いメールを頂きました。 彼はS3上でホストしているシングルページのアプリケーションを動作させていて（こちらについてはAmazon S3で静的なWebサイトの運用が可能に をご覧下さい。）、Amazon CloudFrontを経由して少ないレイテンシーで提供していると教えてくれました。そのページは、AWS Elastic Beanstalk上でホストしているAPIを使って、それぞれのユーザー向けにカスタマイズして表示するいくつかの動的な要素を含みます。 彼が説明してくれた彼の課題はこちらです。 適切に検索エンジンのインデックスを取得するために、またFacebookやTwitterないで正しく表示するためのコンテ
AWS X-Ray – 分散アプリケーションの内部を見る | Amazon Web Services
Amazon Web Services ブログ AWS X-Ray – 分散アプリケーションの内部を見る 大統領自由勲章の受賞者であるGrace Hopperが、プログラムからエラーを特定し取り除く作業にデバッグという言葉を与えた最初の人だと思います。 実際にコンピュータから本物のバグ(虫)を見つけたことはないですが、働き初めた頃にアセンブラ言語のデバッグに膨大な時間を費やしました。その当時は、デバッグとはコードを1ステップずつ実行し、各プロセッサのレジスタの中身をステップの前後で比較し、自分の頭の中のモデルと実際に起こっていることが一致しているかを検証するというものでした。これはとてもうんざりするようなものでしたが、バグが残る余地はほとんどなく、自分のコードがどの様に動くかの深い理解も得られるものでもありました。その後、1ステップずつの実行はなくなり、デバック出力(こんにちは、stder
Developer Preview – EC2 Instances (F1) with Programmable Hardware | Amazon Web Services
AWS News Blog Developer Preview – EC2 Instances (F1) with Programmable Hardware Have you ever had to decide between a general purpose tool and one built for a very specific purpose? The general purpose tools can be used to solve many different problems, but may not be the best choice for any particular one. Purpose-built tools excel at one task, but you may need to do that particular task infreque
Amazon Lightsail – AWSの力、VPSの簡単さ | Amazon Web Services
Amazon Web Services ブログ Amazon Lightsail – AWSの力、VPSの簡単さ 部品から複雑なシステム(家、コンピューター、家具)を組み立てるのを好む人がいます。彼らは、計画プロセスを楽しみ、慎重に各部品の調査を行い、望ましい力や適応性のバランスを与える部品を選択します。邪魔にならないに計画することで、彼らは最終品に向けて、部品を組み立てるプロセスを楽しみます。他の人々は、このdo-it-yourself(DIY)が魅力的で価値があると思っていませんし、途中であまりに多くの決定を下す事なく、できるだけ早く結果に到達する事に興味があります。 聞き覚えありませんか？ 私は、このモデルはシステムのアーキテクチャとシステム構築にも同じ様に当てはまると思います。時々、個々のAWSコンポーネント(サーバー、ストレージ、IPアドレスなど)を手動で選ぶ事に時間をかけ、あな
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
In the Works – Amazon EC2 Elastic GPUs | Amazon Web Services
Today, you have the ability to set up freshly created EBS volumes when you launch new instances. You’ll be able to do something similar with Elastic GPUs, specifying the desired size during the launch process, with the option to stop, modify, and then start a running instance in order to make a change. Starting with OpenGL Our Amazon-optimized OpenGL library will automatically detect and make use
Amazon Athena – Interactive SQL Queries for Data in Amazon S3 | Amazon Web Services
AWS News Blog Amazon Athena – Interactive SQL Queries for Data in Amazon S3 The amount of data that we all have to deal with grows every day (I still keep a floppy disk or two around in order to remind myself that 1.44 MB once seemed like a lot of storage). These days, many people routinely process and query data in structured or semi-structured files at petabyte scale. They want to do this at hig
Announcing AWS Organizations, Now in Preview
AWS Organizations makes it easier for IT teams to manage multiple AWS accounts. You can use Organizations to create groups of AWS accounts, and then apply policies to these groups to help centrally manage security and automation settings. Organizations helps improve security by helping to control which AWS services can be accessed by users in individual AWS accounts. If Organizations specifies tig
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
