DBの寿命はアプリより長い！ 長生きするDBに必要な設計とリファクタリングを実践から学ぶ アプリケーションの寿命よりも長く、データの追加やテーブルの変更で成長し続ける「データベース」と、どのように付き合っていけばよいのでしょうか？ 曽根壮大（soudai）さんによる寄稿です。 こんにちは。そーだい（@soudai1025）です。 新しいサービスを始めるとき、必ずと言っていいほどデータベースは利用されています。また今稼働しているサービスの多くでも、RDBMSをはじめ、いろいろなデータベースが利用されています。そんなに広く利用されているデータベースだからこそ、多くの問題の元になるのもまた事実です。 そこで今回は、Webサービスを中心にデータベースの選び方、設計についてお話していきたいと思います。そして私もまさに今、2011年から続くWebサービス「オミカレ」のRDBMSのリファクタリングに携わ

Amazon Web Services ブログ Amazon Connect が東京リージョンに対応しました。Webinarも緊急開催！ みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 Amazon Connect が東京リージョンに対応しました。 Amazon Connect は、セルフサービスのクラウド型コンタクトセンターであり、大型のインフラ投資なしでコールセンターを立ち上げることができるサービスです。 セルフサービス式のグラフィカルインターフェイスを用いることで、対応フローの設計、スタッフの管理、業績指標の追跡が簡単にできます。 Amazon Connectはオーストラリアリージョンで、日本向けのサービスが今まで提供されており、050,0800の番号が利用可能でしたが、新たに0120が利用できるようになっています。

MXNet、TensorFlow、PyTorch、または Keras を使用して大規模なトレーニングを行っている場合は、Horovod 分散トレーニングフレームワークを必ず確認してください。このフレームワークは Amazon Deep Learning AMI の中に含まれています。新しい NVIDIA AI Software コンテナもチェックしてみてください (これは AWS Marketplace にあります)。これらは、V100 GPU を搭載してあり、P3 インスタンスでの使用に最適化したコンテナです。 p3dn.24xlarge は、合計で 256GB の GPU メモリ (現在の P3 インスタンスでの最大サイズの 2 倍) を装備しており、より深くて複雑な深層学習アルゴリズムを探索することができます。インテル AVX-512 の手順や Skylake のその他の最先端の機能

Amazon Web Services ブログ AWS Fargate を使用してサーバーレスの Twitter リーダーを構築する 前回の記事では、Ben Snively と Vai Desai が、サーバーレス技術を用いてソーシャルメディアのダッシュボードを構築する方法を紹介しました。ソーシャルメディアのダッシュボードは「#AWS」のハッシュタグでツイートを読み取り、機械学習ベースのサービスを使用して翻訳を行い、自然言語処理 (NLP) を使用してトピック、エンティティ、センチメント分析を行います。最後に、Amazon Athena を使用してこの情報を集計し、ダッシュボードを作成して、ツイートから取得した情報を可視化します。このアーキテクチャでは、管理する唯一のサーバーは Twitter フィードを読み取るアプリケーションを実行します。このブログ記事では、このアプリケーションを Do

Amazon Web Services ブログ Amazon Kinesis Agent for Windows を使用して、集中化された Microsoft Exchange サーバーのログ管理 Microsoft Exchange サーバーは様々な種類のログを保管しています。これらのログには、メッセージ追跡、Exchange ウェブサービス（EWS）、Information Services（IIS）、およびアプリケーション/システムイベントログの種類が含まれます。グローバルにデプロイされた Exchange サーバーでは、これらのサーバーのローカルで複数のディレクトリにログが散在している場合があります。この場合、Exchange 管理者が各サーバーにログインして、ステータス、ヘルス、およびイベントをモニタリングする必要があります。Exchange 管理者は、これらのログを集中化し、有

Amazon Web Services ブログ AWS re:Invent 2018 Management Tools セッションのまとめ みなさんこんにちは。AWSの ソリューションアーキテクト 大村です。 re:Invent 2018 で行われたブレイクアウトセッションのうち、AWSの運用系サービス (Management Tools) についての有用なセッションをピックアップしました。 多くのセッションは資料とプレゼンテーションの動画が公開されており、ハンズオンのテキストについても多くがダウンロード可能です。現地で参加できなかった方もこれらを見たり、あるいは実際にご自身の環境で操作して理解を深めていただければと思います。セッション資料はすべて英語です。ご了承ください。 ここで Management Tools として取り扱うサービスは AWS Systems Manager、AWS

Amazon DynamoDB On-Demand は、新しく登場した、DynamoDB の柔軟なキャパシティーモードです。容量の計画を行うことなく 1 秒間に何千ものリクエストに対応できます。DynamoDB On-Demand では、読み取りおよび書き込みリクエスト数に応じて料金が発生する従量課金制となっているため、コストとパフォーマンスのバランスを簡単に取ることができます。 On-Demand キャパシティーモードを選択すると、DynamoDB は、以前発生したトラフィックレベルまで拡張または縮小して、ワークロードを即座に受け入れることができるようにします。ワークロードのトラフィックレベルが新しいピークに達すると、DynamoDB は迅速にワークロードに対応できるように拡張します。On-Demand キャパシティーモードを使用するテーブルでも、DynamoDB で提供されている 1

AWS Lake Formation は、安全なデータレイクを数日で簡単にセットアップするためのサービスです。データレイクとは、キュレートされた安全な一元的リポジトリであり、すべてのデータが元の形式と分析用に処理された形式の両方で保存されます。データレイクを使用することにより、データのサイロ化が解消され、異なる種類の分析を組み合わせることが可能になります。このような分析から得られるインサイトは、ビジネス上の意思決定に大きく貢献します。 とはいえ、今日のデータレイクの設定や管理には、複雑で時間のかかる手作業のタスクが数多く必要となります。このようなタスクの例としては、各種ソースからのデータの読み込み、データフローのモニタリング、パーティションの設定、暗号化作業およびキー管理、移行に伴う作業の明確化およびモニタリング、列指向形式へのデータの再編成、アクセスコントロールに関する設定、冗長データの

Amazon SageMaker Neo では、モデルを 1 回トレーニングするだけで、そのモデルはどこでも実行可能となり、パフォーマンスも最大 2 倍にまで向上します。インターネットに接続されたエッジデバイス上で実行されるアプリケーションは、機械学習モデルのパフォーマンスに強く影響されます。モデルは処理決定までのレイテンシーを低く抑えることを求められるほか、膨大な数の異なるハードウェアプラットフォームでデプロイされることも多々あります。Amazon SageMaker Neo では、特定のハードウェアプラットフォーム向けにモデルをコンパイルすることにより、モデルのパフォーマンスを自動で最適化し、最大 2 倍のパフォーマンスで実行できるようになります。精度が損なわれることもありません。その結果、トレーニングしたモデルをハードウェアプラットフォームごとにハンドチューニングする必要はなくなり、

このたび、Amazon SageMaker の新しいサービス、Amazon SageMaker RL がローンチされました。これにより、開発者やデータサイエンティストは、Amazon SageMaker RL を使用して、大規模な強化学習モデルを迅速かつ簡単に開発できるようになります。 機械学習の分野では、強化学習に関する話題が絶えません。強化学習は、とてつもない潜在能力を秘めた、エキサイティングなテクノロジーであるためです。強化学習では、モデルのトレーニングに大量のトレーニングデータを必要としません。所望の結果に関する報酬関数は判明しているものの、関数を導く経路が不明であり、その発見のために多数の反復計算が必要となるケースでは、強化学習が非常に有効となります。強化学習が有効な領域としては、ヘルスケア対策、製造サプライチェーンの最適化、ゲーム攻略法の導出などが挙げられます。しかし、強化学習

Amazon Timestream は、時系列データの収集、保存、処理に特化した、専用の時系列データベースサービスです。時系列データとは、IoT アプリケーションや運用アプリケーションで使用されるサーバーやネットワークのログ、センサーデータ、産業用テレメトリデータなどのことを指します。Amazon Timestream では、リレーショナルデータベースの 10 分の 1 のコストで、1 日に数兆件のイベントが処理されます。クエリパフォーマンスは、汎用データベースよりも最大で 1,000 倍高速なものとなります。 Amazon Timestream では、時系列データ (経時的な変化を測定するデータ) が一定間隔で効率的に保存、処理されます。時間の経過によりデータが増加すると、Timestream の適応型クエリ処理エンジンがデータのロケーションとフォーマットを把握し、それらのデータをシンプ

Amazon QLDB はフルマネージド型台帳データベースで、信頼された中央機関の所有する透過的でイミュータブル、かつ暗号的に検証可能なトランザクションログを提供します。Amazon QLDB ではアプリケーションデータの変更すべてが追跡され、完全で検証可能な変更履歴が長期間維持されます。 Amazon QLDB を使用すると、アプリケーションの完全な変更履歴はイミュータブル (変更や削除が不可能) なものになり、かつアプリケーションデータに対する意図しない変更が発生していないことを暗号技術によって簡単に検証できます。QLDB では、イミュータブルなトランザクションログ (ジャーナルとも呼ばれる) を使用します。そのトランザクションログにより、アプリケーションデータの変更すべてが追跡され、完全で検証可能な変更履歴が長期間維持されます。QLDB には、開発者にとって親しみやすい SQL 類似

AWS IoT Greengrass が Amazon SageMaker Neo のサポートを開始します。Neo では、機械学習モデルを一度トレーニングすれば、それをどこでも、クラウドでも、エッジでも実行できます。Neo は、ARM、Intel、Nvidia プロセッサーにデプロイする TensorFlow、MXNet、PyTorch、ONNX、XGBoost といったモデルを自動で最適化します。最適化されたモデルの実行速度は最大で 2 倍に達し、メモリフットプリントの使用量は 10 分の 1 未満になります。Neo はまた近日、Apache ソフトウェアライセンスのもとでオープンソースコードとして利用可能になる予定です。これで、ハードウェアベンダーは自社のプロセッサーやデバイス用にカスタマイズできるようになります。Neo を AWS IoT Greengrass と合わせて使用すると、

Amazon RDS on VMware は、VMware vSphere を使用するオンプレミスデータセンターで Amazon RDS マネージドリレーショナルデータベースを提供するサービスです。現在はプレビュー中となっています。RDS on VMware により、データベースのプロビジョニングや、オペレーティングシステムとデータベースのパッチ適用、バックアップ、ポイントインタイムの復元、ストレージとコンピューティングのスケーリング、インスタンスのヘルスモニタリングやフェイルオーバーを自動化できます。 さらに RDS on VMware を使って、低コストで高可用性を備えたハイブリッドデプロイメントや AWS のデータベースの災害対策、Amazon Simple Storage Service (Amazon S3) での長期間のデータベースアーカイブを実現できます。このサポートは間もな

すでにサポート対象の Python バージョン 2.7 と 3.6 に加えて、Python 3.7 を使用して AWS Lambda 関数を開発できるようになりました。Python 3.7 は Python 言語の最新のメジャーリリースであり、データクラスのサポート、モジュール属性へのアクセスのカスタマイズ、タイピングの強化など、多くの新機能が含まれています。 Lambda 関数として Python コードのデプロイを開始するには、AWS CLI または AWS Lambda コンソールで関数コードをアップロードし、Python 3.7 ランタイムを選択するだけです。高可用性を実現しながら関数を実行し、スケーリングするために必要なことは、すべて Lambda が行います。Python で作成されたサーバーレスアプリケーションの実装と管理に AWS Serverless Applicatio

開発者の皆さま、大変お待たせしました。さあ、エンジンをかけましょう。AWS DeepRacer のプレビュー受付を開始しました。DeepRacer はその名のとおり、機械学習を自由自在に操るための最速の手段です。強化学習により駆動する 1/18 スケールの完全自走型レーシングカー、3D レーシングシミュレーター、そしてレースの世界大会をご用意しています。AWS DeepRacer は、Amazon.com で予約受付中です。 AWS DeepRacer は 1/18 スケールのレーシングカーです。このレーシングカーを使って、強化学習 (RL) を、楽しみながら理解できます。RL は高度な機械学習 (ML) テクニックであり、他の機械学習とはまったく異なるアプローチでモデルトレーニングを行います。RL の強みは、ラベル付けされたトレーニングデータがなくても、非常に複雑な動作を学習できることに

AWS Secrets Manager を使用すると、ユーザーが決定したスケジュールに基づいてシークレットを安全に更新することにより、セキュリティのベストプラクティスに従って短期シークレットを簡単に使用できます。たとえば、データベースの認証情報を毎日更新するように Secrets Manager を設定することで、一般的な長期シークレットを短期シークレットに変換し、自動的に更新されるように設定できます。本日、Secrets Manager は Java 向けのクライアント側キャッシュライブラリと Java Database Connectivity (JDBC) ドライバーのクライアント側キャッシュライブラリを導入しました。これにより、アプリケーションでこれらのシークレットを簡単に使用できるようになります。 クライアント側キャッシュは、応答時間の増加やネットワーク接続の一時的な喪失といった

本日から、仮想サーバー、マネージドデータベース、ロードバランサー、ブロックストレージ、スナップショット、DNS ゾーンなどの Lightsail のリソースにタグ付けができるようになりました。Lightsail のタグで、プロジェクトを簡単に整理し、請求のためのコスト配分レポートを作成し、リソースのアクセス制御を有効にすることができます。 リソースにタグを追加することで、ダッシュボードビューを簡単にフィルタリングでき、特定のタグを持つリソースのみが表示されるので、リソースを整理し、すべての関連リソースを一目で把握できます。タグとコスト配分レポートを使用することで、請求書を分けることができ、コストを簡単に把握することができます。また、タグを使用して Lightsail リソースへのアクセスを制限する IAM ポリシーを作成し、Lightsail アカウント内のすべてのリソースにアクセス権限を

Ubuntu および Amazon Linux 向けの AWS 深層学習 AMI で、最大 256 GPU にほぼ線形スケーリング効率を備えた TensorFlow 深層学習モデルの分散トレーニングをサポートするようになりました。 AWS 深層学習 AMI には、あらかじめ構築された TensorFlow の強化バージョンが付属されています。このバージョンは、この規模のスケーラビリティを実現するトレーニングフレームワークを提供する Horovod の最適化バージョンと統合されています。この機能強化により、TensorFlow と Horovod を使用した ResNet50 モデルのトレーニングをわずか 15 分以内で実施できるようになりました。

本日から、Lightsail インスタンスおよびボリュームを、シンプルでガイド付きの体験を通して簡単に EC2 にエクスポートできるようになりました。Lightsail は、この機能により、アプリケーションの拡張およびクラウドデプロイメントのスケーリングをこれまでにない方法で可能にします。これには、厳選されたラインナップを持ち設定が可能な EC2 の利点をフルに活用します。 インスタンスを EC2 にアップグレードする準備ができたら、インスタンスのスナップショットを作成して、Lightsail のコンソールでステップバイステップのプロセスに従い、スナップショットを EC2 にエクスポートするだけです。これで、EC2 を使用して、または Lightsail のコンソールで Upgrade to EC2 ウィザードを使用して、新しい EC2 インスタンスを起動できます。 Lightsail の

Amazon EFS は、Linux ベースのワークロード向けのシンプルでスケーラブルかつ伸縮自在なファイルシステムで、AWS クラウドサービスおよびオンプレミスリソースで利用できます。AWS アカウントあたりのファイルシステムの作成数はこれまで 125 の上限がありましたが、このたび最大で 1,000 まで作成が可能になりました。また、Amazon Virtual Private Cloud (VPC) あたりの EFS のマウントターゲットは最大 400 まで作成が可能になりました。 今回のファイルシステム数の追加でお客様に追加料金が発生することはなく、ご請求はすべてのファイルシステムに保存されたデータ量による従量制となります。お客様のリージョンの料金情報については、Amazon EFS の料金ページをご覧ください。製品およびサービス一覧 (リージョン別) では、各リージョンのご利用可

AWS Fargate、Amazon Elastic Container Service for Kubernetes (EKS)、Amazon Elastic Container Service (ECS) のアプリケーションを AWS Cloud Map と統合できるようになりました。これにより、コンテナ化されたサービス同士が簡単に互いを検出し、相互接続できるようになります。AWS Cloud Map は、クラウドリソースを検出するサービスです。Cloud Map では、アプリケーションリソースのカスタム名を定義して、動的に変化するこれらのリソースの更新された場所を管理できます。ウェブサービスは必ず最新のリソースのロケーションを検出するため、アプリケーションの可用性が高まります。 これまでは、ECS サービスディスカバリを使用して IP アドレスやポートなどのサービスエンドポイント情報

Amazon EC2 A1 インスタンスは、包括的な Arm エコシステムによってサポートされるスケールアウト型の Arm ベースのワークロードに最適で、大幅なコスト削減を実現できます。A1 インスタンスは、AWS Graviton プロセッサで動作する初の EC2 インスタンスです。このプロセッサには、64 ビットの Arm Neoverse コアと AWS が設計したカスタムシリコンが搭載されています。 AWS Graviton プロセッサは、Amazon が誇る大規模なクラウドアプリケーション用のプラットフォームソリューションを構築する豊富な専門知識を結集して設計された、AWS の新しいプロセッサ製品です。これらのプロセッサを使用すれば、目標とする電力、パフォーマンス、コストの最適化を達成できます。A1 インスタンスは、Arm 命令を実行する顧客のワークロードのコスト削減を実現して、

AWS Lambda は、Kinesis イベントソースの Kinesis Data Streams (KDS) の拡張ファンアウトおよび HTTP/2 データ取得機能のサポートを開始しました。HTTP/2 データ取得 API では、データプロデューサーと Lambda 関数間のデータ配信速度が 65 % 以上改善されています。拡張ファンアウトにより、複数の Lambda 関数を持つ同じ KDS ストリームを、パフォーマンスを低下させることなく並列で処理できます。 登録済みの各イベントソースは、シャードごとに 1 秒あたり最大 2 MB のスループットでレコードを処理できます。イベントソースを Kinesis Data Streams コンシューマーとして登録すると、ユーザーは 1 つの Kinesis データストリームで、高パフォーマンス、低レイテンシーな複数のサーバーレスストリーム処理

Amazon EFS ファイルシステムに、異なる AWS アカウントまたは Amazon Virtual Private Cloud (VPC) の EC2 インスタンスから接続できるようになりました。 Amazon EFS は、AWS クラウドサービスおよびオンプレミスリソースで利用できる、Linux ベースのワークロード向けのシンプルでスケーラブルかつ伸縮自在なファイルシステムです。VPC ピアリング接続または VPC Transit Gateway を使用して VPC に接続する場合、ある VPC の EC2 インスタンスが別の VPC の EFS ファイルシステムにアクセスすることができます。VPC 同士が異なるアカウントに属していても可能です。同一 VPC 内であるアカウントが所有する複数の EC2 インスタンスを、共有の VPC を使用して、異なるアカウントが所有する 1 つの

Amazon Aurora Global Database は、グローバルフットプリントを持つアプリケーション用に設計された Amazon Aurora の MySQL 互換版の新しい機能です。単一の Aurora データベースが複数の AWS リージョンにまたがり使用することを可能にし、迅速なレプリケーションにより、低レイテンシーでグローバルな読み込みとリージョン全体の災害復旧を可能にします。 Amazon Aurora Global Database は、アプリケーションワークロードに対応するためにデータベースを完全に利用可能にする専用インフラストラクチャを使用しながら、通常 1 秒未満のレイテンシーでストレージベースのレプリケーションを使用します。万一、リージョンの規模縮小や障害が発生した場合でも、セカンダリリージョンの 1 つを、完全な読み取り/書き込み機能に 1 分以内で昇格させ

AWS Step Functions がさらに 8 つの AWS サービスと統合し、ワークフローの構築の高速化、保護の簡素化、モニタリングの容易化をさらに推し進めました。 AWS Step Functions を使えば、アプリケーションに柔軟なワークフロー自動化を追加できます。ワークフローのステップは、AWS Lambda 関数、Amazon EC2、オンプレミス等、どこにでも存在できます。今回、AWS Step Functions は、Amazon ECS、AWS Fargate、Amazon DynamoDB、Amazon SNS、Amazon SQS、AWS Batch、AWS Glue、Amazon SageMaker とも統合されました。これにより、バッチ処理ジョブの起動、メディアまたはデータファイルの処理、通知の送信、機械学習ワークフローのオーケストレートが必要なアプリケーショ

Amazon EBS でバックアップした Amazon EC2 インスタンスを休止させ、後から再開できるようになりました。アプリケーションは、メモリフットプリントをいちから再構築する代わりに、一時停止したちょうどその状態から再開できます。たとえば、キャッシュおよびその他のメモリ中心型コンポーネントに依存するアプリケーションは、プリロードまたはウォームアップに数十分を要すことがあります。こういった要素により、遅延が誘発され、極めて迅速に増分キャパシティーが必要な場合にはオーバープロビジョニングを強いられます。休止機能を使用すれば、より高速に生産的状態に入れるメモリフットプリントを持つ事前ウォーミング済みのインスタンス群を維持できます。これは、既存のアプリケーションに変更を加えることなく行うことが可能です。休止はノートパソコンの蓋を閉じて開くようなものであり、アプリケーションは作業を一時停止し

Ruby を使用した AWS Lambda 関数コードの開発が可能になりました。AWS Lambda は、イベントに応じてコードを実行し、お客様に代わって自動的にコンピューティングリソースを管理するコンピューティングサービスです。 使用を開始するには、AWS CLI または AWS Lambda コンソールを通じて ZIP ファイルとして Ruby コードをアップロードし、ruby2.5 ランタイムを選択すればよいだけです。こうすることで、Lambda は高可用性を活用して、アプリケーションを実行およびスケールするのに必要なすべてを引き受けます。関数の開発にはお客様ご愛用の Ruby ツールおよびライブラリを使用可能です。Ruby で作成されたサーバーレスアプリケーションを、ローカルでテストしたり、デプロイしたり、管理したりするのに、AWS サーバーレスアプリケーションモデル (SAM)

AWS License Manager は、AWS サーバーおよび Microsoft、SAP、Oracle、IBM といったソフトウェアベンダーのオンプレミスサーバーで、ライセンスを簡単に管理できるようになるサービスです。AWS License Manager により、管理者はライセンス契約の規約をエミュレートするカスタマイズされたライセンスルールを作成し、EC2 のインスタンスが起動するときにそれらのルールを適用できます。管理者はこれらのルールを使用して、契約が定める以上のライセンスを使用する、または短期的に異なるサーバーにライセンスを再割り当てするといったライセンス違反を規制できます。AWS License Manager のルールによって、インスタンスの起動を物理的に停止したり、管理者に通知したりすることで、ライセンス違反の規制が可能です。管理者は AWS License Mana