AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの布目です。本日はAWS Compute Blogに掲載されたSeamlessly Scale Predictions with AWS Lambda and MXNetをご紹介します。 Sunil Mallya, ソリューションアーキテクト AIソリューションを大規模に構築することは困難を伴います。このブログではAWS LambdaとMXNetを、スケーラブルな予測パイプラインの構築に活用する方法を見ていきます。 機械学習や深層学習を活用しようとする企業は、単なるモデルの学習よりもはるかに多くの投資をしています。そこには、次に示すステージを含む洗練されたパイプラインが存在します: データストレージ プリプロセッシング 特徴抽出 モデルの生成 モデルの分析 特徴エンジニアリング フィードバックの評価 パイプラインの各ステージでは次が要求されます: 変化
AWS Solutions Architect ブログ
本日私達はBloxという新しいオープンソースプロジェクトをAmazon ECSチームから発表しました。これによって、ECS上にカスタムスケジューラや他のツールを開発することができます。Bloxの目標は、カスタムスケジューラ、ダッシュボード、その他の拡張を作ることをシンプルにするためのツールを提供することで、皆さんの特定のユースケースの要件に合わせることができます。 ECSは先日、イベントストリームが利用可能になったこともアナウンスしており、これによってECSコンテナインスタンスとタスクの状態変化が[cloudwatch_events]に送られます。スケジュールワークフローを開発するお客様はしばしばECSクラスタで生成されたイベントを受け取り、この状態を手元に保存して、ローカルのクラスタの状態を使って操作を行います。Bloxにはこの機能とローカルのクラスタの状態をREST APIで提供するc
AWS Solutions Architect ブログ
SA岩永です。Amazon CTO Wernerのブログで、深層学習フレームワークであるMXNetについての投稿がありました。AWSを使って機械学習・深層学習をお考えの方に非常に重要な内容なので、日本語訳しましたのでご覧ください。 また、記事内にもありますが今週ラスベガスにて開催されるre:Invent 2016では11月30日に機械学習についてのMini Conもありますので、現地にいらっしゃる方はぜひご参加下さい。 追記: re:Invent 2016の中で、深層学習フレームワークのベンチマーク用のコードが公開されました。https://github.com/awslabs/deeplearning-benchmark 原文: MXNet - Deep Learning Framework of Choice at AWS 機械学習は、私達のビジネスや生活の多くの領域において段々と重要
AWS Solutions Architect ブログ
クラスタを起動する時に、Amazon EMRではそのクラスタで実行するアプリケーションを選択することができます。しかし、もし自分のカスタムアプリケーションをデプロイしたいと思ったらどうでしょうか？この記事では、どのようにカスタムアプリケーションをビルドしてApache Bigtopベースになっているリリース4.x以上のEMRで利用するかをお見せします。EMRのノードはAmazon Linux AMIをベースにしているので、パッケージはRPMでデプロイしたいと思います。また、アプリケーションの例としてElasticsearchを取り上げたいと思います。 Apache Bigtopとは？ Apache Bigtopはコミュニティでメンテナンスされているレポジトリで、幅広いコンポーネントとプロジェクトをサポートしています。Hadoop、HBase、そしてSpark等が含まれますがこれらに限りませ
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの篠原英治(id:shinodogg)です。 日頃からヘビーにはてなブックマークを活用しているソリューションアーキテクトの岩永亮介(id:riywo)が、8月20日(土)に『はてなサマーインターン』でAWSの講義＋ハンズオン(はてなサマーインターン1日限りの特別講座: AWSハンズオン - connpass)を実施いたしました。 会場である京都のはてな様のオフィスには、YAPCに協賛した際の社名入り提灯や、 先日CTOの就任が発表された大坪様(id:motemen)への贈花が飾ってありました。 最初に、サーバ管理・監視サービスであるMackerelをご担当されている粕谷様(id:daiksy)にご挨拶および会場のご案内等をいただいてから、 AWSのサービスに関する講義とハンズオンを実施いたしました。 AWSのベーシックなサービスのご紹介や、 音声アシス
AWS Solutions Architect ブログ
Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 Amazonのパーソナライゼーションでは、お客様毎の製品レコメンデーションを生成するためにニューラルネットワークを使っています。Amazonの製品カタログは、あるお客様が購入した製品の数に比較して非常に巨大なので、データセットは極端に疎になってしまいます。そして、お客様の数と製品の数は何億にものぼるため、我々のニューラルネットワークのモデルは複数のGPUで分散しなければ、空間や時間の制約を満たすことができません。 そのため、GPU上で動作するDSSTNE (the Deep Scalable Sparse Tensor Neural Engine)を開発しオープンソースにしました。我々はDSSTNEを使ってニューラルネットワークを学習しレコメンデーションを生成していて、ECのウェブサイト
AWS Solutions Architect ブログ
Amaozn ECSがawslogs Logging Driver(Amazon CloudWatch Logs)に対応しました SA岩永(@riywo)です。今日はゴールデンウィーク中にリリースされたAmazon ECSのawslogs対応についてご紹介します。これを使えばコンテナのログを簡単にAmazon ClodWatch Logsに収集できるので、もうログ収集用に仕組みを作る必要がなくなります！ awslogs Logging Driverについて Dockerのログの書き出し先として利用できるのがLogging Driverであり、デフォルトはjson-fileとなっていて稼働しているホストのファイルシステムにjson形式でログファイルを吐き出しています。 実はDocker 1.9からawslogsというLogging Driverが追加されていて、こちらはAmazon Clou
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWS Solutions Architect ブログ
SA岩永( @riywo )です。AWSのプリンシパルSAのIan MeyersがAWS Big Data Blogに非常に興味深い投稿をしていたので翻訳しました。 特にAmazon Kinesis Streamsを既に使われている方は、Amazon Kinesis Streams to Amazon Kinesis Firehose Forwarderを使うだけでそのストリームをAmazon S3に保管したりAmazon Redshiftにロードする流れがサーバレスに構築できるので強くオススメできます。 使ってみて疑問質問等ありましたら、遠慮無く私までご連絡下さい(日本語で大丈夫です！)。 Amazon Kinesis Streamsへのデータ送信の必要があるアプリケーションの開発をシンプルにするために、昨年我々はAmazon Kinesis Producer Library (KPL)
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWS News Blog
Build RAG applications with MongoDB Atlas, now available in Knowledge Bases for Amazon Bedrock Foundational models (FMs) are trained on large volumes of data and use billions of parameters. However, in order to answer customers’ questions related to domain-specific private data, they need to reference an authoritative knowledge base outside of the model’s training data sources. This is commonly ac
AWS Solutions Architect ブログ
私の同僚のDrew DennisがSpot fleetでAmazon ECSを使う方法を紹介するゲスト投稿を送ってくれました。 オンデマンドのEC2インスタンスを使う利点はいくつかあります。しかし、多くのワークロード、例えば必要に応じて単純に起動し後続の同一処理で簡単に置き換える様なステートレスやタスクベースなシナリオでは、Spot fleetを使うことでより経済的に追加の計算資源を獲得することができます。加えてSpot fleetはリクエストされたターゲットキャパシティを保つために、終了させられたインスタンスを自動的に置き換えてくれます。 Amazon ECSは高いスケーラビリティとパフォーマンスを持つコンテナ管理サービスで、Dockerコンテナをサポートし、管理されたAmazon EC2インスタンスのクラスタ上で簡単にアプリケーションを実行することができます。ECSは既にEC2インスタ
AWS Solutions Architect ブログ
SA岩永です。クラウド時代になり、Blue/Greenデプロイと呼ばれる方式を取るシステムが増えてきました。ただ、日本語で書かれているBlue/Greenデプロイの情報は多少古いものが多いため、特にクラウドで真価を発揮するBlue/Greenデプロイについて2015年の最後に一度まとめてみたいと思います。 以下は私の個人的な考えに基づくものであり、他にも様々な考え方があります。AWSのデプロイに関する発表でも沢山の考え方が提案されていますし、デプロイをサポートするサービスを多種多様に提供しています。1つの考え方として参考にして頂ければ幸いです。 なおこの記事は、2015年のAWS re:Inventのセッション『(DVO401) Deep Dive into Blue/Green Deployments on AWS』を参考にしています。興味のある方はSlideshareやYoutubeを
AWS Solutions Architect ブログ
Amazon ECS機能追加 - 新しいデプロイ機能、CloudWatchメトリクス、SingaporeとFrankfurtリージョン 本日、Amazon EC2 Container Service (ECS)でのDockerアプリケーションの実行をより簡単にするための2つの改善を行いました。Amazon ECSは高いスケーラビリティと高いパフォーマンスを持ったコンテナ管理サービスで、Dockerコンテナをサポートし、Amazon EC2インスタンスで構成されるクラスタ上でのアプリケーション実行を簡単に行えます。 1つ目の改善は、より柔軟なデプロイができるようになりました。ECS Serviceスケジューラは起動したままのステートレスなサービスやアプリケーションで使われています。Serviceスケジューラは指定された数のTaskが起動している状態を保ち続けてくれ、オプションでElastic
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWS News Blog
Build RAG applications with MongoDB Atlas, now available in Knowledge Bases for Amazon Bedrock Foundational models (FMs) are trained on large volumes of data and use billions of parameters. However, in order to answer customers’ questions related to domain-specific private data, they need to reference an authoritative knowledge base outside of the model’s training data sources. This is commonly ac
AWS News Blog
Build RAG applications with MongoDB Atlas, now available in Knowledge Bases for Amazon Bedrock Foundational models (FMs) are trained on large volumes of data and use billions of parameters. However, in order to answer customers’ questions related to domain-specific private data, they need to reference an authoritative knowledge base outside of the model’s training data sources. This is commonly ac
AWS Solutions Architect ブログ
約3年前に我々がAWSコマンドラインインターフェース(CLI)を開発し始めた時、AWS APIが拡張し続けるのに対して一貫性のあるコマンドライン体験を提供する方法を考える必要がありました。我々はAWS APIを表現するモデルから自動的にコマンドを生成することに決めました。この戦略によって、我々は新しいAWSのサービスやAPIの更新を適時にかつ一貫性のあるコマンドによってサポートできるようになりました。 こうした一貫性や適時性は我々のお客様のAWS上での生産性向上に役立っていると信じています。一方で、CLIで利用できる数千のコマンドとオプションに慣れて効率よく使いこなすのが難しいということも理解しています。我々は常にCLIを出来る限り簡単に学習し使うことができる解決方法を探し続けています。 よりよい使い勝手を求めて我々はaws-cliを作り、本日https://github.com/awsl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
