Amazon DynamoDB now supports bulk imports from Amazon S3 to new DynamoDB tables
Amazon DynamoDB now makes it easier for you to migrate and load data into new DynamoDB tables by supporting bulk data imports from Amazon S3. Now, you can import data directly into new tables to help you migrate data from other systems, load test data to help you build new applications, facilitate data sharing between tables and accounts, and simplify your disaster recovery and business continuity
How We Sent an AWS Snowcone into Orbit | Amazon Web Services
AWS News Blog How We Sent an AWS Snowcone into Orbit Update (May 2023) – Clarified the details of the update that was applied during the mission. I have been a fan of space travel and the US space program since I was 4 or 5 years old. I remember reading about the Mercury and Gemini programs, and watched with excitement as Lunar Module Eagle landed on the Moon. Today, with the cost to reach Low Ear
Announcing JSON support for Amazon ElastiCache for Redis and Amazon MemoryDB for Redis
Amazon ElastiCache for Redis and Amazon MemoryDB for Redis now support natively storing and accessing data in the JavaScript Object Notation (JSON) format. With this launch, application developers can effortlessly store, fetch, and update their JSON data inside Redis without needing to manage custom code for serialization and deserialization. Using ElastiCache and MemoryDB, you can now efficiently
Choosing the right solution for AWS Lambda external parameters | Amazon Web Services
AWS Compute Blog Choosing the right solution for AWS Lambda external parameters This post is written by Thomas Moore, Solutions Architect, Serverless. When using AWS Lambda to build serverless applications, customers often need to retrieve parameters from an external source at runtime. This allows you to share parameter values across multiple functions or microservices, providing a single source o
AWS 上にデータレイクを構築し分析する方法を AWS エキスパートと一緒に１日で学びませんか？ | Amazon Web Services
Amazon Web Services ブログ AWS 上にデータレイクを構築し分析する方法を AWS エキスパートと一緒に１日で学びませんか？ この記事は、2021年3月30日に Kumar Kumaraguruparan によって投稿された Spend a day with AWS experts, and learn how to build a data lake を翻訳したものです。 データ分析・活用になぜデータレイクが必要なのでしょうか？ IDC によると、今後3年間で、過去30年間を合わせたよりも多くのデータが生成されるという調査結果があることをご存知でしょうか？デジタル化した社会ではこれまで以上に多くのデータが作成され、ソーシャルメディアや各種 IoT センサーなど、多くのソースから流れてくるリアルタイムのデータが生成されています。さらに、データは、顧客の注文記録のような従
AWSアンチパターン集 AWS Expert Online 19
[レポート] AWS Data Exchange：クラウドでサードパーティのデータを簡単に見つけて購読する #ANT238 #reinvent | DevelopersIO (classmethod.jp)
[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 ECS FargateでFireLensからCloudWatch LogsやKinesis Data Firehoseへのログ出力を、Terraformでコード化したので紹介します。 検証にあたり、弊社の以下ブログを参考にしました。 そもそもFireLensって何？ FireLensは、複数のAWSサービスやAWSパートナーネットワーク(Datadog等)にログ出力することができます。 ECSタスク定義でサイドカーとして起動し、他のコンテナからログドライバーとして使用します。 コンテナイメージにはFluentdとFluent Bitを選択可能です。 今回の検証では、リソース使用率が低く、ログルータに推奨されているFluent Bitを使用します。 2021/11/6時点でFluent Bitでは、以下のAWSサービスに
![[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
Amazon SageMakerを利用した効率的な機械学習 with Rust | ⬢ Appirits spirits
はじめに デジタルイノベーション部の浅田です。 クラウドを利用した開発を行うにあたって、クラウドを上手く利用しようとすればするほど、ローカル開発環境と本番環境（クラウド環境）とでの実装方法の差分を少なくすることが効率的に開発を行う上で重要になってきます。 例えば、Amazon DynamoDBを利用してサービスを開発しようとすると、ローカル開発環境でどのように開発を進めるか？という課題が生まれます。DynamoDBであれば、ローカルのエミュレータが提供されているので、それを利用するという解決策が考えられます。 機械学習においても、ローカル開発環境と本番環境とのやり方を統一できたほうが、効率的に開発ができます。 その一つのやり方が、Amazon SageMaker（以下SageMaker）を利用することで、ローカル環境と本番環境とで差分の少ない、統一的な方法で開発することです。 また、機械学
Startup.fm: スタートアップのためのデータレイク構築の流れ / Startup.fm: Build a Data Lake in steps
データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか？ 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデータレイクの構築は、ハードル高くて時間もコストもかかるでしょ？」 「手軽に始めたいけど、将来的にスケールできるようにもしておきたい・・・」 「とりあえず今はMySQLとかにデータ入れてるけど、次は何をすればいい？もっといいやり方ないの？」 この度そんなスタートアップのお客様向けに、データレイクセミナーの開催を決定いたしました！ これからデータレイクを始めたい方にも、データレイクをさらに効果的に活用したい方にもおすすめです。
CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time | Amazon Web Services
AWS News Blog CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time When we launched Amazon CloudWatch back in 2009 (New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch), it tracked performance metrics (CPU load, Disk I/O, and network I/O) for EC2 instances, rolled them up at one-minute intervals, and stored them for two weeks.
コードを書かずに”データ前処理”を作成・実行可能！機械学習を使用した新しいビジュアルデータ準備ツール「AWS Glue DataBrew」がリリースされました！ | DevelopersIO
日本時間の2020年11月12日(火) 早朝、機械学習を使用した新しいビジュアルデータ準備ツールとして「AWS Glue DataBrew」という機能が突如発表されました！そしてこちらの機能、既に本日から利用可能となっているようです。 AWS Glue DataBrew, a visual data preparation tool that enables data scientists and data analysts to clean & normalize data up to 80% faster, is now generally available. Read this AWS News Blog to learn more: https://t.co/BVp3PA5n4z pic.twitter.com/XUc8s3NPka — Amazon Web Services (
日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の言語ごとの辞書データや単語ベクトルデータを用いることが一般的です。これらのデータは GB 以上のサイズにおよび、また計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの調達が問題となってきました。AWS 上で自然言語処理モデルの開発を行う際には、Amazon SageMaker を用いて学習に必要なリソースを確保することで、ALBERT の
Introducing Amazon Honeycode – Build Web & Mobile Apps Without Writing Code | Amazon Web Services
AWS News Blog Introducing Amazon Honeycode – Build Web & Mobile Apps Without Writing Code VisiCalc was launched in 1979, and I purchased a copy (shown at right) for my Apple II. The spreadsheet model was clean, easy to use, and most of all, easy to teach. I was working in a retail computer store at that time, and knew that this product was a big deal when customers started asking to purchase the s
New – Announcing Amazon AppFlow | Amazon Web Services
AWS News Blog New – Announcing Amazon AppFlow Software as a service (SaaS) applications are becoming increasingly important to our customers, and adoption is growing rapidly. While there are many benefits to this way of consuming software, one challenge is that data is now living in lots of different places. To get meaningful insights from this data, we need to have a way to analyze it, and that c
Amazon Linux 2 で追加ボリューム(EBS)をマウントする手順 | DevelopersIO
大阪オフィスのYui(@MayForBlue)です。 みなさん、追加ボリュームのマウントしてますか？（挨拶 Amazon Linux 2 で追加ボリュームをマウントする機会があったので手順を残しておきます。 手順 追加ボリュームを作成する 追加ボリュームをマウントする 追加ボリュームを作成する まずは追加するボリュームを作成します。 マネジメントコンソールのEC2のダッシュボードの左側メニューから「ボリューム」を選択し、「ボリュームの作成」をクリックします。 ボリュームタイプ、サイズなど必要事項を入力し、「ボリュームの作成」をクリックします。 このとき、アタッチする対象のインスタンスと同じアベイラビリティゾーン内に作成しないとアタッチできなくなるので注意が必要です。 作成したボリュームを選択し、アクションの「ボリュームのアタッチ」をクリックします。 対象のインスタンス名を入力します。 デバ
New for Amazon Redshift – Data Lake Export and Federated Query | Amazon Web Services
AWS News Blog New for Amazon Redshift – Data Lake Export and Federated Query A data warehouse is a database optimized to analyze relational data coming from transactional systems and line of business applications. Amazon Redshift is a fast, fully managed data warehouse that makes it simple and cost-effective to analyze data using standard SQL and existing Business Intelligence (BI) tools. To get i
Announcing UltraWarm (Preview) for Amazon Elasticsearch Service | Amazon Web Services
AWS News Blog Announcing UltraWarm (Preview) for Amazon Elasticsearch Service September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. Today, we are excited to announce UltraWarm, a fully managed, low-cost, warm storage tier for Amazon Elasticsearch Service. UltraWarm is now available in preview and takes a new approach to providing hot-warm tieri
AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSを活用した空調機IoTプラットフォームの開発
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
