DynamoDBが簡単にExportできるようになった！ - Qiita
本記事はハンズラボ Advent Calendar 2020の17日目です。 はじめに！ こんにちは。AWS絶賛勉強中の@bassaaaaaです。 業務でDynamoDBテーブルを全件取得し、ゴニョゴニョする必要がありました。 RDBなら普通にExportできますが、DynamoDBは最近までできなかったみたいです。 というわけで、最近出たDynamoDB Export1をaws-cliからやってみたいと思います。 前置きはいいから！という人はaws-cliでDynamoDB Exportをやってみるへ 昔は大変だった！ DynamoDB Exportは2020/11/9から使えるようになりました。 それまでは以下のような方法でExportを行う必要がありました。2 AWS Data Pipelineを使う Amazon EMRを使う AWS Glueを使う 全件取得クエリ 1~3はなんと
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
terraformでお手軽に静的サイトを公開 - Colorful Bullet
Bullet Group Advent Calendar 2020 19日目の記事です。 こんにちは！SREチームたかはしです！ 栄えあるアドベントカレンダーの19日目、どんな記事を書かせて頂こうか悩みましたが「terraformで s3 + cloudfront を構築し、静的サイトを公開する方法」をご紹介したいと思います！ こちら以前自分が業務上で行ったことなのですが、とてもとても楽に環境構築 & サイト公開までできて感動しました。 簡単なポートフォリオサイトの公開などで使用することもあるかと思いますので、皆さんにもお試しいただければと思います。 前提 pcにterraformがインストール済み(もしまだインストールされていない場合はこちらの記事を参考にインストールをお願いします) AWSアカウントは作成済み 以上を前提に手順を説明していきます！ 手順 AWSコンソールにて IAMユー
既存リソースをAWS CloudFormation管理に取り込んでみよう 〜AWS CloudShellを添えて〜 - Qiita
ごきげんよう、@An_nAです！ この記事はハンズラボ Advent Calendar 2020 19日目の記事です。 この記事について 今回は、 AWS上に存在している既存リソースをスタックに取り込んでAWS CloudFormationで管理しちゃおうぜ！ という内容でお送りします。 みなさん、AWS CloudFormation(以降、CloudFormationと表記します)は活用していますか？ ここで、突然ですが2020年03月末時点のわたしのCloudFormationに対するつぶやきを見てみましょう。 たとえば、 初対面では「なんだかあんまり好きじゃないなあ」って人を、 付き合ってるうちに深く理解して大好きになったり 逆に「なんだかこの人いいなあ」と思ってた人が、 その人を知るにつれ「ナンダコイツ」になったりすることって ままあると思うんですよね 今のわたしとCloudFor
時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい
コンテナによるLambdaのデプロイとSAM+GithubActionsによる自動デプロイ - Qiita
はじめに ※ この記事はLIFULL AdventCalendar 2020の19日目の記事として投稿されている可能性があります。 最近AWS re:Inventが開催されましたね。 エンジニアのみなさんが注目されているのがわかるほどにツイッターでも多くの情報がタイムライン上に飛び交っていました。 そんな中わたしも情報を追っていてすごくワクワクしながらみておりました。 その中でも私自身が一番アツいと思ったのはAWSLambdaのコンテナサポートですね。 AWSLambdaはサーバーについて気にすることなくコードをアップロードして実行できるため、とても使い勝手が良く非常に小さなソースコードの実行に向いているので使用される頻度は多いAWSサービスの一つだと思います。 その反面でソースコードは直接コードをGUI上で変更したりデプロイ時にzip化したファイルをアップロードするなどしてちょっと手間だ
AWS AmplifyでREST APIを構築する際の注意点 - Qiita
AWS Amplifyを使ったREST API (Amazon API Gateway + AWS Lambda) の構築を試した過程で判明した注意点を紹介する。 ※ 情報は2020年12月時点のものであり、AWS Amplifyのアップデートにより改善される可能性がある。 対象バージョン AWS Amplify (2020年12月20日時点) Amplify CLI 4.40.0 REST API構築にまつわる注意点 複数プラットフォームのフロントエンドに対して同じバックエンドを共有する構成を作るのに工夫が必要となる。 AWS Amplifyではフロントエンドのみ、もしくはフロントエンド＋バックエンドのいずれかの構成でしかプロジェクトを定義できず、共通のバックエンドを単独のプロジェクトとすることができない。 フロントエンド＋バックエンドのプロジェクトとしておき、フロントエンドのビルド設定
分散負荷テスト v1.2 のご紹介
AWS での分散負荷テストを使用すると、アプリケーションに接続している何千人ものユーザーを簡単にシミュレートできるため、負荷がかかった状態でのアプリケーションのパフォーマンスをよりよく把握できます。このソリューションでは、AWS Fargate でコンテナを起動および設定し、毎秒、指定した数のトランザクションを生成します。サーバーのプロビジョニングは必要ありません。 この更新により、JMeter プラグインと JMeter 入力ファイルのサポートが追加され、より複雑なテストがサポートされます。さらに、この更新には、JMeter Samplers によるテスト結果を表示する機能と、多数の Quality-of-Life 更新が含まれています。 AWS ソリューション実装は、現在 AWS ソリューションのページで入手いただけます。お客様は、一般的な質問をカテゴリ別に検索することで、概略まはた完
AWS Lambda上でSpeechToTextを動かすため、学習モデルをEFSに逃がした話
概要 AWS Lambdaでは、ソースコード及び各種Library（pythonの場合はpipで入れるlibrary等）は最大250MB以下という制約があるため、機械学習のモデルなどを使って処理をしたり、容量の必要なライブラリ（Pytorch等）を使うのは工夫が必要です。 その解決手段の一つが、ネットワーク上の共有フォルダのように使えるEFSがLambdaに対応しており、EFS上にモデルやライブラリを配置して使用するという方法です。 最近のトピックとして、Lambdaで大きなファイルを扱いたい場合の選択肢としてDockerコンテナを直接Lambdaにアップロードして使うことが、Re:Invent2020で発表されました。 しかし、機械学習の場合、モデルを頻繁に入れ替えたりしたいことが多く発生するためそのたびにイメージをビルドし直すのは大変です。従って、今回は認識モデルをEFSに配置し、以下
CDKを使ったLambdaデプロイの最適解を考える
この記事はニフティグループアドベントカレンダー6日目の記事です。 はじめに 先週のre:InventでLambdaでコンテナイメージがサポートがされるようになりました。 今後さらに活躍の場が広がりそうなLambdaですが、今回はCDKを使ったLambdaのデプロイについて書いていきたいと思います。 LambdaとCDK まずはCDKについておさらいをします。 CDKはインフラをコードで管理、すなわち Infrastrucure as Code（IaC） を実現するためのツールでありCloudFormationやTerraformといったものもこれに属します。 CDKの特徴はJavaScript、TypeScript、Python、Java、C#から好みの言語を使うことができ、CloudFormationやTerraformと比べてより抽象化された記述でインフラを定義することが可能です。 最
AWS StepFunctions Lambdaを利用する時のTips - 私の戦闘力は53万です
Japan APN Ambassador Advent Calendarqiita.com 2020 8 日目のエントリです。 先日、会社でStepFunctionsの利用方法や、 Tipsを説明することがありました。 良い機会なので記事に書いてみようと思いました。 Stepfunctions概要 docs.aws.amazon.com サーバレスのサービスを組合せて利用する際の オーケストレーションのサービスです。 具体例をみると分かりやすいかもしれません。 下記の図の各NodeがLambda、SQS等、 各種AWSのサービスを表しており、 それらの処理を組み合わせて定義することが可能です。 Tips 利用し始めるとStepFunctionsならではの 機能や制限があることに後から気付き、 処理を作り直すことが良くありました。 事前に知っておきたかったことを 会社の後輩に伝えたところ割と
Amplify Mockingを利用してGraphQL API のユニットテストをする - Qiita
どうも、じゃがです！ 本記事は AWS Amplify Advent Calendar 2020 の9日目のエントリになります 2020年はAmplify iOS, AndroidのGA、Amplify JSのSSR対応やFlutterのDeveloper Preview、そしてAmplify Admin UIの登場など、Amplifyのアップデートが楽しい一年でしたね！ 今回はGraphQL APIのユニットテストを書くノウハウについてまとめてみたいと思います！ 想定読者 AmplifyでGraphQL APIのテストを書きたい人 テストが要件に入ってくる開発でもAmplify使いたい人 Amplify の基本的な使い方については解説しませんのでご了承ください。手を動かしてAmplify学びたいとうかたは、以下のWorkshopもご参照ください https://amplify-sns.w
CloudWatch Logs Insights 集計クエリ入門 - Qiita
AWS CloudWatch Logs をご利用のみなさん、CloudWatch Logs Insights は利用していますか？ 自分は CloudWatch Logs の検索記法に慣れていたのもあり、Logs Insights の記法を学習する元気がいまいち起きず、初めの方は filter @message =~ "hoge" みたいなクエリしか使っていませんでした (このクエリは今もよく使います )。 しかしながら、Saved Query 対応などもきっかけに、ここ 1 年くらいで結構 Logs Inshigts の集計クエリを活用する場面も増えたので、集計クエリの使い方のチュートリアルのような記事にまとめてみます。 以下、簡単な API アクセスログみたいなものを想定して、ログデータの集計というシーンにおけるクエリ例やちょっとしたテクニックを紹介していきます。 あるフィールドの値で
AWS Lambda + Docker + TensorFlowを使ってサクッと推論APIをつくる - aptpod Tech Blog
みなさま、こんにちは。研究開発グループと製品開発グループ に兼務で所属しております、きしだです。aptpod Advent Calendar 2020 11日目を担当します。今回は機械学習に関わるエンジニア向けに、最近AWSがリリースしたAWS Lambdaの新機能を利用して、サクッと推論APIを作るネタをご紹介します。 aws.amazon.com 推論をすばやくAPI化する意義 その前に、推論箇所をAPIとしてすばやく用意できる必要性について簡単に触れたいと思います。 機械学習関係の案件では、お客様側も理解できるKPIを立てることが非常に重要視されています。例えば「モデルの正解率を〜にしたい」や「モデルの動く速さを〜にしたい」などですね。これらの具体的な数値はお客様と議論を重ね、お互いにしっくりくる数値に落とし込む必要があるのですが、これがとてもむずかしいのです。なぜでしょうか。 お客
Cloudfront+Lambda@edgeを利用してサーバーレスに画像をリサイズ・変換して返却するCDNを構築したお話
この記事は「Eureka Advent Calendar 2020」13日目の記事です。 こんにちは、2匹の猫様に尽くす傍、エンジニアを営んでいるSREチーム エンジニアの@marnieです。 だいぶ肌寒くなってきましたが、幸い我が家には長毛種の猫がいるので、心も体も温まります。長毛種の猫素晴らしい。はぁすばら。 さて。このまま猫自慢だけで押し切りたい所ですが。 直近は半分趣味・半分業務的な機会もあり、CloudFrontとLambda@Edge周りを触っていましたので、CloudFrontとLambda@Edgeを利用して画像を動的に変換するCDNの構築や実運用のTrafficに乗せてみての所感などについて、つらつらと書いていけたらと思います。 CloudFront+Lambda@Edge? Lambda@EdgeはCloudFrontの機能の一つで、世界各地に散らばるCloudFron
Kinesis Data Analytics によるニアリアルタイムなデータ分析ことはじめ - Qiita
「AWS & Game Advent Calendar 2020」 14日目の記事です。 Kinesis Data Analytics利用していますか？ Kinesis Data AnalyticsはAWSが提供するKinesisサービスの1つとなりますが、ストリームデータに対して条件をつけて分析をすることができます。データ分析というと大量のデータに対して集計をかけることや仮説検証のためにアドホックなクエリを実行する話もよく出てくると思いますが、ユーザが行動したタイミングに可能な限り近いタイミングでユーザの行動を把握し対応することができると、ユーザに対して高い効果で影響が与えられるものです。 このようなニアリアルタイムな分析では大量データの分析とは異なる技術スタックが求められ、ストリーミングデータ処理を扱える基盤を整備すると柔軟性のある構成をとることができます。ここではKinesis Da
AWS AppConfig Lambda extensionでLambda関数の設定情報を取得する - Qiita
はじめに AWS Lambda extensionsのプレビューが発表されました。それに伴い、AWS AppConfigから利用可能なextensionが提供されLambda関数から利用することができます。本稿ではAWS AppConfig Lambda extensionをLambda関数から利用する方法について紹介します。 AWS AppConfigとは AWS AppConfigはAWS Systems Managerの機能の1つで、アプリケーション設定を作成、管理し、デプロイを可能にするサービスです。アプリケーションはAWS AppConfigのAPIをコールすることで、アプリケーション自体の再デプロイを行うことなく、外部設定を動的にデプロイすることができるようになります。また、AWS AppConfigは検証機能を提供しており、全ての設定変更について、アプリケーションに投入する前
Optimizing batch processing with custom checkpoints in AWS Lambda | Amazon Web Services
AWS Compute Blog Optimizing batch processing with custom checkpoints in AWS Lambda AWS Lambda can process batches of messages from sources like Amazon Kinesis Data Streams or Amazon DynamoDB Streams. In normal operation, the processing function moves from one batch to the next to consume messages from the stream. However, when an error occurs in one of the items in the batch, this can result in re
AWS Lambda が Amazon Kinesis と Amazon DynamoDB ストリームでのチェックポイント機能をリリース
AWS Lambda のお客様は、Amazon Kinesis と Amazon DynamoDB ストリームにおいて、正しく処理されたレコードの自動的なチェックができるようになりました。この処理には、新たなパラメータ (FunctionResponseType) を使用します。このパラメータを “Report Batch Item Failure” に設定することで、バッチ処理が失敗した場合には、最近成功したメッセージが再試行された後にのみ、レコードが作成されるようになります。この設定により、処理の重複が減らせ、処理の失敗に対応するための選択肢を広げることができます。 お客様は、Amazon Kinesis と Amazon DynamoDB ストリームで既に利用可能となっている、他の失敗処理機能と合わせて、今回リリースのチェックポイント設定機能をご使用になれます。処理の失敗が生じた場合
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EventBridgeでAWSとShopifyの統合
