【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog
Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function
AWS Documentation MCP Server でAWSのFAQアシスタントを作成する - Taste of Tech Topics
はじめに データ分析エンジニアの木介です。 AWSの公式ドキュメントで欲しい情報を探そうとしても、なかなか目的のページが見つからなかったりすることってありませんか？ AWSから「AWS Documentation MCP Server」が公開されたため、本記事では、それを利用して、最新のAWSドキュメントに基づき、質問に回答してくれるFAQアシスタントの作成方法について紹介したいと思います。 MCP Serverの呼び出しには、Claude Desktop および dolphin-mcp を利用します。 github.com はじめに 概要 1. MCPとは MCPのしくみ 2. AWS Documentation MCP Serverとは Claude Desktop経由でAWS ドキュメントのFAQアシスタントを作成する dolphin-mcpでAWS ドキュメントのFAQアシスタント
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 2 - RAKSUL TechBlog
はじめに 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 3. アーキテキチャ及びディレクトリ構造 オニオンアーキテクチャを採用 オニオンアーキテクチャとは 誕生の背景 依存関係逆転の原則の活用 採用理由 参考になった記事 ディレクトリ構造 全体の構成 api schema apiとusecaseの間のデータ構造を提供する役割 schemaはパスオペレーション関数のリクエストとレスポンスの構造を提供する役割 usecase domain infrastructure core container_config exception 参考にしたもの まとめ はじめに ラクスルグループのノバセルで新卒2年目のエンジニアをしています田村(tamtam)です。 第1回では、AWS Lambda x FastAPIによるPythonモダンAPI開発を実現する上で役立つであろ
先日公開した「PyCon JP 2021」1日目のカンファレンスレポートはいかがでしたでしょうか？ 本レポートでは引き続き、2日目の様子をご紹介します。 PyCon JPは日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年開催される国際カンファレンスです。 PyCon JP 2021は2021年10月15日～16日のカンファレンスと2日間の会期で開催されました。 今回は16日に行われたカンファレンスの中から、注目セッションと感想について運営スタッフがレポートします。 Day2 Keynote：A Perfect match ―Mr. Brandt Bucher （nikkie） 2021年10月、PyCon JP 2021の少し前にリリースされたPython3.10。その目玉機能といえば、Structural Patte
自社OCRエンジン「NineOCR」の学習効率化のため SageMaker Training を導入した話 - Sansan Tech Blog
はじめに NineOCR とは NineOCR が抱える課題 Amazon SageMaker Training とは SageMaker Training の始め方 事前準備 AWS が提供しているコンテナイメージを拡張する方法 独自のコンテナイメージに SageMaker Training Toolkit をインストールする方法 スクラッチでコンテナイメージを作成する方法 まとめ 学習ジョブの実行 学習結果の確認 終わりに はじめに こんにちは、研究開発部の石井です。 本エントリーでは、弊社の OCR エンジン「NineOCR」の開発フローに SageMaker Training を導入した話を紹介します。 NineOCR とは NineOCR は Sansan が独自に開発した名刺特化の OCR エンジンです。 名刺をデータ化するフローの中で実際に活用されており、タスクの高速化・高精
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f4bf9fca365234a1df651b96c3b39e0d3f335108/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
【AWS】AWS Lambda + ChatGPT でS3オブジェクトの自動タグ付けを実現する (Terraformコード付き) - APC 技術ブログ
はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年5月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月に引き続き、re:Invent2022で発表された新機能やサービスが利用可能になりました。 Amazon Redshift MERGEステートメント Lake Formationとのデータ共有の集中型アクセス制御 Dynamic Data Masking AWS Glue Visual ETL が新しいネイティブ Amazon Redshift 機能をサポート その他にも、様々なアップデートがありますので、是非チェックしてください。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshiftの文字列クエリのパフォーマンスを最大63倍向上 Amazon Redshift
Terraformで構築する機械学習ワークロード（Batch on Fargate編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、前回の記事ではLambdaを使いましたが、今回はその処理をBatch on Fargateに載せてみたいと思います。 前回記事は以下です。 構成イメージ 構成としては以下のようなものを作成していきます。 前回との違いとしては、まずLambdaの代わりにBatch on Fargateを使う点です。 Fargateのタスク(ジョブ)上のコンテナイメージで物体検出モデルの一つであるYOLOXを動かしていきます。 また、それ以外にもBatchを使用する場合は、S3イベントとBatchの間にEventBridgeが必要となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際の
著者 吉田真吾（よしだしんご），大嶋勇樹（おおしまゆうき） 著 定価 3,300円（本体3,000円＋税10%） 発売日 2023.10.18 判型 B5変形 頁数 280ページ ISBN 978-4-297-13839-4 978-4-297-13840-0 概要 本書は、ChatGPTのAPIとLangChainを使って、大規模言語モデル（LLM）を本番レベルのシステムに組み込むための知識をステップバイステップで学習し、手を動かしながら実践できる書籍です。 生成AIが登場し、APIやフレームワークのエコシステムが充実してきたことによって、これまで機械学習やプログラミングの十分な知識が必要だったことに対してアプリケーション開発者が挑戦しやすくなりました。LLMの性質を活かしたサービスや業務システム構築の基礎を理解し、LLMのモデルやワークフローを抽象化して取り扱ううえで、LangChai
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS re:Invent 2022の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は米国時間で表記します。 11/28 (月) Amazon EC2 C7gn instances (Preview) 前世代のC6gnインスタンスと比較して、最大200Gbpsのネットワーク帯域幅と、最大50%高いパケット処理性能
正式リリースになった AWS SAM CLI の Terraform サポート機能を試す - kakakakakku blog
2023年9月5日に AWS SAM CLI の Terraform サポート機能が GA （正式リリース）になった👏 Amazon API Gateway や AWS Lambda 関数などサーバーレス関連のコンポーネントは Terraform で統一的に管理しつつも，AWS SAM CLI の開発支援機能（sam local invoke コマンドや sam local start-api コマンドでローカルデバッグ）は使いたい❗️という場面はあって非常に便利な組み合わせだと思う． aws.amazon.com 実際にどういう開発体験なのかを確認するために AWS ブログに載っていたサンプルを試してみる ＼( 'ω')／ aws.amazon.com 検証環境 今回は macOS 上で SAM CLI 1.97.0（最新）と Terraform 1.5.7（最新）を使う． $ sam
Pythonのおすすめ開発環境ver.2023 – Python試験・資格、データ分析試験・資格を運営する一般社団法人Pythonエンジニア育成推進協会のページです。
変わった点と言えば、その時々の要件に応じてバージョンを3.9か3.10を使い分けているという点くらいです。Pythonの標準実装であるCPythonは今でもおすすめのままかわりませんし、それ以外の部分に関してもこのままでも問題ありません。 今回は上記の6項目の中から特にフォローが必要な内容を取り上げたいと思います。 ■Python3、どのバージョンを使うのがベスト？現在、Pythonは12カ月ごとに新しいバージョンがリリースされており、昨年の10月に3.11がリリースされています。 このリリースでは新たな機能の追加やスピードアップが図られていますが、下位互換性が保持されていますので、内部的なAPIが大幅に変更されていない限りは基本的にどのバージョンを利用したとしても、書いたコードが動かないという事はめったになく、3.9で書いたコードは3.11でも基本的に動きます。 もし、新しい機能が入った
一般社団法人Pythonエンジニア育成推進協会（以下、当協会）の顧問理事の寺田学です。 私は試験の問題策定とコミュニティ連携を行う立場です。 初学者にとって、何でコーディングするのか、どう動かせばいいのか、というのは悩むところだと思います。 そこで今回はバージョンの選択と、エディタについてお話ししてみたいと思います。 著者：寺田学 一般社団法人Pythonエンジニア育成推進協会 顧問理事 ■Pythonのバージョンは何を使うべきか Pythonは毎年10月にバージョンアップが行われます。現在は3.9が最新バージョンで、今年10月に3.10が公開されます。 ですが、よほど新しい機能を使いたいということでない限り焦って対応する必要はなく、安定して利用できるタイミングでバージョンアップを開始することが多いです（大体1年ほど）。 そのため現在はまだ3.8が使われていることが多く、そろそろ3.9でも
Amazon Web Services ブログ 週刊AWS – 2023/4/17週 みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 先週4/20～21に幕張メッセで AWS Summit Tokyo 2023 を開催いたしました。大変多くの方に現地参加・オンライン視聴いただき、大変盛り上がりました。私はAWSのアナリティクスサービスブースで対応をしていたのですが、データレイクについてのご相談や、新サービスのAmazon DataZoneについてのご質問等、多くの方とお話することができ、忙しかったですが、とても楽しく過ごす事ができました。ご参加いただいた皆様に感謝申し上げます。 なお一部のセッションは 5 月 22 日からオンデマンドで約1か月間配信する予定です。オンデマンドの先行登録を受け付けていますので、ご興味がある方は以下URLよりお
使い慣れたプログラミング言語でAWSのインフラ管理をする ～AWS CDKのススメ～ - ABEJA Tech Blog
1. AWS CDKとは 2. AWS CDKを触ってみる 2.1 環境構築 Volta Node.js CDK 2.2. とりあえずLambdaを作成するところまでやってみる 2.2.1. プロジェクト作成 2.2.2. デプロイ用のLambda関数を書く 2.2.3. CDKのStackにLambda関数を記載する 2.2.4. デプロイしてみる 2.2.5. お片付け 2.3. CRUDっぽいAPIをAPI Gatewayで公開してみる 2.3.1. Lambda関数を用意する 2.3.2. CDKを用意する 2.3.3. デプロイして動かしてみる 2.3.4. お片付け 2.3.5. 詰まったところ 3. 感想 We Are Hiring! ABEJAでプロダクト開発をしている平原です。ABEJAアドベントカレンダー2023の6日目の記事です。皆さんはAWSでIaCを利用する時には
2022年11月くらいのAWS最新情報ブログとかをキャッチアップする その2 – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 しかし11月分と12月分はre:Inventの影響でたくさんブログがアウトプットされるため2回に分けて実施します。(それでも多いんですが 11月の2回目は98本のピックアップになりました。11/28 〜 11/30までの
The Best GPUs for Deep Learning in 2023 — An In-depth Analysis
Deep learning is a field with intense computational requirements, and your choice of GPU will fundamentally determine your deep learning experience. But what features are important if you want to buy a new GPU? GPU RAM, cores, tensor cores, caches? How to make a cost-efficient choice? This blog post will delve into these questions, tackle common misconceptions, give you an intuitive understanding
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年1月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022が始まった11/28から12/31までのアップデートを紹介します。今年のre:Invent2022 で発表された新サービス・アップデート関連のレポートや検証ブログについて網羅していますので、re:Invent2022の総復習、新サービスの予習にお役立てください。 新サービス Amazon Data Zone（Coming Soon） 組織内に存在するデータを共有・検索・発見するデータカタログサービスです。Amazon Redshift、Amazon Athena、Amazon QuickSightだけでなく、SnowflakeやTableauなどといったサードパーティ製サービスにもAP
負荷試験ツール Locust を使って秒間 1 万リクエスト以上の負荷をかける - PLAY DEVELOPERS BLOG
こんにちは、メディアプラットフォーム事業部の多保です。 当社は動画配信のプラットフォームを提供しており、 動画配信の開発プロセスにおいて避けて通れないのが負荷試験になります。 どのくらいの負荷に耐えうるアーキテクチャになっているか？ 実装になっているか？ 負荷試験によって事前に把握し、改善することが重要です。 今回は当社で活用している負荷試験のツールの紹介と環境構築、その使い方について簡単に紹介しつつ 最終目標として「秒間1万リクエストの負荷をかけることができる負荷試験環境の構築」を行います。 本記事の内容はMacでの操作を想定しています。 負荷試験ツールLocustについて Locustをインストールしよう ローカルでLocustを起動してみよう 簡単なAPIを作成しよう ローカルから負荷をかけてみよう 負荷試験の結果を見てみよう テストシナリオを構築してみよう AWSでLocustを起
週刊AWS – re:Invent 2022特別号 part 2 (2022/11/28週) | Amazon Web Services
Amazon Web Services ブログ 週刊AWS – re:Invent 2022特別号 part 2 (2022/11/28週) みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。今週も週刊AWSをお届けします。 この記事は re:Invent 2022特別号の後半にあたる Part 2 です。今週は AWS re:Invent 2022 特別号のため週刊AWSは二本立てになっています。 Part 1 をまだお読みでない方はこちらでお読みいただけます。また、Part 1にも記載していますが、発表内容をほぼ網羅したセミナー「AWS Black Belt Online Seminar AWS re:Invent 2022速報」での資料と動画すでに公開されていますので、こちららも合わせてご覧ください。 – AWS Black Belt Online Seminar AWS
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
2023年4月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 4月は63本のピックアップになりました。4月だからなのか、新サービスのGAや大きなアップデートが多かった印象です。ガンガン使っていきましょう！ あと、拾っていないですがAWS Summit Tokyoも開催されていて、い
AWS Lambdaの9年間を振り返る
この記事はAWS Lambda と Serverless Advent Calendar 2023シリーズ1、24日目の記事です。 今回はポエムに近いです。 テクニカルなことは出てきますが、過去のものだったりするので、注意です。 AWSJのSAの下川さんが素晴らしい記事を書かれているので、こちらもご覧ください AWS Lambdaについて 登場は、AWS re:Invent 2014でした。 動画もあります。 詳しくは公式サイトを参照してください！っていうのも寂しいので、 せっかくなので、Amazon BedrockのClaud v2.1に聞いてみました。 AWS Lambdaは、サーバーのプロビジョニングや管理が不要なサーバーレスコンピューティングサービスです。主な特徴は以下の通りです。 - コードをアップロードするだけで、自動的にコンピューティングリソースがプロビジョニングされる。 -
StepFunctionsを用いてBIツール用のAthena集計テーブルを1日1回更新していますが、実行結果をSlackで知りたいと思いました。 以下のような形で機能を作ってみたので、構成までの手順を書こうと思います。 設定 Slack まずはincoming-webhookアプリを設定します。 設定方法はこちらのページを見ていただければと思います。 通知対象としたい「チャンネル名」「チャンネルID」と「Webhook URL」をメモします。 SNS AWSコンソールで「Simple Notification Service」を開きます トピック→トピックの作成でトピックを作ります。 タイプ スタンダート 名前 お好きな名前 として、トピックを作成します。 Lambda AWSコンソールで「Lambda」を開きます 関数→関数の作成から関数を作ります 関数名 お好きな名前 ランタイム Py
AWS App Runner × FastAPI で作る REST API パターン 3 選 - サーバーワークスエンジニアブログ
こんにちは。アプリケーションサービス部の河野です。 アプリケーションサービス部では、週に一回、技術発表会という形で、発表者が興味がある技術について自由にプレゼンテーションしています。 その中で「App Runner で REST API 開発するの良いぞ」っていう話をしたので、本ブログでも紹介したいと思います。 導入 コールドスタート問題 デプロイ容量問題 serverless.yaml 書くのツラい問題 ローカルのテストしづらい問題 App Runner とは？ FastAPI とは？ 環境 パターン①: データストアなし パターン①: 実践 ローカルで動作確認 ECR を作成 イメージをビルド&プッシュ App Runner デプロイ 上手くいかない場合は？ パターン②: DynamoDB パターン②: 実践 ローカルで動作確認 fastapi コンテナ localstack コンテナ
[アップデート] AWS Lambda でPython3.10ランタイムがサポートされました | DevelopersIO
大阪オフィスの小倉です。 LambdaランタイムでPython3.10がサポートされました。 Python3.10自体は2021年の10月にリリースされています。 Python3.10での新機能は、上記AWSブログでも紹介されていますが、公式ドキュメントはもちろんのこと、Python.jpのサイトも参考になります。 動作確認 以下の簡単なコードで動作するか確認します。 Python3.10で導入されたパターンマッチング(match-case)を使ってみました。 import sys def lambda_handler(event, context): match sys.version_info: case [major, minor, micro, releaselevel, serial]: # 5つの要素を持つリストやタプルにマッチ print(f'major={major} mi
![[アップデート] AWS Lambda でPython3.10ランタイムがサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0f56dd8a78cb4581e5d4138697f1d3be133b1f9e/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
概要 以前別の記事で、少し触ってみたという記載しました。 私自身、Github Actionsに対する知識はまだまだ少ないですが、 この機会で nektos/act に触れながら、Github Actionsに対する理解も深められればと思って始めました。 どういうもの？ Github Actionsのworkflowをローカルで動作させるために使用するライブラリです。 Github Actionsの挙動確認のために、都度git add → commit → push→workflow確認、という操作を何度も実行するのは手間、だと思います。 ターミナル上でworkflowの挙動が確認出来ると便利ではないでしょうか！ 初回リリースが6年前ですので、新しいライブラリではありませんが、 2025年9月現在、Starsが65.6kとなっています。 記事公開時のStarsはもう覚えていませんが、支持さ
MOSHでソフトウェアエンジニアをしている masuyama です。 MOSHではバックエンドAPIの実行環境としてAWS Lambdaを利用しています。 いわゆるServerless環境は、サービス運用の手間を大幅に削減できる一方で、Cloud-nativeな環境のため、開発時に実際の環境と差異が生じ、動作確認が難しくなる場面があります。 開発しようとしていたもの MOSHでは、それまで決済プロバイダーとして Stripe を使用していましたが、新たに Fincode も利用できるようにしようとしていました。 さらに、DynamoDBに保存していた決済関連のデータを、より厳密な型の制約を持たせられるRDSへ移行 することも、このタイミングで進めることにしました。[1] その当時の問題点 この項目だけで3記事ほど書けるほどの複雑な経緯がありますが、要約すると以下のような問題がありました。
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は「Terraformで構築する機械学習ワークロード」ということで、Lambdaを使って物体検出モデルの１つであるYOLOXの推論環境を構築していこうと思います。 構成イメージ 構成としては以下のようなものを作成していきます。 物体検出はLambda上でコンテナイメージを動かすことで実現します。 このコンテナイメージ内にMMDetectionというフレームワークをインストールしておき、その中で物体検出モデルの一つであるYOLOXを動かしていきます。 MMDetectionの説明については少しコードが古い部分もありますが、以下が参考となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際のAWSリソースへの権限は、aws-vaultで環
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人でAWSアカウントを持っているとAWS利用額についてはとても気になります。 AWSには請求アラームを使って設定したしきい値を超えたらアラーム通知する機能もありますが、 日々どのくらい増えているのか把握しておきたいので毎日利用額をSlackへ通知する仕組みを作ってみました 構成 AWS Lambdaを使ってAWS利用料を取得しWebhookでSlackへ通知を行うシンプルな構成です EventBridgeで毎日 9:00に定期的な実行する Slackの設定 ① Slackに通知用チャンネルを作成する チャンネル名はわかりやすければ何で
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、今回はその処理をBatch on EC2に載せてみたいと思います。 いままでの記事は以下です。 構成イメージ 構成としては、前回とほぼ変わらないので割愛します（FargateがEC2となったのみの差分）。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際のAWSリソースへの権限は、aws-vaultで環境構築をしておきます。 aws-vaultについては以下も参考にされてください。 ホストPCとしてのバージョン情報配下です。 OS: Windows 10 バージョン22H2 docker: Docker version 24.0.2-rd, build e63f5fa te
Amazon Bedrock AgentCoreのRuntime、Built-in Tools、Gatewayを実装して試してみる - NRIネットコムBlog
本記事は AWSアワード受賞者祭り 8日目の記事です。 ✨🏆 7日目 ▶▶ 本記事 ▶▶ 9日目 🏆✨ はじめに 1. AgentCore Runtime 主な特徴 ローカルで実行してみる AWSへのデプロイ 2. AgentCore Built-in Tools 主な特徴 ツール単体で実行してみる コード 実行結果 ライブラリの確認 AgentCore Runtimeから使ってみる コード 出力結果 3. AgentCore Gateway 主な特徴 LambdaからGatewayを作成する Lambda関数の作成 コード Gatewayの作成 Strands Agentsから使ってみる コード 実行結果 おわりに はじめに AWS Summit New York City 2025で、Bedrock AgentCoreというサービスが発表されました。 aws.amazon.com
sam init では対話的に設定の入力を求められるため、ミニマムな設定で構築をしていきます。以下のもの以外はデフォルト(=何も入力せずEnter)で構いません。 テンプレートソース : 1 - AWS Quick Start Templates クイックスタートテンプレート : 1 - Hello World Example ランタイム : 17 - python3.12 パッケージタイプ : 1 - Zip プロジェクト名 : dify-tools-api (任意) CLIのインタラクションの内容も参考までに記載しておきます。 SAM CLIのインタラクション You can preselect a particular runtime or package type when using the `sam init` experience. Call `sam init --help
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
リポジトリを作成したら最初に設定すること（2022冬⛄️） - KAKEHASHI Tech Blog
本記事は カケハシ Advent Calendar 2022 10 日目の記事です。 Musubi 開発チームの加藤です。1 年ぶり ですね。 今回は「私の開発環境 2022 冬」をお送りしようと思ったのですが、今年はリポジトリをたくさんセットアップしたので、 「リポジトリを作成したら最初にすること」をお送りします1。 はじめに プロジェクトなり個人開発なりでリポジトリを作成する際、組織や開発者の中で共通して使用するツールやその設定ファイルがあると思います。 2022 年を通じて自分の中である程度型ができてきたので、それをご紹介しようと思います。 前提 Python で実装したコードを Serverless Framework で AWS Lambda にデプロイするケースをモデルとして、リポジトリを設定していきます。 初期状態は、GitHub リポジトリを作成直後のリポジトリ名が入った
0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2日目：Python 3.10新機能パターンマッチの神髄がわかる | gihyo.jp
ChatGPT/LangChainによるチャットシステム構築［実践］入門 | 技術評論社
AWS re:Invent 2022で発表された新サービス/アップデートまとめ - Qiita
Python最新情報と勉強法(3) 意外と悩むPythonの環境構築、選択肢は？
週刊AWS – 2023/4/17週 | Amazon Web Services
【AWS】Step Functionsの実行結果をSlackへ通知する - Qiita
nektos/act を使って、ローカルからGithub Actionsを動かしてみる - Qiita
Serverless環境での開発 ─ MOSHのテスト環境構築の取り組み
Terraformで構築する機械学習ワークロード（Lambda編） | DevelopersIO
AWSの利用額を毎日Slackへ通知する - Qiita
Terraformで構築する機械学習ワークロード（Batch on EC2編） | DevelopersIO
DifyとAmazon Kendraを組み合わせて社内向けRAGチャットを構築する - Qiita
Locality Sensitive Hashingを用いた大規模コーパスの準重複文書排除