AWS Lambdaをローカルで実行する - コンテナイメージ作成不要のシンプルな方法 - Techtouch Developers Blog
はじめに テックタッチの SRE チームの tabito です。AWS IaC、Rust、最近は Terraform の AWS Provider の開発へのコミットが趣味になっています。 AWS のサーバーレスサービスの代表格である AWS Lambda。Lambda 関数を開発・運用している方も多いことと思います。 Lambda 関数を開発するときには、AWS にデプロイする前に、ローカルで動作を確認しておきたいものです。Web を検索すると、ローカルでの Lambda 関数の実行方法として、たとえば、以下のような方法が紹介されています。 コンテナイメージを作成して、そのコンテナイメージをローカルで実行する。 AWS SAM を使用して、aws sam local invoke コマンドでローカル実行する。 LocalStack を使用して、ローカル環境で AWS のサービスをエミュレ
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
AWS Security Hub の通知を Amazon Bedrock を使ってアクショナブルにしてみた - カミナシ エンジニアブログ
どうもセキュリティエンジニアの西川です。これがきっと私にとっての今年最後のブログです。今年の AWS re:Invent は自身の登壇があったのでほとんど楽しめませんでした。悔しいのでこうしてブログを帰ってきてからいくつか書いています。カミナシのメンバーの中で私と CTO だけは自腹で AWS re:Invent へ参加していますが、来年の飛行機もすでにとっていたりします。来年ラスベガスでお会いしましょう。 AWS re:Invent の中でもたくさんの Generative AI のセッションがありました。私自身はほとんど参加していなかったのですが、Generative AI の GameDay に出たことをきっかけに Generative AI 意外と難しくないなと思い、Security Hub の通知をアクショナブルに変えてエンジニアの誰しもが対応できるようにしてみようと思ったのが本
ChatGPTのAPIがオープンになったのでSlackに分身を配置した話 - Money Forward Developers Blog
※飯テロを要求する社員と飯テロするbotと飯テロにダメだしする社員戯画 ご機嫌よう、世界 なんかもう最近は猫も杓子もChatGPTじゃないですか？ 僕みたいに自然言語処理をかじっていると、社内外問わずいろんな人から「ChatGPT、どうっすか」と まるで宗右衛門町の客引きのように 声をかけられます どうもこうも、それはそれでしょう、そもそもあの子のベースになっているGPT-3.5は単純にパラメータ数がｒｙ ChatGPTのAPIがついにオープンになったのでSlack botを早速導入する ※とんでもない嘘をつくChatGPT図絵 どうもCTO室AI推進部とグループ会社HiTTOで 二股 兼務中の@ken11です。 いや今回の話は非常にシンプルで掲題の通りなんですが、冗談抜きで社内外問わずChatGPTに対する強い興味と関心のお声を頂戴しており、せっかくなのでAPIが使えるようになったならみ
[初心者向け]AWS LambdaでOpenAI API のFunction Callingを試してみた | DevelopersIO
はじめに OpenAI API のFunction Callingを触ったことがなかったため、AWS Lambdaを使いを試してみました。 Function Callingとは、ユーザーから受け取った入力から、事前に定義した呼び出すべき関数を判断して、関数の入力形式通りにJSON形式で出力する機能です。 メリットとしては、指定した型に沿ってJSON形式で出力してくれるため、外部ツールとの連携が容易な点です。 Function Callingでない場合、指定した型に沿ってJSON形式で出力するように、プロンプトを工夫する必要があったり、ユーザーの入力によっては、指定していない型で出力される可能性があります。。 ちなみに、Function Callingの動きや仕組みは、下記の記事が分かりやすかったのでご参考ください。 OpenAIアカウントAPIキーの発行 OpenAIアカウント作成後、AP
![[初心者向け]AWS LambdaでOpenAI API のFunction Callingを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c1e7d69a330d74b919a52ae9d3a24612acf3ace/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_openai_1200x630.png)
Amazon BedrockのMulti Agent Collaboration で高度なエージェント連携を実現 - Taste of Tech Topics
はじめに 最近OSSのLLMサービスが気になっているデータ分析エンジニアの木介です。 今回は2024年12月に発表された、Amazon Bedrockの「Multi Agent Collaboration」について実際にサンプルコードを動かしながら解説していきます。 aws.amazon.com Multi Agent Collaborationとは 1. 概要 Multi Agent Collaborationとは、Amazon Bedrockが提供する新機能で、複数のAI Agentが協力してタスクをこなすことができる機能です。 AWS公式ブログにあったソーシャルメディアキャンペーンの例では以下のようなものが紹介されていました。 ユーザーから受けたリクエストを、Supervisor Agentが受け取る。 コンテンツ作成を専門とするAgentに投稿の作成を依頼する。 エンゲージメント予
「DeepSeek-R1 の推論を自分のローカル デバイスで再現できるように」「わずか7GBのVRAMでアハ体験を」とのことなので、UnslothのGRPO（Group Relative Policy Optimizatin）トレーニングを試してみます。 今回は Phi-4 (14B)で試してみます。 You can now reproduce DeepSeek-R1's reasoning on your own local device! Experience the "Aha" moment with just 7GB VRAM. Unsloth reduces GRPO training memory use by 80%. 15GB VRAM can transform Llama-3.1 (8B) & Phi-4 (14B) into reasoning models. Blo
AWS Lambda でOpenAI の Whisper API を 認識精度の改善も含めて試してみた | DevelopersIO
はじめに AWS LambdaでOpenAIのWhisper APIを試してみました。 OpenAIには音声データから文字起こししてくれる「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び出すWhisper APIが存在します。日本語ももちろん対応してます。 今回は、AWS LambdaがS3バケットに保存された音声データを元にWhisper APIで文字起こしして、精度を確認してみたいと思います。 OpenAIアカウントAPIキーの発行 OpenAIアカウント作成後、APIキーの発行をします。 APIキーの発行は、アカウントの View API keys をクリックします。 Create new secret key をクリックすると、API keyが発行されますので、コピーしておきます。 S3バケット 拡張子がwavの音声ファイルをS3バケットに保存しました
AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services | Amazon Web Services
AWS News Blog AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services Today, I am happy to announce the availability of AWS Cloud Control API a set of common application programming interfaces (APIs) that are designed to make it easy for developers to manage their AWS and third-party services. AWS delivers the broadest and deepest portfolio of cloud services. Builders leverage th
[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams（以降、KVS）への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz
![[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d9513cdfe28fb7a746a548b7f81ff7ebb44ba22/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-transcribe.png)
AWS Lambda Powertools Pythonをまとめてみた。AWS Lambda Powertools Python 〜概要編〜 - Qiita
AWS Lambda Powertools Pythonとは AWS Lambda Powertools Python は、AWS Lambda関数用のユーティリティースイートで、トレース、構造化ロギング、カスタムメトリックスなどのベストプラクティスの導入を容易にします。 AWS Lambda Powertools (python) は、AWS Lambda関数の実行環境とサポートされているランタイム専用に最適化されています。Core Utilitiesの使い方については、こちらのBlogにも書かれています。 インストール方法 Powertoolsは以下の方法で利用可能です。 Lambda Layer: arn:aws:lambda:{region}:017000801446:layer:AWSLambdaPowertoolsPython:4 PyPi: pip install aws-l
python_modules.pdf
Python3 OpenCV / Pillow / pygame / Eel / PyDub / NumPy / matplotlib / SciPy / SymPy / gmpy2 / hashlib, passlib / Cython / Numba / ctypes / PyInstaller / curses / tqdm / JupyterLab / json / psutil / urllib / zenhan / jaconv Copyright © 2017-2025, Katsunori Nakamura 2025 8 19 Python ‘ .py’ Python Python Windows PSF Python py .py Enter macOS Linux PSF Python python3 .py Enter Anaconda Prompt Python p
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Amazon Web Services ブログ コンテナイメージ内でLambda レイヤーと拡張機能を動作させる この記事では、コンテナーイメージとしてパッケージ化され、デプロイされた Lambda 関数で AWS Lambda レイヤーと拡張機能を使用する方法について説明します。 以前はLambda 関数は.zip アーカイブとしてのみパッケージされていました。これにはAWS マネジメントコンソールで作成された関数が含まれます。今はLambda 関数をコンテナイメージとしてパッケージ化およびデプロイすることもできるようになりました。 Docker CLI などの使い慣れたコンテナーツールを Dockerfile を使用してイメージをローカルで構築、テスト、タグ付けすることができます。コンテナイメージを使用したLambda 関数は 10 GBのサイズまで構築することが可能です。構築したイメ
今更ですが今年の2月に spaCy 3.0 が公開されました。 3.0 で導入された新機能の中で目玉と言えるのは、やはり Hugging Face Transformers (以下、単にTransformers) のサポートや PyTorch, Tensorflow との連携になるでしょう。今回はその辺りを実際に学習を動かしながら紹介したいと思います。 1. はじめに 今回は今年の2月に公開された spaCy 3.0 の話です。 spaCy は第4回でも紹介しましたが、研究者向けというよりは自然言語処理アプリ開発者向けのオープンソース自然言語処理ライブラリになります。日本語を含めた様々な言語の学習済みモデルが存在しており、 spaCy をインストールして、学習済みモデルをダウンロードするだけで、分かち書き、品詞や依存関係の推定、単語や文の類似度の判定など様々な機能を使用することができます。
[ChatGPT]OpenAI APIでGPT-3.5系のモデル「gpt-3.5-turbo」と「text-davinci-003」をLambdaで試してみた | DevelopersIO
はじめに 巷で人気のChatGPTのAPI が提供されていますので、Lambdaを使って試してみます。 ChatGPTは、GPT-3.5系のモデルの一つである「gpt-3.5-turbo」が使用されています。 また、GPT-3.5系のモデルの一つである「text-davinci-003」のAPI が提供されていますので、こちらも試してみます。 ２つのモデルの違いは、「text-davinci-003」は、高度な自然言語処理タスクに使用される一方、 「gpt-3.5-turbo」は小規模で速度が速く、比較的簡単な自然言語処理タスクに使用されることが多い点があります。 Pythonでは、openaiライブラリが用意されているため、ローカルでライブラリをZIP化し、Lambda Layer経由でライブラリを利用します。 OpenAIアカウントの作成は省略し、APIの発行方法から、Lambdaの作
![[ChatGPT]OpenAI APIでGPT-3.5系のモデル「gpt-3.5-turbo」と「text-davinci-003」をLambdaで試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b0bf98c901ba636cbebacc15d02492fc4c92abd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F03%2Fchatgpt.png)
こんにちは、大前です。 AWS Media Blog に最近投稿された以下ブログにある、FFmpeg を Lambda レイヤーとして使用する方法が気になったので、実際にやってみました。 Processing user-generated content using AWS Lambda and FFmpeg Lambda レイヤーってなんぞ？って方は下記ブログを参照ください。 Lambda Layerの基本的な仕組みを確認する #reinvent 動画を扱うワークフローで必要となる機能は、マネージドサービスとして AWS Elemental MediaLive や AWS Elemental MediaConvert 等が提供されています。 一方で、上記では実現できない要件がある場合などは FFmpeg の使用が必要となってくるケースも考えられます。 FFmpeg を Lambda で動
日本語埋め込みモデルRuliを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
この記事はBASEアドベントカレンダーの5日目の記事です。 こんにちは！BASEのCRM３チームでバックエンド開発を担当している オリバ(@toshi_oliver)です。2022年11月に入社したので、今回が初のブログとなります。 はじめに 前提 環境構築 デプロイ おわりに はじめに devblog.thebase.in さて、今回はAWSのサーバレスサービスを代表すると言っても過言ではない、AWS Lambda（以下、Lambda）に関する記事を投稿します。 BASEのバックエンドの大部分はPHPで開発されており、システムの一部にLambdaを使用しているのですが、Lambdaのランタイムでサポートされている言語は以下となっております。 Node.js Python Ruby Java Go .NET Core ご覧の通り、PHPはサポートされておりません。 では、PHPの使用は断念
[Amazon Bedrock][LangChain] チャット会話履歴をセッション毎に記憶・保存する方法 | DevelopersIO
また、AWSのリージョンは「バージニア北部 (us-east-1)」を使用します。 (東京リージョンでは利用できるモデルが限られるため) 準備 Lambda関数の作成を始める前に、いくつか準備をします。 Bedrockの「モデル」を利用可能にする Bedrockマネジメントコンソールの「モデルアクセス」から、利用したい「モデル」へのアクセスを有効化しておきます。 Lambdaレイヤーの作成 Lambda関数の標準状態ではLangChainのPythonパッケージが含まれていないため、Lambdaレイヤーを使ってパッケージが利用できるようにします。 Lambdaレイヤーの作成と利用の方法は、下記ブログ記事を参考にしてください。 Lambda関数で使用するPythonと同じバージョンのPythonが使用できる環境で、LangChainのパッケージを含むzipファイルを作成します。 $ mkdi
![[Amazon Bedrock][LangChain] チャット会話履歴をセッション毎に記憶・保存する方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a80489873e9a00b01923977e61a5ac1f690ceac7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2Flangchain-bedrock-1200x630-1.png)
【祝GA】 Lambda ExtensionsでLambdaのログをGCPのCloud Loggingに送信してみた | DevelopersIO
CX事業本部@大阪の岩田です。先日Lambda ExtensionsがGAされました(東京リージョンはまだですが)。Lambda ExtensionsはLambdaのモニタリング、可観測性、セキュリティ、ガバナンスのための運用ツールをLambdaに統合する機能で、Lambda実行環境のライフサイクルと連動して外部のサードパーティ製品に直接ログやメトリクスを送信するといったことが可能です。 パブリックプレビュー自体は半年以上前から利用できる状態だったのですが、これまでちゃんと触れていなかったので自分の理解を深めるために簡単なExtensionを実装してみようと思い立ちました。何を作るか考えたのですが、今回はLambdaのログをGCPのCloud Loggingに送信するExtensionを作ることにしました。なおLambdaのランタイムにはPython3.8を利用しています。 Lambda
はじめての自然言語処理 文章ベクトル化モデルと ResNet50 で CLIP 風のモデルを作る | オブジェクトの広場
今回は前回の文章ベクトル化モデルを使って CLIP 風のモデルを作ります。CLIP は画像とテキストを同じ多次元ベクトル空間にエンコードするモデルで、テキストによる画像検索や Zero shot での画像分類が可能です。簡素化された（非公式）実装が公開されているので、日本語で動かして見ましょう。 1. はじめに 今回は前回の文章ベクトル化モデルを使って CLIP 風のモデルを作ります。CLIP1 は OpenAI が発表した画像とテキストを同一多次元ベクトル空間にエンコードするモデルで、テキストによる画像検索や Zero shot での画像分類が可能です。 オリジナルの CLIP は (画像,テキスト) の 4 億ペアを使い、バッチサイズ 32,768 でスクラッチから学習したようなので、とても Colab では動かせません。また公式実装2も公開されていますが、こちらは事前学習済みのモデル
[AWS SAM] Amazon CloudWatch Lambda Insightsを使って、Lambdaのパフォーマンスを見る | DevelopersIO
2020年末にGAになったAmazon CloudWatch Lambda Insightsがあります。 この機能を使えば、Lambda関数のパフォーマンスが簡単に確認できます。 メモリ使用率がギリギリになっているLambdaはあるか？ 実行時間が極端に長いLambdaはあるか？ 実行回数が極端に増えているLambdaはあるか？ など そこで、AWS SAMでAmazon CloudWatch Lambda Insightsを使ってみました。 おすすめの方 AWS SAMでAmazon CloudWatch Lambda Insightsを使いたい方 サーバーレスアプリを作成する SAM Init sam init \ --runtime python3.8 \ --name Lambda-insights-Sample \ --app-template hello-world \ --p
![[AWS SAM] Amazon CloudWatch Lambda Insightsを使って、Lambdaのパフォーマンスを見る | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
日本語埋め込みモデルRuriを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
Lambda Layerだけを更新したとき、Lambdaが参照するLayerのバージョンが追従しないのでAutoPublishAliasを止めてみた話 | DevelopersIO
AWS SAMを使ってLambdaとLambda Layerの管理をしています。LambdaではAutoPublishAliasでaliasを付与しています。 このとき、Lambda Layerのコードだけを修正してデプロイしても、Lambdaが参照するLayerのバージョンは変更になりませんでした。 本記事では、状況を確認したあと、AutoPublishAliasを未使用に変更し、Lambda Layerのコードのみを変更するとLambdaが参照するLayerのバージョンも追従することを確認します。 なお、AutoPublishAliasが未使用の場合は、$LATESTを参照するため大丈夫でした。 GitHubにIssuesがある AWS SAMのGitHubには下記のIssuesがあります。どうやら不具合みたいです。 Feature Request : When 'AWS::Serve
今回は AWS Lambda 一式の管理を、GitHub と AWS CodeBuild を用いて実装する内容で、コード込みでダラダラと説明する回です。 ぶっちゃけ、この程度の内容はいまや AI を利用すればザックリ全体を構成したり、細かいパーツを組み上げるだけになるので、記事としての価値はだいぶ下がってきたように思いますが、まぁ趣味みたいなものなので気にせず参りましょう。 目的と要点 今回の内容は、目的も実装方法も誰かに必ずしもちょうどフィットするわけではなく、ところどころで様々な選択と手法があると思いますので、１つの事例として捉えつつ各々の環境用に考察と実装をしていただければ、という感じになっています。 まず目的としては、 Lambda を Python で動かし、バージョン更新を容易にする Lambda コードは GitHub プライベート・リポジトリで管理する Lambda は A
Processing user-generated content using AWS Lambda and FFmpeg | Amazon Web Services
AWS for M&E Blog Processing user-generated content using AWS Lambda and FFmpeg In this post, we introduce a workflow to process media files stored in Amazon Simple Storage Service (Amazon S3) using AWS Lambda that doesn’t require copying files to Lambda’s local storage. Lambda is equipped with temporary storage space of 512 MB, which is often not sufficient for media processing. At the same time,
こんにちは。株式会社GA technologies、Advanced Innovation Strategy Center（AISC）の三田です。 AISCではAWS Lambdaを使用することが非常に多いです。Lambdaはスケーラビリティやコスト効率が高くメリットが多いためです。 しかし一方でLambdaにはインスタンスを初回起動する際は関数の実行までに時間がかかる「コールドスタート」と呼ばれる問題も存在し、Lambdaとどう付き合っていくのがいいのかについては部内でもよく話題に上がります。 部内で出ていた仮説のひとつに Lambdaはコンテナイメージでデプロイするよりもzipでデプロイしたほうがコールドスタート時間が短いのではないか という説があります。 ファイルサイズで比較すれば、コンテナイメージとソースコードのzipでは非常に大きな差があります。AWSの公式Python3.12イ
実現したこと その1: Notion で課題を管理できるようになった IceBox, BackLog, In progress, Done の4つのステータスで課題を管理 IceBox: 課題の内容をまだ見ていない BackLog: 課題の内容を確認して所要時間を見積もった In progress: 現在取り組んでいる Done: 課題を提出した IceBox -> BackLog -> In progress -> Done の順にステータスを変更していく 課題の優先度と所要時間を見積もったら IceBox -> BackLog とする 課題に取り組み始めたら BackLog -> In progress とする 課題を管理する Notion ボードビュー その2: 新しい課題が出されたとき Notion にタイトルと期限を登録すると、Google カレンダーにも自動で同期されるようにな
For almost a complete decade—starting with discovering Haskell in about 2009 and right up until switching to a job where I used primarily Ruby and C++ in about 2019—I would have called myself first and foremost a Haskell programmer. Not necessarily a dogmatic Haskeller! I was—and still am—proudly a polyglot who bounces between languages depending on the needs of the project. However, Haskell was m
こんにちは！最近人間ドックの結果を受けて禁ラーメン生活しましたが2週間で限界がきてる志水です。人類はラーメンから逃げることなんて出来ないんだなと痛感しております。つけ麺ならいいよね？ はじめに さて、ついにAmazon BedrockがGAされましたね！ aws.amazon.com re:Inventでくるのかなー？来年くるのかなー？ともうちょっと先のGAを思ってたので予想外でした。 じゃあBedrockで何か作らねば！と思ったので、以前作ったOtterで書き起こされた文章をChatGPTで要約するスクリプトをBedrockで作り直してみました。 ツールの背景 AWSの大きなイベントであるre:Inventは多くの情報が英語で提供されるため、英語が苦手な方にとってはハードルが高いものとなっています。 私自身も英語が得意ではないため、リアルタイムに英語の会話を文字起こししてくれるOtter
Tracing AWS Lambda functions in AWS X-Ray with OpenTelemetry | Amazon Web Services
AWS Open Source Blog Tracing AWS Lambda functions in AWS X-Ray with OpenTelemetry AWS Distro for OpenTelemetry is a secure, Amazon Web Services (AWS)-supported, production-ready distribution of the Cloud Native Computing Foundation (CNCF) OpenTelemetry project that provides open source APIs, libraries, and agents to collect distributed traces and metrics for application monitoring. OpenTelemetry i
はじめに ChatGPTのもとになっているOpenAIを使ったチャットボットを作ってる人はたくさんいるものの、ステートフルに会話を成り立たせてる例がなかったので作ってみました。 会話をデータベースに保存しないと実現できないので、割と面倒ですが、LambdaとDynamoDBを使えばそこそこシンプルに実現可能です。 初期設定 下記のような流れ。 OpenAIからキーをゲット LINEのBotを作ってキーをゲット Lambdaに関数を作る OpenAI Secret keyを取得する 下記URLから生成できる https://platform.openai.com/account/api-keys LINE あたらしいProviderをつくる Messaging API Channelをつくる 必須項目をうめる Auto replyはDisabled Greeting messagesはEna
statesunsetinwritingdate6/12/2020🌇 Sunset The sun is setting on these articles, they are still useful, but they are not the future. They are the past, and likely outdated. Read with caution. Writing code and deploying it to AWS Lambda is as easy as baking a cake (depending on the type of cake). Lambda performs the heavy lifting for you, from provisioning to scaling. But where is the magic happeni
サーバレスコンピューティングサービスであるAWS Lambdaを使って開発する際に、一つ一つの小さな関数を関連する機能でまとめて、１プロジェクトとして開発する際のであれば、CircleCI のダイナミックコンフィグを使い、追加・修正された関数だけを自動でビルド、テスト、デプロイすることができます。 SAMを使ったLambda関数の開発とは？ AWS Lambdaを使って開発する際に、AWS Serverless Application Model(AWS SAM) というフレームワークを使って、開発効率を高めることができます。AWS SAMを使うことで、Node.jsやPython, Ruby, Go, Java, .NETに対応したコンパイラ言語やスクリプト言語を使って、サーバレスの実装やビルド、デプロイを簡単に行うことができます。 例えば、Javaを使って、sam-java-appとい
CloudFormationのDynamic referencesとAWS SAMのAutoPublishAliasを組み合わせた動作を確認してみた | DevelopersIO
先日の下記アップデートを活用すれば、Lambda LayersとLambdaのデプロイをスッキリできそうだったので、実際に試してみました。 以前、AWS SAMでAutoPublishAliasを使った際の動作を試してみたので、本記事でもAutoPublishAliasを使った際の動作を確認します。 おすすめの方 AWS SAMでDynamic referencesを使いたい方 AutoPublishAliasとLambda LayerとLambdaのデプロイについて知りたい方 最初に結論 Lambda Layersのみを更新すると、Lambda Layersは更新された しかし、Lambdaの新バージョン発行とエイリアス更新はされなかった 環境 項目 バージョン 3つのCloudFormationスタックを作成する 3つのCloudFormationスタックを作成します。 Lambda
Using AWS CodePipeline for deploying container images to AWS Lambda Functions | Amazon Web Services
AWS DevOps & Developer Productivity Blog Using AWS CodePipeline for deploying container images to AWS Lambda Functions AWS Lambda launched support for packaging and deploying functions as container images at re:Invent 2020. In the post working with Lambda layers and extensions in container images, we demonstrated packaging Lambda Functions with layers while using container images. This post will t
効率的で信頼性の高いサーバーレスアプリケーションを開発するためには、AWS Lambdaの仕組みを理解することが重要です。 このブログでは AWS Lambdaの実行までの仕組みと、さまざまな条件での動作をまとめていきます。 はじめに AWS Lambda は、サーバーをプロビジョニングまたは管理せずにコードを実行できるようにするサーバーレスコンピューティングサービスです。 AWS Lambda を使用すると、インフラストラクチャ管理の重労働を AWS に任せて、コードの作成に集中できます。 AWS Lambda サービスは、必要なときだけ関数を実行し、需要に基づいて自動的にスケーリングします。 消費したコンピュート時間に対してのみ課金されます。コードが実行されていない間は料金は発生しません。 実行までの仕組み AWS Lambda 関数 関数は、Lambda でコードを実行するために呼び
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT in 60 Lines of NumPy | Jay Mody
WSL2でunslothのGPROトレーニングを試してみる｜noguchi-shoji
コンテナイメージ内でLambda レイヤーと拡張機能を動作させる | Amazon Web Services
はじめての自然言語処理 spaCy 3.0 で Transformer を利用する | オブジェクトの広場
FFmpeg をカスタムレイヤーとして Lambda 上で動かしてみた | DevelopersIO
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
AWS LambdaをPHPで
使うためのベストな方法 - BASEプロダクトチームブログ
GitHub+CodeBuildでLambdaコードとレイヤーを管理する | 外道父の匠
AWS Lambdaのコールドスタートはコンテナイメージを使うと悪化するのか｜Masayoshi Mita
学校の課題をNotionとGoogleカレンダーで管理したら絶対に忘れなくなった
Leaving Haskell behind
Amazon Bedrockで英語の会話を要約してみた - NRIネットコムBlog
ChatGPT風に会話が成り立つLINEボット on AWS Lambda - Qiita
Behind the Scenes Lambda
複数のAWS Lambda関数を１プロジェクトで開発ーコンフィグの分割と変更部分のみの実行
AWS Lambdaのまとめ： 仕組み・動作 | DevelopersIO