技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか？ ありますよね？(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな？」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ？」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技
AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 最近仕事が忙しくなると、AWSにて検証で作ったリソースを削除し忘れたことで余計な課金を発生させてしまうことが増えてきました。 自分の個人検証アカウントではAWS Budgetsを使って予算とアラートを設定していましたが、上限近くになってから気づくより毎日通知で気づくほうが良いと思ったので、今回はAWS CDKを使って作ってみました。 ※CDKをTypescriptで書く練習をしたかったという思いもあり、CDKスタックはTypescript、中のLambdaはPythonという個人的趣向に沿った組み合わせとなっています。 作るもの 以下の図のとおりです。 毎日AM9時10分（JST）にAWS料金を特定のSlackチャンネルに通知します。 作業環境は以下となります。（Python、AWS CDKの環境はすでにインストー
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
このブログはこんな方におすすめ 緊急対応の初動を早めたい リモートワーク中心になり、緊急対応中の作業分担や進捗確認が難しい Google Apps Script で緊急対応時の Slack 操作を自動化してみた の Python 版がほしい 2021年6月11日に以下のセッションに登壇しました。本ブログでは登壇中に紹介するとお伝えした関数をご紹介します。また背景についても改めて少し記載しています。 業界特化事例紹介セッション SIer編 | Slack はじめに クラスメソッドでは Slack API を活用することで、いくつかある緊急対応の初動が約30分早くなりました。 では、どのように活用して初動対応を迅速化したのでしょうか。 本ブログでは、クラスメソッドの緊急対応の一つである、AWS 不正利用対応を例に紹介します。 AWS 不正利用とは、AWS アクセスキーの漏洩などが原因で発生しま
Bolt for Python + AWS Lambda & S3 で運用するほぼゼロコスト Slack アプリ - Qiita
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します 次世代プラットフォーム機能が盛り上がりつつある昨今ですが、以下の記事でも書きました通り、Bolt フレームワークも引き続きご利用いただけます。 この記事では、Bolt for Python を使ってほぼゼロコストで運用することができる Slack アプリのデザイン例についてご紹介します。 Bolt for Python とは？ Bolt とは、Slack が提供する公式の Slack アプリ開発フレームワークです。全てのプラットフォーム機能をサポートしており、Express.js のルーティング機能に似たインターフェースでリスナー関数を登録するだけで、様々なイベントに応答するインタラクティブな Slack アプリを簡単に開発することができます。
Rustのバックエンド開発の最近の動向を追う
はじめにyukiです。RustのカンファレンスであるRust.Tokyoのオーガナイザーを務めているほか、『実践Rustプログラミング入門』『RustによるWebアプリケーション開発』といった書籍を共著で執筆しました。 この記事のテーマは、近年利用が進み人気が高まるRustのバックエンド開発における動向です。前半で、現在人気のあるライブラリの動向を簡単にまとめます。次に、私が現在開発の動向に注目しているいくつかのライブラリについて紹介します。 人気のバックエンド開発ライブラリの動向Rustによるバックエンド開発[1]では、やはり最近でも次の2つのクレートが選ばれる傾向にあるようです。「デファクトスタンダード」と呼べるくらいには、そろそろなってきたのではないでしょうか。 axum actix-web 数年前であればactix-webが一強ではあったものの、近年はtokioチームが開発するax
Simplifying serverless best practices with AWS Lambda Powertools for TypeScript | Amazon Web Services
AWS Compute Blog Simplifying serverless best practices with AWS Lambda Powertools for TypeScript This blog post is written by Sara Gerion, Senior Solutions Architect. Development teams must have a shared understanding of the workloads they own and their expected behaviors to deliver business value fast and with confidence. The AWS Well-Architected Framework and its Serverless Lens provide architec
noteのMLチームで主にMLOps関係の開発をしている、むっそです。 先日「読者の行動データを用いたnote記事レコメンドのMLパイプラインツアー」という題材でMLパイプラインについてご紹介いたしました。 今回はnoteの読者の行動データを用いたnote記事レコメンドをリファクタリングした話をしたいと思います。 ※前回の記事をまだ読んでいなくても、この記事は読めます！ ホーム画面の「あなたへのおすすめ」には、ユーザーがよく読む記事に近いレコメンドがされるAWS環境にてnoteユーザーの行動データを用いたnote記事レコメンド機能を提供しております。 リファクタリング前のAWSアーキテクチャリファクタリング前のAWSアーキテクチャ(左側がnoteリポジトリ/右側がMLリポジトリ)行動データを用いたnote記事レコメンドのリファクタリングする前のアーキテクチャを大まかに分解すると、下記のプロ
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 | Amazon Web Services
Amazon Web Services ブログ Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 この投稿では、Brisa Robotics がアマゾン ウェブ サービス (AWS) を活用して、さまざまな車両からデータを収集、保存、処理し、顧客業務を改善する方法について説明します。 Brisa は、自動運転ではない産業機械を自動運転車両に改造して、データを収集して顧客が主要なパフォーマンス指標を追跡し、業務を改善できるようにしています。彼らの使命は、スクラップを売って新しい機械を購入する代わりに、既存のインフラを活用して古い機械を再利用することで、顧客の効率を高めることです。Brisa は、フォークリフト、パレタイザー、テレハンドラーなどのマテリアルハンドリング機器 (MHE) を強化するための独自のモジュラーロボットキットを提供しています。これらのロ
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
こんにちは、子供の寝かしつけ後の歩き方がほぼASIMOになる志水です。 手動で構築したAWSリソースをIaCで利用したいケースは、IaCを導入するタイミングや導入後急ぎの運用で手動追加したタイミングなどで出てきます。 そのとき真っ先に浮かぶIaCツールはTerraformかと思われます。 Terraformだと terraform import でインポートでき、 terraform plan で差分確認をして対象のリソースとコードの差を見つつ取り込みが可能です。また、 terraform show でインポート後のリソースのコードを確認してコードに落とし込めるので、取り込みも容易です。このようにTerraformでの取り込みの開発体験はすごく良く出来ています。 しかし、CDKを使いたいのです。TerraformよりCDKが好きなのです。もうfor_eachやdynamicを使いたくないし
今更ですが今年の2月に spaCy 3.0 が公開されました。 3.0 で導入された新機能の中で目玉と言えるのは、やはり Hugging Face Transformers (以下、単にTransformers) のサポートや PyTorch, Tensorflow との連携になるでしょう。今回はその辺りを実際に学習を動かしながら紹介したいと思います。 1. はじめに 今回は今年の2月に公開された spaCy 3.0 の話です。 spaCy は第4回でも紹介しましたが、研究者向けというよりは自然言語処理アプリ開発者向けのオープンソース自然言語処理ライブラリになります。日本語を含めた様々な言語の学習済みモデルが存在しており、 spaCy をインストールして、学習済みモデルをダウンロードするだけで、分かち書き、品詞や依存関係の推定、単語や文の類似度の判定など様々な機能を使用することができます。
Terraform実行ユーザー用の最小権限の原則を支援するPike触ってみた | フューチャー技術ブログ
はじめにTIG 真野です。Terraform連載2025の2日目です。 Pikeを触ってみた記事です。 PikeとはPike は James Woolfendenさんによって開発されたTerraformのコードを静的解析し、その terraform apply に必要な最小権限の原則に則ったIAMポリシーを生成するツールです。直接 .tf のコードをスキャンするというところが、良さそうと思ったポイントです。 Terraformを用いてインフラ構築する際には、強めの権限（本来は不要であるサービスの作成権限など）を付与して行うことが多いと思います。そのため、万が一のセキュリティ事故や誤操作で思いがけない結果に繋がる懸念がありました。しかし、最小権限の原則を忠実に守ろうとすると難易度・対応コストが高くなるため、ある程度割り切った運用を採用することが多いように思えます（もちろん、開発時は大きめを許
[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
Lambda でバッチ処理を構築する際のエラー通知パターン 5選 - サーバーワークスエンジニアブログ
はじめに パターン1. 直接Publish パターン メリット デメリット パターン2. DLQパターン メリット デメリット パターン3. 失敗時送信先パターン メリット デメリット パターン4. メトリクスフィルターパターン メリット デメリット パターン5. サブスクリプションフィルターパターン メリット デメリット 各パターン比較表 まとめ はじめに アプリケーションサービス部の宮本です。 お仕事でLambda を使ったバッチ処理を構築することが多いのですが、バッチ処理でエラーが発生した場合、通知が必要なケースが大半です。そこで通知の方法について、幾つかパターンがあるので纏めてみることにしました。 イメージとしては以下の様なバッチ処理です。条件に当てはまらない場合は別のアプローチもご検討ください。 ここでいうバッチ処理のイメージ 実行頻度は1日数回程度以下。 失敗すると何かしらの業
AWS Lambda Powertools TypeScript がbeta releaseされたので触ってみた。 | DevelopersIO
AWS Lambda Powertools TypeScript がbetaリリースされたと古巣のCDOが教えてくれたので触ってみました? AWSの中の人のツイートはこれです。 I am ✨thrilled✨ to announce that the beta release of AWS Lambda Powertools TypeScript is public? It provides a suite of utilities for Node.js Lambda functions to ease the adoption of best practices such as tracing, structured logging, custom metrics ✨https://t.co/6xYpOEY5zM — Sara Gerion (@Sarutule) January 5,
はじめに お疲れ様です。矢儀 @yuki_ink です。 こちらのAWS公式ハンズオンをやってみました。 ECSとFargate/EC2を利用した環境構築から、CI/CDパイプラインを利用したデプロイまで、一通り体験できる素晴らしいハンズオンでした。 次のようなみなさんにおすすめです。 ECSを知識として知ってはいるが、実際に触ったことがない コンテナの何が優れているのか、実感を持っては理解できない CI/CDパイプラインでコンテナをデプロイしてみたい ハンズオンで構築する環境の構成イメージはこちら。 1. VS Code Serverの構築 このハンズオンでは、開発環境として Visual Studio Code Server (VS Code Server) を利用するとのことで、まず、CloudFormationでVS Code Serverを構築していきます。 ハンズオンページの
DevelopersIO 2023 にて「AWS Lambdaは俺が作った」というタイトルで発表しました #devio2023 | DevelopersIO
CX事業本部@大阪の岩田です。 2023年7月7日・7月6日に開催されたDevelopersIO 2023、2023年7月19日に開催されたDevelopersIO 2023大阪にて「AWS Lambdaは俺が作った」というテーマで登壇させて頂きました。 登壇資料 登壇資料はこちらです 「AWS Lambdaは俺が作った!!」とは？ まずセッションタイトルの意味するところについての説明です。皆さんお分かりだとは思いますが、私は実際にLamdbaを作ったわけではありません。 AWS LambdaはFirecrackerによって支えられている → Firecrackerを作った人はAWS Lambdaを作った人と言えるのではないか？ → FirecrackerはOSSであり、誰でもコントリビュート可能 → Firecrackerにコントリビュートすれば「AWS Lambdaは俺が作った!!」と
Amazon SQSを使ってAWS Step Functionsで長時間かかる処理が終わるのを待つ | DevelopersIO
AWS Step Functionsの中に（外部APIの呼び出しなどで）長時間かかることもある処理がある場合に、その処理の結果を待ち、重複を防ぐために処理中は新しい処理のリクエストをしないという仕組みが必要になり、実装してみました。 重複の発生する実装（SQS未使用の実装） 次の手順で1分毎に実行するStep Functionsを定義します。 $ sls create --template aws-python3 --path sample-app $ cd sample-app $ sls plugin install -n serverless-python-requirements $ sls plugin install -n serverless-prune-plugin $ sls plugin install -n serverless-step-functions $ sl
Create rule を押します。 作成したあとは inactive 状態なので、Set as active を押します Set as active を押します。 メールを SES に送信 ここまでの設定で、送信したメールが無事に S3 に保存されるか確認します。Gmail で適当にメールを送信します。 S3 上にファイルが保存されています。この中にメール本文や添付ファイルが含まれています。 Lambda 関数作成 S3 に保存されるメールデータの中から、メールの本文と添付ファイルを抜き出す処理を行います。S3 にメールデータが置かれたことをイベント通知で検知して、Lambda 関数を起動します。次の Python コードで、Lambda 関数を適当に作成します。 行っている内容は、ざっくり以下の通りです。 S3 イベント通知をトリガーに Lambda 関数を起動する Lambda 関数
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
This is my solution which is highly based on a great AWS employee (Alfredo J). Most likely if you are reading this article, you might know this is not something possible to do without a workaround in AWS. You might think of using a scheduled task or complex solutions but after a while, Alfredo from Mexico supported me to bring this solution to all of you. First, create a Policy using the JSON opti
AWS Lambda Powertools for TypeScriptがGAされたので試してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 このたび、AWS Lambda Powertools for TypeScriptがついにGAされました。 AWS Lambda Powertools for TypeScript is now generally available AWS Lambda Powertoolsは、Lambda Functionに対してサーバーレスのベストプラクティスを適用できるユーティリティで、AWS LabsからOSSとして提供されています。 awslabs/aws-lambda-powertools-typescript: A suite of utilities for AWS Lambda Functions that makes structured logging, creating custom metrics asynchronously
AWS Lambdaがコンテナイメージをサポートしたので、Detectron2 を使って画像認識(Object Detection)を行うAPI を作る - Qiita
この記事はFusic Advent Calenderの5日目の記事です。 昨日は @ayasamind さんの PHP8+ Laravel8 + laravel-generatorで簡単CRUD作成からユニットテストまで書く でした。 @ayasamind さんといえば、先日大いにバズった Geeks Bar Tenjin を企画した偉大なお方です。 月イチで開催されるらしいので、福岡にお立ち寄りの際は、ぜひ開催日を確認してみてください！ やったこと AWS Lambda 上でDetectron2 を実行し、画像にバウンディングボックスを付けます。 はじめに 現在絶賛開催中の、AWS Re:Invent にて、AWS Lambda がコンテナイメージをサポートする という発表がありました。今までは様々な制約があり、AWS Lambda では動かせない処理がありましたが、今回の発表により実質
ログ出力のフォーマッター logging.Formatter(fmt) で指定可能な、１０種類以上のフォーマットの出力例です。 『どのようなログ表示が出来るのか？』を確認したくて、コードを書いて試しました。 フォーマットの種類は、Python マニュアルの『LogRecord 属性』に載っていたものを試しました。 (Python) LogRecord 属性（ログレコード属性） 日付、時刻、関数名などのほかに、行番号やプロセス ID まで、自動でログに付加することができました。 それらの出力例（実行結果）を紹介します。 （2024年4月14日追記）logging.basicConfig() でロギング設定をするコード例は、以下のページに書きました（普通のシングルプロセス処理とマルチスレッド処理とマルチプロセス処理でログを記録するコード例です）。 ⇒ logging.basicConfig()
AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 この記事は “Define and run Machine Learning pipelines on Step Functions using Python, Workflow Studio, or States Language” を翻訳したものです。 機械学習(ML)のパイプラインや有向非巡回グラフ(DAG)を定義して実行する際には、様々なツールが利用可能です。一般的な選択肢としては、 AWS Step Functions、Apache Airflow、KubeFlow Pipelines(KFP)、TensorFlow Extended(TFX)、Argo、Luigi、Amazon SageMaker Pipelines などがあり
週刊Railsウォッチ: DI的な書き方が必要なとき、脆弱性学習用アプリRailsGoat、brakemanは優秀ほか（20210705前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 今回も以下の公式更新情報の続きを追います。次の更新情報も出ましたね。 更新情報: Rails 6.
Amazon SageMaker による動画内のスポーツハイライトの自動検出 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker による動画内のスポーツハイライトの自動検出 この記事は、”Automatically detect sports highlights in video with Amazon SageMaker” を翻訳したものです。 動画からハイライトを抽出するのは、時間がかかり、複雑なプロセスです。この記事では、機械学習（ML）ソリューションを使用して、オリジナルの動画コンテンツからハイライト動画を自動的に作成する、スポーツイベントのインスタントリプレイに関する新たな取り組みを紹介します。ハイライト動画はダウンロード可能で、ユーザーが Web アプリで継続して視聴することができます。 Amazon SageMaker を使用して、ノーカットのスポーツ動画 (今回はサッカーの試合) を分析し、元の動画のハイライト (ペナ
組織内のデータを使ってLLMによるチャットシステムを導入したいと考えたとき、ある程度実データを集めて関係者に実際に使ってもらいながら検証やチューニングを進めるのが良いのではないかと考えています。 そこで、すぐに組織内で運用を始められるよう、導入に関して敷居が低い構成を考えプロトタイプ実装してみたので紹介します。 チャットシステムの実装 アプリケーションはChatGPT/LangChainによるチャットシステム構築［実践］入門を参考に実装しています。 以下は、プログラミング言語MojoのREADME.mdを補足情報として参照可能な状態にしてgpt-3.5-turbo-16k-0613に質問をしています。 実際の利用イメージ 全体の処理の流れは次のようになります。 システムの特徴 検証開始時点から組織内のユーザーがサービスとして利用できる。 運用コストを最低限に抑えるためServerlessな
創る、学べるの 株式会社カサレアル 公式ブログ。 エンジニア、研修講師、採用担当、マーケチームから、技術情報や会社情報をお届けします。 Home 技術情報 AWS SAM CLI と localstack を利用して Lambda をローカル実行してみよう AWS SAM CLI と localstack を利用して Lambda をローカル実行してみようはじめにLambda 開発する中で、動作確認をローカルで実行できないかと思ったことはありませんか？ そんな疑問も、AWSが提供している SAM CLI を活用することで、ローカル実行することができます。さらに、dockerを使ったlocalstack も使用することで、S3 や SecretsManager などのAWSリソースを、ローカル環境でエミュレートすることも可能です。 それでは、ローカル環境でLambdaの実行ができるように環境
AWS Compute Blog Serverless ICYMI Q1 2023 February 12, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. Welcome to the 21st edition of the AWS Serverless ICYMI (in case you missed it) quarterly recap. Every quarter, we share all the most recent product launches, feature enhancements, blog posts, webinars, live streams, and oth
FastAPIのLambdaからAWS外のサービスでキャッシュとDB構築！ + Github Actions - Qiita
概要 FastAPI、Pythonに詳しい方はご存じの方も多いかもしれません。 AWSのLambda関数と組み合わせるとどんな感じになるんだろう？と思って触り始めました。 色々学べたので、この機会に記事にしました！ こういったアーキテクチャが実現できるかな？という部分に焦点をおいています。また、可能な範囲でコストも抑える方針で進めました！ 主な目次 パート1：アプリケーション作成 インフラ構築（CDK Typescript） Lambda関数（FastAPIのアプリケーション）の作成 DBやcacheの構築の前に supabaseによるDB構築 upstashによるcache構築 パート2：GitHub Actionsと各ツールの利用 GitHub Actionsのworkflowは作ったが・・・ Ruffの利用（Linterツール） actの利用（ローカルでGitHub Actions）
boto3から無理やりSecurity Hubのセキュリティスコアを算出してみた | DevelopersIO
こんにちは、臼田です。 みなさん、Security Hubでセキュリティチェックしてますか？(挨拶 今回はタイトルの通りboto3を使って無理やりSecurity Hubのセキュリティスコアを算出してみました。 背景 AWS Security HubはAWS環境をチェックし、セキュリティの状況とスコアを出してくれる素晴らしいサービスです。以下のようにマネジメントコンソールでわかりやすく確認できます。 しかしこのセキュリティスコア表示、実はユーザー側で実行できるAPIでは取得できません。 というわけで、このスコアを頑張って自分で算出してみました。 動きを分析して戦略を考える まずはセキュリティスコアがどのような根拠に基づいてスコアを算出しているか確認しましょう。 Security Hubのセキュリティ基準の詳細画面上部の概要には2つのグラフがあります。1つはセキュリティスコアの半円グラフで、
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python で緊急対応時の Slack 操作を自動化してみた | DevelopersIO
読者の行動データを用いたnote記事レコメンドをリファクタリングした話｜むっそ
CDKインポートの実力はどうなのか？ 〜我々調査隊はアマゾンの奥地へと向かった〜 - NRIネットコムBlog
はじめての自然言語処理 spaCy 3.0 で Transformer を利用する | オブジェクトの広場
AWS公式のECSハンズオンがとても良かった!! - Qiita
SES でメール受信を行い、Lambda 関数でメール本文、添付ファイルを抜き出す - Qiita
How to schedule ECS Services in AWS easily (start/stop)
【Python】logging フォーマットの出力例（１０種類以上）
slackとAWSでLLM ChatbotをServerlessで運用する
AWS SAM CLI と localstack を利用して Lambda をローカル実行してみよう
Serverless ICYMI Q1 2023 | Amazon Web Services
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場