技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか？ ありますよね？(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな？」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ？」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技
結婚式のエンドロールを当日作った話
結婚のお礼と報告 でちょこっと書いた結婚式エンドロールをその場で作ってみたのお話 注意事項# 結婚式のエンドロールを自作したりするには結婚式場の協力が必須です。 作り出す前に式場に必ず確認を取りましょう。 PCからそのままプロジェクトにだせばいいじゃん！と思い込むのだめです(自戒) 動機# エンドロールを式場にお願いしようと思ったら高かったので、最近のイケてるサービスとか適当にガッチャンコすれば作れると思った。 今は反省している。 全体の構成# LINE Botに参加者から画像投稿を投げてもらう S3に保存すると同時に投稿者情報をDynamoDBに保存 投稿された画像にDynamoDBの投稿者情報から名前を追記 画像を全部結合して動画化し、事前に生成したエンドロールで必要な部分を結合 式の最後に流してもらう 全体の構成はこんな感じです。 サーバーレスアーキテクチャのお勉強がてら作ろうとした
サーバーレスアーキテクチャで翻訳 Web API を構築するハンズオンをやってみた | DevelopersIO
サーバーレスアーキテクチャを基礎から復習したかったです。手を動かしたい派なので初心者向けのハンズオンをやってみました。なにを復習したら良いのかはやってみてから考えることにしました。 以下の構成を手を動かして作ります。 画像引用: ハンズオンのアンケート回答後にダウンロードできる資料より やってみた感想 2019年に収録されたハンズオン動画のため一部マネージメントコンソールのUIに変更は見られるものの構築する上では支障はありませんでした（2021年11月現在） API Gateway プロキシ統合のLambda（Python）と、SDKを使い他のAWSサービスの呼び出しを試せる 以下のサービスの連携を簡単に体験したい初心者にオススメ API Gateway Lambda Translate DyanamoDB ハンズオンを完走するまでの所要時間は約1時間30分でした ハンズオン記事のリンク
DB設計レビューの負荷を7割削減 ── Slack × Bedrockで実現した自動化の仕組み - ZOZO TECH BLOG
はじめに こんにちは、SRE部カート決済SREブロックの伊藤（@_itito_）です。普段はZOZOTOWNのカート決済機能のリプレイス・運用・保守に携わっています。また、データベース（以下DB）領域でのテックリードを担っており、DBREとしてDB周りの運用・保守・構築に関わっています。 弊社のDBRE活動については、以前次の記事で紹介しました。 techblog.zozo.com この活動の中で、DBのテーブル定義の設計レビューを行っています。この運用にAWSのBedrockを用いて自動化を組み込んだ取り組みを紹介します。 目次 はじめに 目次 背景・課題 DB設計レビューの課題 レビュー工数と「トイル化」の問題 開発者によるガイドライン遵守度のばらつき DBレビューフローの変更方針 自動レビューBotの設計・実装 技術選定 作成するレビューシステムとSlackとの連携 Confluen
はじめに こんにちは、retail HUBで Software Engineer をしているほんだです。 今回は私が現在着手している事業譲渡されたアプリを社内で持続的なプロダクト開発を行える状態にするリプレイスプロジェクトをどのように行っているか紹介しようと思います。 この記事ではリプレイスを行うにあたってどのようなことを課題に感じてその課題に対してどのような解決策をとったか主にサーバーの実装について説明しています。 ネットスーパーアプリとは 現在弊社ではネットスーパーアプリとして Web アプリとスマホアプリの二つのシステムを提供しています。 Web アプリは販促コンテンツの設定や売り上げの管理・集計を行うことが可能な管理システムと受け取り方法に応じた価格変更や送料変更にも対応し、消費者の柔軟な買い物を実現するお客様向けアプリを 17 の小売り様に、スマホアプリでは Web アプリのお客
AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 最近仕事が忙しくなると、AWSにて検証で作ったリソースを削除し忘れたことで余計な課金を発生させてしまうことが増えてきました。 自分の個人検証アカウントではAWS Budgetsを使って予算とアラートを設定していましたが、上限近くになってから気づくより毎日通知で気づくほうが良いと思ったので、今回はAWS CDKを使って作ってみました。 ※CDKをTypescriptで書く練習をしたかったという思いもあり、CDKスタックはTypescript、中のLambdaはPythonという個人的趣向に沿った組み合わせとなっています。 作るもの 以下の図のとおりです。 毎日AM9時10分（JST）にAWS料金を特定のSlackチャンネルに通知します。 作業環境は以下となります。（Python、AWS CDKの環境はすでにインストー
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
【Unit4 ブログリレー8日目】 こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 今日の記事は、タイトルのとおりgoのLambdaはコンテナイメージで管理するのがオススメって話です。 城島高原パーク（きじまこうげんパーク）は、大分県別府市の城島高原にある遊園地。本文には関係ありません。 go1.xランタイムのサポート終了 コンテナイメージにする利点 起動時間は遅くならないの？ 構成 処理本体 main.go Dockerfile 本番実行用イメージ ローカル実行用イメージ ローカルで実行 Lambdaの設定 まとめ We are hiring! go1.xランタイムのサポート終了 先日、AWS Lambdaの go1.x ランタイムのサポート2023/12/31で終了することが話題になっていました。 「なっていました」と伝聞なのは、Unit4ではすで
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
このブログはこんな方におすすめ 緊急対応の初動を早めたい リモートワーク中心になり、緊急対応中の作業分担や進捗確認が難しい Google Apps Script で緊急対応時の Slack 操作を自動化してみた の Python 版がほしい 2021年6月11日に以下のセッションに登壇しました。本ブログでは登壇中に紹介するとお伝えした関数をご紹介します。また背景についても改めて少し記載しています。 業界特化事例紹介セッション SIer編 | Slack はじめに クラスメソッドでは Slack API を活用することで、いくつかある緊急対応の初動が約30分早くなりました。 では、どのように活用して初動対応を迅速化したのでしょうか。 本ブログでは、クラスメソッドの緊急対応の一つである、AWS 不正利用対応を例に紹介します。 AWS 不正利用とは、AWS アクセスキーの漏洩などが原因で発生しま
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 2 - RAKSUL TechBlog
はじめに 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 3. アーキテキチャ及びディレクトリ構造 オニオンアーキテクチャを採用 オニオンアーキテクチャとは 誕生の背景 依存関係逆転の原則の活用 採用理由 参考になった記事 ディレクトリ構造 全体の構成 api schema apiとusecaseの間のデータ構造を提供する役割 schemaはパスオペレーション関数のリクエストとレスポンスの構造を提供する役割 usecase domain infrastructure core container_config exception 参考にしたもの まとめ はじめに ラクスルグループのノバセルで新卒2年目のエンジニアをしています田村(tamtam)です。 第1回では、AWS Lambda x FastAPIによるPythonモダンAPI開発を実現する上で役立つであろ
Pythonのデコレータを使ってAWS Lambdaを圧倒的に読みやすくする - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
基盤系システム部の梶田です。 BIGLOBEではAmazon Web Services（AWS）の活用を推進しています。AWSマネージドサービスの活用機会が増えると、イベントハンドラやフィルターとしてLambda Functionを書く機会も増えてきます。 数をこなしているうちに、Lambda Functionのイベントハンドラにはマネージドサービス毎におきまりのパターン化（お作法）があることに気づきました。 何度も現れるパターンを再利用するには、Pythonのデコレータ機能がうってつけです。このBlogではAWS CodeDeployを題材にして、Lambda Functionを簡素化していった過程をご紹介します。 最後のコードは驚くほど読みやすくなりますので、少々お付き合いください。 CodeDeployのイベントハンドラ デコレータを使ってお作法を隠蔽する おわりに CodeDepl
先日公開した「PyCon JP 2021」1日目のカンファレンスレポートはいかがでしたでしょうか？ 本レポートでは引き続き、2日目の様子をご紹介します。 PyCon JPは日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年開催される国際カンファレンスです。 PyCon JP 2021は2021年10月15日～16日のカンファレンスと2日間の会期で開催されました。 今回は16日に行われたカンファレンスの中から、注目セッションと感想について運営スタッフがレポートします。 Day2 Keynote：A Perfect match ―Mr. Brandt Bucher （nikkie） 2021年10月、PyCon JP 2021の少し前にリリースされたPython3.10。その目玉機能といえば、Structural Patte
CloudFormation 一撃で EC2 の Blue/Green Deployment の CodePipeline を構築する | DevelopersIO
準備 CodeCommitに以下をプッシュします。 なお、CodePipelineによる自動デプロイではファイル上書きデプロイを設定できないので、必要に応じて appspec.ymlで元のファイルを削除するように対応します。 ソースコード(index.html, hello.conf) appspec.yml (本稿では beforeInstall.sh を利用) ちなみに、index.html や hello.conf の素材は こちら を使っています。 参考 ## appspec.yml version: 0.0 os: linux files: - source: ./hello.conf destination: /etc/nginx/conf.d/ - source: ./index.html destination: /usr/share/nginx/html/ hooks:
February 05, 2024 · 9 mins · 1675 words Share on: X · HN Discussion on HackerNews. Last September I hopped on board with Wallapop as a Search Data Scientist and since then part of my work has been working with Solr, an open-source search engine based on Lucene. I’ve got the basics of how a search engine works, but I had this itch to understand it even better. So, I rolled up my sleeves and decided
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
はじめに 構成 作ってみた Amazon Route53によるドメイン登録 SESのドメイン認証 CloudFormationで作成するリソース Route53によるMXレコードの公開 SES受信ルール作成 メール保存用のS3バケット作成 S3に保存されたメールの内容を取得し、Slackに通知するLambda 転送設定 動作確認 困ったこと どの権限を与えればよいか分からない CloudFormationの構築手順を意識する おわりに はじめに はじめまして、入社1年目の藤本です。8月にクラウド事業推進部に配属され、AWSを用いた業務に日々奮闘しています。 私は、AWSの学習の一環として社内の勉強会に参加しています。この勉強会の内容はメールで送信されるのですが、案内のメールに気付いた人が自主的にSlackのAWSに関するチャンネルに投稿して周知する仕組みとなっています。しかし、この作業は手
2023-10-01T00:00:00.000Z 3a1e28ee-19ba-3ae8-3af1-2a2ae2cf1a2b Task timed out after 300.49 seconds Lambda を実装する上では冪等性が重要で、このようにタイムアウトが発生したとしても次に開始される処理には影響がないようにすることが求められます。が、場合によっては上記のタイムアウト時の仕様が困ったことになる場合があります。当社で Lambda を使った処理を実装している上でも、Lambda 内のある処理がされないうちにタイムアウト時間に到達してしまうことで、運用上想定していない挙動が発生してしまうことがあり、頭を悩ませていました。 Lambda を graceful にシャットダウンさせたい Python にはデコレータ[1]という概念があり、これを使うことで関数の前後に任意の処理を追加するこ
Bolt for Python + AWS Lambda & S3 で運用するほぼゼロコスト Slack アプリ - Qiita
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します 次世代プラットフォーム機能が盛り上がりつつある昨今ですが、以下の記事でも書きました通り、Bolt フレームワークも引き続きご利用いただけます。 この記事では、Bolt for Python を使ってほぼゼロコストで運用することができる Slack アプリのデザイン例についてご紹介します。 Bolt for Python とは？ Bolt とは、Slack が提供する公式の Slack アプリ開発フレームワークです。全てのプラットフォーム機能をサポートしており、Express.js のルーティング機能に似たインターフェースでリスナー関数を登録するだけで、様々なイベントに応答するインタラクティブな Slack アプリを簡単に開発することができます。
Rustのバックエンド開発の最近の動向を追う
はじめにyukiです。RustのカンファレンスであるRust.Tokyoのオーガナイザーを務めているほか、『実践Rustプログラミング入門』『RustによるWebアプリケーション開発』といった書籍を共著で執筆しました。 この記事のテーマは、近年利用が進み人気が高まるRustのバックエンド開発における動向です。前半で、現在人気のあるライブラリの動向を簡単にまとめます。次に、私が現在開発の動向に注目しているいくつかのライブラリについて紹介します。 人気のバックエンド開発ライブラリの動向Rustによるバックエンド開発[1]では、やはり最近でも次の2つのクレートが選ばれる傾向にあるようです。「デファクトスタンダード」と呼べるくらいには、そろそろなってきたのではないでしょうか。 axum actix-web 数年前であればactix-webが一強ではあったものの、近年はtokioチームが開発するax
Simplifying serverless best practices with AWS Lambda Powertools for TypeScript | Amazon Web Services
AWS Compute Blog Simplifying serverless best practices with AWS Lambda Powertools for TypeScript This blog post is written by Sara Gerion, Senior Solutions Architect. Development teams must have a shared understanding of the workloads they own and their expected behaviors to deliver business value fast and with confidence. The AWS Well-Architected Framework and its Serverless Lens provide architec
noteのMLチームで主にMLOps関係の開発をしている、むっそです。 先日「読者の行動データを用いたnote記事レコメンドのMLパイプラインツアー」という題材でMLパイプラインについてご紹介いたしました。 今回はnoteの読者の行動データを用いたnote記事レコメンドをリファクタリングした話をしたいと思います。 ※前回の記事をまだ読んでいなくても、この記事は読めます！ ホーム画面の「あなたへのおすすめ」には、ユーザーがよく読む記事に近いレコメンドがされるAWS環境にてnoteユーザーの行動データを用いたnote記事レコメンド機能を提供しております。 リファクタリング前のAWSアーキテクチャリファクタリング前のAWSアーキテクチャ(左側がnoteリポジトリ/右側がMLリポジトリ)行動データを用いたnote記事レコメンドのリファクタリングする前のアーキテクチャを大まかに分解すると、下記のプロ
ChatGPT APIをTeamsボットから使いました(AWS Lambda(Python) + API Gateway) - ヤマムギ
ChatGPT APIをTeamsボットから使いました(AWS Lambda(Python) + API Gateway) ChatGPT APIが有償で利用可能になったので、会社のTeamsボットに実装してみました。 TeamsからAPI GatewayとLambdaを使ってボットを構築した記録は、Microsoft TeamsのOutgoing Webhooksを使ってAWS Lambda(Python), Amazon API Gatewayとbotに書いています。 今回はこのLambdaからOpenAIのChatGPT APIを使ってみました。 OpenAIでAPIキーの作成 OpenAI API keysでAPIを使用するためのシークレットキーを作成しました。 OpenAIのアカウントが必要なのでない場合は作成します。 このままAPIを呼び出してみると、「You exceeded
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 | Amazon Web Services
Amazon Web Services ブログ Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 この投稿では、Brisa Robotics がアマゾン ウェブ サービス (AWS) を活用して、さまざまな車両からデータを収集、保存、処理し、顧客業務を改善する方法について説明します。 Brisa は、自動運転ではない産業機械を自動運転車両に改造して、データを収集して顧客が主要なパフォーマンス指標を追跡し、業務を改善できるようにしています。彼らの使命は、スクラップを売って新しい機械を購入する代わりに、既存のインフラを活用して古い機械を再利用することで、顧客の効率を高めることです。Brisa は、フォークリフト、パレタイザー、テレハンドラーなどのマテリアルハンドリング機器 (MHE) を強化するための独自のモジュラーロボットキットを提供しています。これらのロ
カスタムリソースでAWS IAM Access Analyzerのアーカイブルールを自動で適用してみる - NRIネットコムBlog
本記事は AWSアワード受賞者祭り 17日目の記事です。 ✨🏆 16日目 ▶▶ 本記事 ▶▶ 18日目 🏆✨ はじめに アーカイブルールとは アーカイブルール概要 アーカイブルールを作成しても既存の結果には適用されない カスタムリソースによるアーカイブルールの適用 カスタムリソースとは カスタムリソースの実行タイミング CloudFormationに対してレスポンスが必要 テンプレート CloudFormationテンプレート ダミーパラメータを設定する ServiceTimeoutを利用する カスタムリソースのLambda関数のコード デプロイ手順 終わりに はじめに こんにちは、藤本です。 この度、「2025 Japan AWS Jr. Champions」、「2025 Japan All AWS Certifications Engineers」に選出いただきました。 「2025
こんにちは、ニーリーの佐古です。 現在開発速度や開発者体験の向上のため、取り組みの諸々を遂行しています。 Celeryの"接ぎ木" もともと弊社プロダクトではバッチの実行などにCeleryを利用していた経緯もあり、 高速化のために処理の並列化を考えると あるCelery TaskからべつのCelery Taskに処理を逃がすことが起きます。 これ自体は発想として割と自然なのですが、以下の問題があります。 単純に実装しづらい(特にWeb側) Webリクエストなどバッチ以外のエントリポイントから、 気軽に並列処理を書こうとするとCeleryの構成や制約が邪魔になるのです。 非同期実行を行うには明示的なTask定義とapply_async()が必要で、 依存関係やエラーフローの扱いも暗黙的です。 エラーハンドリングというかエラー検知自体が困難 Task間の例外伝播がされず、モニタリングやトレース
【Python】仕組みを理解してログ出力を使いこなす
Pythonでログ出力といえば、標準モジュールの logging を利用する方法が一般的ですね。ググって出くるブログ記事を読めば、なんとなくの理解でも使えてしまうので、しっかりと仕組みを理解せずとも使えてしまいますし、それでも問題ないケースも多いと思います。 ただし、少し凝ったことをしようとするならば、一度Pythonのロギングの仕組みを抑えておいたほうが圧倒的に実装が楽になります。今回はloggingモジュールの仕組みを理解したうえで使いこなすこと目的に、図解やコードを交えて分かりやすく解説していきます。 Pythonがログを出力する仕組み まずは、ログ出力機能を実装するオブジェクトたちの機能・役割を整理します。 オブジェクト 機能・役割 ログレコード（logging.LogRecord） ログ出力されるメッセージそのものの情報を持つ。ロガー間でやり取りされるのはこのログレコードである。
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
はじめに PythonでHTTPリクエストを大量に非同期で投げる方法を探していました。requestモジュールはどうも対応していない様子なので、aiohttpを使うしかないのか…？と諦めていたところ、どうやらHTTPXが良さそうなので、試してみました。 What's HTTPX? HTTPXはDjango REST frameworkや、Starlette、Uvicornと同様に管理しているEncode社が管理しているプロダクトのようです。 HTTPX is a fully featured HTTP client library for Python 3. It includes an integrated command line client, has support for both HTTP/1.1 and HTTP/2, and provides both sync and a
CloudFormation一撃で作るAWS料金通知ツール(Email/Slack/LINE対応) | DevelopersIO
以前本記事で使用していたLINE Notifyが2025/3/31にサービス終了します。 代わりにLINE Messaging APIへ通知するよう構築手順及びCloudFormationテンプレートを更新したので、今後はこちらをご利用ください。 https://developers.line.biz/ja/news/2024/10/07/line-notify-will-be-discontinued/ こんにちは、つくぼし(tsukuboshi0755)です！ 以前以下のブログで、利用しているAWS料金を毎日LINEに通知するツールを構築しました。 上記ブログは様々な方々から大きな反響を頂いた一方で、以下のような課題もありました。 AWS SAMの利用を前提とするため、ローカル開発環境の構築が別途必要 通知間隔として毎日しか指定できない 通知先としてLINEしか指定できない LINE
こんにちは、コンサル部＠大阪オフィスのTodaです。 Amazon Simple Email Service(以降SES)は任意のアプリケーションからメール配信をする際、おすすめのサービスになります。 メール配信はエンドユーザ様から指定頂いた、メールアドレスに対しておこないますが、入力ミスによる受信失敗(バウンスメール)、迷惑メール報告(苦情メール)が発生する場合があり管理が必要になります。 今回は、簡易に運営者側でバウンスメールに気づける方法を試してみます。 バウンスメール対策の重要性 SESではサービスを利用して送信したメールの中でバウンスメールと苦情メールの計測をしており、一定以上になった場合、レビュー対象や配信の停止がおこなわれます。処理を維持をするためバウンスメールの対応が必要になります。 ■ バウンスに関するよくある質問 から引用 https://docs.aws.amazon
こんにちは、子供の寝かしつけ後の歩き方がほぼASIMOになる志水です。 手動で構築したAWSリソースをIaCで利用したいケースは、IaCを導入するタイミングや導入後急ぎの運用で手動追加したタイミングなどで出てきます。 そのとき真っ先に浮かぶIaCツールはTerraformかと思われます。 Terraformだと terraform import でインポートでき、 terraform plan で差分確認をして対象のリソースとコードの差を見つつ取り込みが可能です。また、 terraform show でインポート後のリソースのコードを確認してコードに落とし込めるので、取り込みも容易です。このようにTerraformでの取り込みの開発体験はすごく良く出来ています。 しかし、CDKを使いたいのです。TerraformよりCDKが好きなのです。もうfor_eachやdynamicを使いたくないし
今更ですが今年の2月に spaCy 3.0 が公開されました。 3.0 で導入された新機能の中で目玉と言えるのは、やはり Hugging Face Transformers (以下、単にTransformers) のサポートや PyTorch, Tensorflow との連携になるでしょう。今回はその辺りを実際に学習を動かしながら紹介したいと思います。 1. はじめに 今回は今年の2月に公開された spaCy 3.0 の話です。 spaCy は第4回でも紹介しましたが、研究者向けというよりは自然言語処理アプリ開発者向けのオープンソース自然言語処理ライブラリになります。日本語を含めた様々な言語の学習済みモデルが存在しており、 spaCy をインストールして、学習済みモデルをダウンロードするだけで、分かち書き、品詞や依存関係の推定、単語や文の類似度の判定など様々な機能を使用することができます。
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる - Qiita
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる TL;DR LangChainを使って Slack 用のチャットボットを作ってみました。AI/ML モデルは OpenAI API(text-davinci-003)を利用しています。LangChain の Memory 機能を利用しており、会話の履歴も考慮して返信することができます。この際、OpenAI 側のモデルの入力トークン制限が問題になりますが、ConversationSummaryBufferMemoryを利用することで、一定のトークン数を超える履歴は要約して保持するようになっています。 また、バックエンドの実装では AWS Lambda を利用しています。Lambda はサーバレスであるため会話の履歴をメモリ上に保持することができませんが、DynamoDB に La
Terraform実行ユーザー用の最小権限の原則を支援するPike触ってみた | フューチャー技術ブログ
はじめにTIG 真野です。Terraform連載2025の2日目です。 Pikeを触ってみた記事です。 PikeとはPike は James Woolfendenさんによって開発されたTerraformのコードを静的解析し、その terraform apply に必要な最小権限の原則に則ったIAMポリシーを生成するツールです。直接 .tf のコードをスキャンするというところが、良さそうと思ったポイントです。 Terraformを用いてインフラ構築する際には、強めの権限（本来は不要であるサービスの作成権限など）を付与して行うことが多いと思います。そのため、万が一のセキュリティ事故や誤操作で思いがけない結果に繋がる懸念がありました。しかし、最小権限の原則を忠実に守ろうとすると難易度・対応コストが高くなるため、ある程度割り切った運用を採用することが多いように思えます（もちろん、開発時は大きめを許
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
AWS LambdaからRDS Proxy経由でAmazon RDSに接続してみる - サーバーワークスエンジニアブログ
DS課の古川です。 RDS Proxyの登場により、AWS LambdaとAmazon RDS間接続のボトルネックを回避できるようになりました。 今回は、RDS Proxyを経由してAWS LambdaからAmazon RDSに接続する手順を試してます。 はじめに 最大同時接続数 LambdaとRDBの接続 RDS Proxy リソース Security Group Lambda用 RDS Proxy用 RDS用 手順 1. データベースを作成 2. 接続テスト 踏み台サーバー or Cloud9を用意 RDSに接続 テスト用のテーブルを作成 3. Secrets Managerの設定 4. RDS Proxyの起動 5. Lambda関数の作成 serverless.yml lambda_rds_proxy.py 6. Lambdaを実行 気をつけるポイント 参考 はじめに 最大同時接続
この記事の概要 プログラミング初学者です。 2021年7月13日にPythonの勉強を始めて、2021年8月29日にPython 3 エンジニア認定基礎試験に合格しました。 この7週間は日々頑張ってたなーと思っているので、その経過を記録しておこうと思って書いた記事です。 前提 Pythonを勉強する前の私のスペック 文学部卒 30代前半 女性 今の勤務先（非IT系）に2021年6月に就業し、社内SEみたいな人の後継者になることを前提にOJTを受けている。 父の影響でPC自作もするので、文系だがコンピュータ全般に関してぼんやりとした知識がある。 HTMLの基本を理解しているが、知識は00年代で止まっている。 コマンドプロンプトにコマンドを打つとコマンドに定義された命令が実行されるということが分かっている。 Wordやテキストエディタで文字列を検索・置換するための正規表現が分かっている。 夫が
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットスーパーアプリ GraphQL から REST へ移行始めました - every Tech Blog
goのLambdaはコンテナイメージでよくない? - エムスリーテックブログ
Python で緊急対応時の Slack 操作を自動化してみた | DevelopersIO
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
2日目：Python 3.10新機能パターンマッチの神髄がわかる | gihyo.jp
A search engine in 80 lines of Python
Amazon SESのメール受信機能を使って、定型業務を自動化してみた - NRIネットコムBlog
Lambda が timeout する際に graceful に落としたい日々だった
読者の行動データを用いたnote記事レコメンドをリファクタリングした話｜むっそ
RxPYを部分的に導入するにあたって - Nealle Developer's Blog
Pythonで使える！非同期対応のRequestsモジュールとしてのHTTPX
SESでバウンスメールを確認する方法をいくつか試してみた | DevelopersIO
CDKインポートの実力はどうなのか？ 〜我々調査隊はアマゾンの奥地へと向かった〜 - NRIネットコムBlog
はじめての自然言語処理 spaCy 3.0 で Transformer を利用する | オブジェクトの広場
最近やってるLambdaとAPI Gatewayの開発方法の話
プログラミング初学者が7週間でPython 3 エンジニア認定基礎試験に合格するまでの記録 - Qiita