はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock
AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 最近仕事が忙しくなると、AWSにて検証で作ったリソースを削除し忘れたことで余計な課金を発生させてしまうことが増えてきました。 自分の個人検証アカウントではAWS Budgetsを使って予算とアラートを設定していましたが、上限近くになってから気づくより毎日通知で気づくほうが良いと思ったので、今回はAWS CDKを使って作ってみました。 ※CDKをTypescriptで書く練習をしたかったという思いもあり、CDKスタックはTypescript、中のLambdaはPythonという個人的趣向に沿った組み合わせとなっています。 作るもの 以下の図のとおりです。 毎日AM9時10分（JST）にAWS料金を特定のSlackチャンネルに通知します。 作業環境は以下となります。（Python、AWS CDKの環境はすでにインストー
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. ActionKit by Paragon - Connect to 130+ SaaS integrations (e.g. Slack, Salesforce, Gmail) with Paragon’s ActionKit API. Adfin - The only platform you need to get paid - all payments in one place, in
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用
AWS Security Hub の通知を Amazon Bedrock を使ってアクショナブルにしてみた - カミナシ エンジニアブログ
どうもセキュリティエンジニアの西川です。これがきっと私にとっての今年最後のブログです。今年の AWS re:Invent は自身の登壇があったのでほとんど楽しめませんでした。悔しいのでこうしてブログを帰ってきてからいくつか書いています。カミナシのメンバーの中で私と CTO だけは自腹で AWS re:Invent へ参加していますが、来年の飛行機もすでにとっていたりします。来年ラスベガスでお会いしましょう。 AWS re:Invent の中でもたくさんの Generative AI のセッションがありました。私自身はほとんど参加していなかったのですが、Generative AI の GameDay に出たことをきっかけに Generative AI 意外と難しくないなと思い、Security Hub の通知をアクショナブルに変えてエンジニアの誰しもが対応できるようにしてみようと思ったのが本
AWS Lambda の Python で pandas や requests を使うのに、Lambda Layer を自作する必要はない - AWS SDK for pandas を活用しよう - Qiita
AWS Lambda の Python で pandas や requests を使うのに、Lambda Layer を自作する必要はない - AWS SDK for pandas を活用しようAWSpandaslambdaLambda-Layers 概要 AWS Lambda では、マネージドに提供されている AWS レイヤーがあり、自分でビルドすることなく簡単に利用できる AWS SDK for pandas のマネージドな Lambda Leyer には、 pandas / numpy といったデータ処理系のモジュールや aiohttp / requests といった HTTP リクエスト用モジュールなど、様々なモジュールがバンドルされている (一覧は後述) AWS Lambda でこれらのモジュールを使用する方法として、多くの記事では Lambda Layer を自作する方法や第三
Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p
Rustのバックエンド開発の最近の動向を追う
はじめにyukiです。RustのカンファレンスであるRust.Tokyoのオーガナイザーを務めているほか、『実践Rustプログラミング入門』『RustによるWebアプリケーション開発』といった書籍を共著で執筆しました。 この記事のテーマは、近年利用が進み人気が高まるRustのバックエンド開発における動向です。前半で、現在人気のあるライブラリの動向を簡単にまとめます。次に、私が現在開発の動向に注目しているいくつかのライブラリについて紹介します。 人気のバックエンド開発ライブラリの動向Rustによるバックエンド開発[1]では、やはり最近でも次の2つのクレートが選ばれる傾向にあるようです。「デファクトスタンダード」と呼べるくらいには、そろそろなってきたのではないでしょうか。 axum actix-web 数年前であればactix-webが一強ではあったものの、近年はtokioチームが開発するax
Amazon Bedrockの基本情報とRuntime APIの実行例まとめ － 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog
小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 最終更新日：2024/06/21 ※AWS re:Invent 2024後の2024年末時点におけるAmazon Bedrockのモデル一覧は以下の記事で紹介しています。 Amazon Bedrock Models as of 2024 - An Analysis of the Comprehensive Model Catalog ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致しま
AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services | Amazon Web Services
AWS News Blog AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services Today, I am happy to announce the availability of AWS Cloud Control API a set of common application programming interfaces (APIs) that are designed to make it easy for developers to manage their AWS and third-party services. AWS delivers the broadest and deepest portfolio of cloud services. Builders leverage th
[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams（以降、KVS）への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz
![[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d9513cdfe28fb7a746a548b7f81ff7ebb44ba22/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-transcribe.png)
Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) | Amazon Web Services
AWS News Blog Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) March 31, 2023 – Amazon VPC Lattice is now generally available with new capabilities. Modern applications are built using modular and distributed components. Each component is a service that implements its own subset of functionalities. To make these services communicate with each other, you
Serverless development and feedback loopsWith Serverless Dagster Cloud you can develop and deploy Dagster code without setting up either a local development environment or any cloud infrastructure. When you commit a change to GitHub, a GitHub Action builds and deploys your code directly to Dagster Cloud, where you can view and interact with your Dagster objects in the UI. With Dagster Cloud, remo
立ち話から始まる業務改善、リブセンスのソリューションチーム - LIVESENSE ENGINEER BLOG
はじめに 立ち話から株価通知くん、爆誕 技術投資とソリューションチーム 越境とソリューションチーム 具体事例 株価通知くん メンション集約くん ユーザー管理システムの権限移譲 今後について はじめに 技術部インフラGの鈴木です。先日金沢競馬で最終レースで全てを取り返す体験をしたところ、久しぶりに生きていると感じました。 ところで、今回は以前こちらの勉強会にて話した内容をもとに、今年から始まった「会社に紐づくエンジニアリング」を行うソリューションチームの活動についてお話しします。 勉強会の時に使用したスライドは以下となります。 speakerdeck.com 立ち話から株価通知くん、爆誕 リブセンスはフルリモートなのでSlack上で積極的に話す文化であるWOLを実践しても、出社時と比べてどうしても雑談が少なくなりがちです。他部署等、自分と積極的に関わりのない人たちとは特にそれを感じます。 そ
こんにちは。株式会社GA technologies、Advanced Innovation Strategy Center（AISC）の三田です。 AISCではAWS Lambdaを使用することが非常に多いです。Lambdaはスケーラビリティやコスト効率が高くメリットが多いためです。 しかし一方でLambdaにはインスタンスを初回起動する際は関数の実行までに時間がかかる「コールドスタート」と呼ばれる問題も存在し、Lambdaとどう付き合っていくのがいいのかについては部内でもよく話題に上がります。 部内で出ていた仮説のひとつに Lambdaはコンテナイメージでデプロイするよりもzipでデプロイしたほうがコールドスタート時間が短いのではないか という説があります。 ファイルサイズで比較すれば、コンテナイメージとソースコードのzipでは非常に大きな差があります。AWSの公式Python3.12イ
実現したこと その1: Notion で課題を管理できるようになった IceBox, BackLog, In progress, Done の4つのステータスで課題を管理 IceBox: 課題の内容をまだ見ていない BackLog: 課題の内容を確認して所要時間を見積もった In progress: 現在取り組んでいる Done: 課題を提出した IceBox -> BackLog -> In progress -> Done の順にステータスを変更していく 課題の優先度と所要時間を見積もったら IceBox -> BackLog とする 課題に取り組み始めたら BackLog -> In progress とする 課題を管理する Notion ボードビュー その2: 新しい課題が出されたとき Notion にタイトルと期限を登録すると、Google カレンダーにも自動で同期されるようにな
CORS is a necessity for many APIs, but basic configurations can create a huge number of extra requests, slowing down every browser API client, and sending unnecessary traffic to your backend. This can be a problem with a traditional API, but becomes a much larger issue with serverless platforms, where your billing is often directly tied to the number of requests received, so this can easily double
はじめに ChatGPTのもとになっているOpenAIを使ったチャットボットを作ってる人はたくさんいるものの、ステートフルに会話を成り立たせてる例がなかったので作ってみました。 会話をデータベースに保存しないと実現できないので、割と面倒ですが、LambdaとDynamoDBを使えばそこそこシンプルに実現可能です。 初期設定 下記のような流れ。 OpenAIからキーをゲット LINEのBotを作ってキーをゲット Lambdaに関数を作る OpenAI Secret keyを取得する 下記URLから生成できる https://platform.openai.com/account/api-keys LINE あたらしいProviderをつくる Messaging API Channelをつくる 必須項目をうめる Auto replyはDisabled Greeting messagesはEna
statesunsetinwritingdate6/12/2020🌇 Sunset The sun is setting on these articles, they are still useful, but they are not the future. They are the past, and likely outdated. Read with caution. Writing code and deploying it to AWS Lambda is as easy as baking a cake (depending on the type of cake). Lambda performs the heavy lifting for you, from provisioning to scaling. But where is the magic happeni
Using the AWS Parameter and Secrets Lambda extension to cache parameters and secrets | Amazon Web Services
AWS Compute Blog Using the AWS Parameter and Secrets Lambda extension to cache parameters and secrets This post is written by Pal Patel, Solutions Architect, and Saud ul Khalid, Sr. Cloud Support Engineer. Serverless applications often rely on AWS Systems Manager Parameter Store or AWS Secrets Manager to store configuration data, encrypted passwords, or connection details for a database or API ser
Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry | Amazon Web Services
AWS Partner Network (APN) Blog Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry By Tomo Sakatoku, Principal Partner Solution Architect – AWS By Peter Yang, Sr. Partner Solution Architect – AWS SaaS Factory When developing a multi-tenant software-as-a-service (SaaS) solution, you need to ensure the solution can cater to different tenant profiles and dynamic workload
この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうございます！ただバージョンの違いがあったのか、これだけでは動かなかったため、補足という形で本記事は情報を補うものとしています。 概要サーバレスで動かすにあたって、今回はRunPod.ioを利用します。こちらでリクエストが来たタイミングでコンテナを立ち上げて、レスポンスを返すAPIを作ろうと思います。 また常時立ち上げているわけではないので、お金もかからなさそう。実際にどれくらいかかるかは後ほど検証しようと思います。今回はAPI化できた喜びを原動力として、立ち上げる方法についてわかりやすく解説します！ デプロイの流れとしてはこんな感じです！ 1.ローカルでStyle-Bert-VITS2の環境を構築する ↓ 2.Docker Hubへデプロイ ↓ 3.RunPod.io上でDocker HubのイメージをプルしてAPIを
Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB | Amazon Web Services
AWS Compute Blog Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB May 2025: This post was reviewed for accuracy. Modern software systems frequently rely on remote calls to other systems across networks. When failures occur, they can cascade across multiple services causing service disruptions. One technique for mitigating this risk is the circuit breaker pattern, wh
Effectively building AI agents on AWS Serverless | Amazon Web Services
AWS Compute Blog Effectively building AI agents on AWS Serverless Imagine an AI assistant that doesn’t just respond to prompts – it reasons through goals, acts, and integrates with real-time systems. This is the promise of agentic AI. According to Gartner, by 2028 over 33% of enterprise applications will embed agentic capabilities – up from less than 1% today. While early generative AI efforts foc
Here is a list of common data engineering interview questions, with answers, which you may encounter for an interview as a data engineer. The questions during an interview for a data engineer aim to check not only the grasp of data systems and architectures but also a keen understanding of your technical prowess and problem-solving skills. This article lists essential interview questions and answe
Build secure multi-account multi-VPC connectivity for your applications with Amazon VPC Lattice | Amazon Web Services
Networking & Content Delivery Build secure multi-account multi-VPC connectivity for your applications with Amazon VPC Lattice Introduction In this blog post, we will discuss how you can use Amazon VPC Lattice to connect your services securely, and monitor communication flows, in a simple and consistent way across instances, containers, and serverless, in a multi-account and multi-Virtual Private C
Raising code quality for Python applications using Amazon CodeGuru | Amazon Web Services
AWS DevOps & Developer Productivity Blog Raising code quality for Python applications using Amazon CodeGuru We are pleased to announce the launch of Python support for Amazon CodeGuru, a service for automated code reviews and application performance recommendations. CodeGuru is powered by program analysis and machine learning, and trained on best practices and hard-learned lessons across millions
Claude on Amazon Bedrock now available to every AWS customer
Claude is now generally available on Amazon Bedrock, the fully managed service that provides Amazon Web Services (AWS) customers with secure cloud access to foundation models and tools for building generative AI applications. This means that every AWS customer can now build with Claude, and will soon gain access to an exciting roadmap of new experiences - including Agents for Amazon Bedrock, which
How the Allen Institute uses Amazon EMR and AWS Step Functions to process extremely wide transcriptomic datasets | Amazon Web Services
AWS Big Data Blog How the Allen Institute uses Amazon EMR and AWS Step Functions to process extremely wide transcriptomic datasets This is a guest post by Gautham Acharya, Software Engineer III at the Allen Institute for Brain Science, in partnership with AWS Data Lab Solutions Architect Ranjit Rajan, and AWS Sr. Enterprise Account Executive Arif Khan. The human brain is one of the most complex st
AWS Parameters and Secrets Lambda Extensionのパフォーマンスへの影響を確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 先日AWS Parameters and Secrets Lambda ExtensionというLambda Extensionが公開されました。 SSM Parameter StoreやSecrets Managerから取得した値のキャッシュをよしなにやってくれるのがこのExtensionのメリットです。これまでも各言語でこういったキャッシュの機構を提供するライブラリが公開されていたため、これらのライブラリを利用してキャッシュを実現していた方も多いのではないでしょうか？ https://github.com/aws/aws-secretsmanager-caching-python https://github.com/aws/aws-secretsmanager-caching-java https://github.com/aws/aws-secret
Implementing AWS Well-Architected best practices for Amazon SQS – Part 2 | Amazon Web Services
AWS Compute Blog Implementing AWS Well-Architected best practices for Amazon SQS – Part 2 This blog is written by Chetan Makvana, Senior Solutions Architect and Hardik Vasa, Senior Solutions Architect. This is the second part of a three-part blog post series that demonstrates implementing best practices for Amazon Simple Queue Service (Amazon SQS) using the AWS Well-Architected Framework. This blo
Understanding and Remediating Cold Starts: An AWS Lambda Perspective | Amazon Web Services
AWS Compute Blog Understanding and Remediating Cold Starts: An AWS Lambda Perspective Cold starts are an important consideration when building applications on serverless platforms. In AWS Lambda, they refer to the initialization steps that occur when a function is invoked after a period of inactivity or during rapid scale-up. While typically brief and infrequent, cold starts can introduce addition
In 2023, we launched an AI-powered Chief of Staff for engineering leaders—an assistant that unified information across team tools and tracked critical project developments. Within a year, we attracted 10,000 users, outperforming even deep-pocketed incumbents such as Salesforce and Slack AI. Here is an early demo: By May 2024, we realized something interesting: while our AI assistant was gaining tr
Kappa Architecture is Mainstream Replacing Lambda - Kai Waehner
Real-time data beats slow data. That’s true for almost every use case. Nevertheless, enterprise architects build new infrastructures with the Lambda architecture that includes separate batch and real-time layers. This blog post explores why a single real-time pipeline, called Kappa architecture, is the better fit. Real-world examples from companies such as Disney, Shopify, Uber, and Twitter explor
MLOps foundation roadmap for enterprises with Amazon SageMaker | Amazon Web Services
Artificial Intelligence MLOps foundation roadmap for enterprises with Amazon SageMaker As enterprise businesses embrace machine learning (ML) across their organizations, manual workflows for building, training, and deploying ML models tend to become bottlenecks to innovation. To overcome this, enterprises needs to shape a clear operating model defining how multiple personas, such as data scientist
Monitoring network traffic in AWS Lambda functions | Amazon Web Services
AWS Compute Blog Monitoring network traffic in AWS Lambda functions Network monitoring provides essential visibility into cloud application traffic patterns across large organizations. It enables security and compliance teams to detect anomalies and maintain compliance, while allowing development teams to troubleshoot issues, optimize performance, and track costs in multi-tenant software as a serv
Running code after returning a response from an AWS Lambda function | Amazon Web Services
AWS Compute Blog Running code after returning a response from an AWS Lambda function This post is written by Uri Segev, Principal Serverless Specialist SA. When you invoke an AWS Lambda function synchronously, you expect the function to return a response. For example, this is the case when a client invokes a Lambda function through Amazon API Gateway or from AWS Step Functions. As the client is wa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特定のページが更新されたら通知する仕組みを作ってみた - Qiita
Dagster Cloud: 5X Faster Deployments
AWS Lambdaのコールドスタートはコンテナイメージを使うと悪化するのか｜Masayoshi Mita
学校の課題をNotionとGoogleカレンダーで管理したら絶対に忘れなくなった
Cache your CORS, for performance & profit
ChatGPT風に会話が成り立つLINEボット on AWS Lambda - Qiita
Behind the Scenes Lambda
音声合成モデルStyle-Bert-VITS2をサーバレスアーキテクチャでWeb API化する｜にょす
Data Engineer: Interview Questions
Building AI Products—Part I: Back-end Architecture