[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO
はじめに こんにちはAWS事業本部コンサルティング部のみなみです。 明日からre:Inventが始まりますね！ 今年もラスベガスから最新のアップデートをお届けします! アップデートですが、Cloudwatch Logsに低頻度アクセス用のログクラスInfrequent Accessが追加されました! https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-cloudwatch-logs-infrequent-access-log-class/ 忙しい人のためのまとめ 新しいログクラスInfrequent Accessの利用により、これまで高いと感じられていたデータ転送料が半額に。 ただし、Infrequent Accessは機能の制限があり、サブスクリプションフィルターやメトリクスフィルターなどの多くの機能が使えません。 既
![[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
ログベースのアラートとSlackを連携して、開発サーバーの問題を迅速に発見しよう - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2023の15日目の記事です。 こんにちは、カヤックボンドのサーバーエンジニアの松本です。 今年はカヤックグループ合同のアドベントカレンダーということで、各グループから色んな方が参戦しています。 今回は開発サーバーでの開発体験を高めるためのアラートについて紹介したいと思っています。 なお、今回の記事はGoogle CloudのCloud Loggingにエラーログを送信しているプロジェクトを対象にしています。(50GB/月、保持期間30日まで無料なのでガンガン活用すると良いと思います) はじめに Google CloudではError Reportingという自動的にモニタリング/アラートを行えるサービスがあります。 Error Reportingではエラー箇所ごとに発生回数を集計してくれたり、影響ユーザー数も集計してくれたり
devenv 1.0: Rewrite in Rust We have just released devenv 1.0! 🎉 This is a rewrite of the CLI to Python Rust, which brings with it many new features and improvements. I would like to thank mightyiam for a week-long, Rust pair-programming session at Thaiger Sprint. Note: Read the migration guide at the end of this post, as 1.0 is not entirely backwards compatible. Why rewrite twice? When I started
Deno Deploy makes it easy build and host any JavaScript app, function, or API server. Programming is faster and easier with Deno’s simple and robust APIs — web standard APIs, Node.js built-ins, and essential cloud services turned into first class JavaScript APIs, such as Deno KV (now in open beta). Your applications are run close to your users across 35 regions in the world, ensuring minimal laten
Applied LLMs - What We’ve Learned From A Year of Building with LLMs
A practical guide to building successful LLM products, covering the tactical, operational, and strategic. Also published on O’Reilly Media in three parts: Tactical, Operational, Strategic. Also see podcast. It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. And they’re getting better and cheaper every ye
困っていること EKSクラスターを、TerraformのEKS公開モジュールを使ってプロビジョニングしています。現在使っているversionは19.17.1です。クラスターのversionは1.27です。 2月初旬頃から、EKSクラスターのkube-system namespaceのConfigMap aws-auth の内容が何者かによってTerraform外で更新されるようになっており、それによってterraform planや terraform applyで以下のようなdiffが検出されることがあります。 mapRoles.groups配列内の要素順が異なる mapRoles.groups配列内の文字列が全般「"」で囲まれていない→囲まれている # module.eks.kubernetes_config_map_v1_data.aws_auth[0] will be update
dbt認定試験「dbt Cloud Administrator Certification Exam」概要を読んで何を理解しておくべきか、どんなスキルが求められるのかを把握する #dbt | DevelopersIO
Configuring dbt Cloud data warehouse connections(dbtクラウドデータウェアハウス接続の設定) Understanding how to connect the warehouse(データウェアハウスへの接続方法を理解する) dbtは下記ページ記載のデータソースに接続が可能となっています。それらデータソースへの接続方法を理解しておきましょう、というのがこのトピック。 Configuring IP whitelist(IPホワイトリストの設定) 所定の環境へのアクセスを制限する方法として「登録されたIPからのみ接続を許可する」所謂"IPホワイトリスト"がありますが、dbtに於いてもこの方式は対応可能です。 Selecting adapter type(アダプタータイプの選択) dbtを構成するコンポーネントの1つであり、dbtが(dbtでサポー
はじめに この記事では、5chスレッドのコメントを大規模言語モデル（LLM）を使って分析する手法と、その過程で遭遇した課題や解決策を紹介します。 TL;DR この記事では、5chスレッドのコメントを大規模言語モデル（LLM）を使って分析する手法と、その過程で遭遇した課題や解決策を紹介します。 分析対象のスレ → リップクリーム・リップケア総合スレ35本目 分析結果 → https://talk-analyzer.pages.dev/ 大規模言語モデルを用いたテキスト分析の応用可能性 LLMを用いたテキスト分析は、様々な業務に活用できる可能性があります。 マーケティングにおける定性分析: SNSやインタビューなどのテキストデータを分析し、顧客の価値観やニーズ、ブランドイメージなどを把握する。 企業にかかわる重要リスクの監視: ニュース記事や企業の財務報告書などのテキストデータを分析し、潜在的
Redashのバージョンを7から10にして良かったこと こんにちは、株式会社ROBOT PAYMENT（以下、ロボペイ）で請求管理ロボのCREを担当している山下です。 今までCREについていくつか記事を書いてきましたが、前回の記事で紹介したRedashのバージョンアップについて、 良かったことを書いていこうと思います。 Redashのバージョンアップ tech.robotpayment.co.jp ROBOT PAYMENTのCREを考えてみた tech.robotpayment.co.jp ① UIの大幅変更 V8からV10への変更における一番大きな違いは、ユーザーインターフェース（UI）の変更です。V10では、メニューバーが上部から左部に移動し、縦型の配置になりました。この変更により、UIはより洗練され、新鮮な印象を与えるようになりました。 UIの見やすさについては個人の感じ方や好みに
この入門記事は、「Weights & Biases」のご支援により提供されています。Weights & Biases JapanのNoteでは他にも多くの有用な記事が掲載されていますので是非ご覧ください。 1. Nejumi LLMリーダーボード Neo「Nejumi LLMリーダーボード Neo」は、日本語LLMの能力評価ランキングです。「llm-jp-eval」「MT-Bench」という2つのLLMベンチマークで評価します。 2. 評価項目評価項目は、次のとおりです。 2-1. llm-jp-eval「llm-jp-eval」は、一問一答形式の言語理解を評価するベンチマークです。12種類のデータセットを100問ずつ全1200問で正解・不正解 (0 or 1) を評価し、平均値を算出します。 ・NLI (自然言語推論): Jamp(exact), JaNLI(exact), JN
Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry | Amazon Web Services
AWS Partner Network (APN) Blog Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry By Tomo Sakatoku, Principal Partner Solution Architect – AWS By Peter Yang, Sr. Partner Solution Architect – AWS SaaS Factory When developing a multi-tenant software-as-a-service (SaaS) solution, you need to ensure the solution can cater to different tenant profiles and dynamic workload
これは Livesense Advent Calendar 2023 DAY 9 の記事です。 はじめに 今年やった案件 今年ハマった箇所と解決方法 セキュリティグループに穴空いてなかったけどバッチが正常終了したからテストOKにした ここから学んだこと secure属性あるcookieをhttpで通信しようとした ここから学んだこと ドキュメントに必要権限が書いておらずコードを追った結果強い権限をつけることになった ここから学んだこと APIにリクエストを送ったら504になったからクライアント側で分割して送った ここから学んだこと ハマりから学んだこと はじめに インフラGの鈴木です。好きな競輪選手である松井宏佑選手がG1で2着になったのが本当に悔しかったです。今後も応援を継続していきたいと思います。 ところで、今年は色々ハマったので、お焚き上げがてらブログにすることにしました。 今年やっ
[アップデート] Organizations環境のリソースアクセス制御がめっちゃ楽になる！IAMグローバル条件キーが追加されました(aws:SourceOrgID, aws:SourceOrgPaths) | DevelopersIO
[アップデート] Organizations環境のリソースアクセス制御がめっちゃ楽になる！IAMグローバル条件キーが追加されました(aws:SourceOrgID, aws:SourceOrgPaths) 以下アップデートを紹介します。 New organization-wide IAM condition keys to restrict AWS service-to-service requests AWS Organizations 環境において、 リソースベースポリシーの管理を簡素にする 新しい IAMグローバル条件キーが登場しました。 以下2つです。 aws:SourceOrgID (公式ドキュメントリンク) aws:SourceOrgPaths (公式ドキュメントリンク) 何が嬉しいか AWS Organizations 組織内における、 リソースベースポリシーの管理がめっちゃ
![[アップデート] Organizations環境のリソースアクセス制御がめっちゃ楽になる！IAMグローバル条件キーが追加されました(aws:SourceOrgID, aws:SourceOrgPaths) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0ead787fb8c991ad89bee3b2dd3ad86ba2979e63/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-organizations.png)
AWS re:Invent 2023 サーバーレスコンテナセッションガイド | Amazon Web Services
Amazon Web Services ブログ AWS re:Invent 2023 サーバーレスコンテナセッションガイド この記事は Serverless containers at AWS re:Invent 2023 (記事公開日: 2023 年 11 月 9 日) を翻訳したものです。 AWS re:Invent は、AWS によるクラウドコンピューティングに関する世界規模の「学習型」カンファレンスです。今年は、Amazon Elastic Container Service (Amazon ECS) と AWS Fargate のサービスチームが、生産性の向上、コストの最適化、ビジネスの俊敏性の向上に役立つベストプラクティスやヒントを共有します。ぜひ 11 月 27 日から 12 月 1 日まで (PST: 米国太平洋標準時)、ラスベガスにてご参加ください。 Expo ホールの
Work Log on Google Docs
自分が仕事をするにあたり使っている Work Log の様子をなんとなく文書化する試み。留意事項: 書き出す過程でなにか発見があったらいいなという意図であり、別に他人に勧めるようなものではない。特段仕事が得意な人間でもないのよ。 いわゆる仕事 work log / journal の必要性は色々な人が説いており、ツールも古くは Changelog Memo (さすがに古すぎる) から Emacs Org Mode (これも古いな) まで色々ある。（発見1: 最近の work log アプリについて自分は何も知らないすぎるのでは?) 自分は仕事での work log に Google Docs を使っている。セキュリティの決まりを守るために選んだだけで特別良いものというつもりもないが、運用次第ではそこそこ使える: 特に sync が壊れずきちんと動くのが良い。職場のデスクトップ、ラップトップ
Useful CSS Tips And Techniques — Smashing Magazine
The times for CSS have probably never been more exciting than today. In this quick read, we’ve got some useful CSS tips and techniques for you that you can apply to your work right away. Let’s dive deeper into self-modifying CSS variables, hanging punctuation, and more. If you’ve been in the web development game for longer, you might recall the days when CSS was utterly confusing and you had to co
Amazon CloudWatch Logsの異常検出をCloudFormationで設定してみた #AWSreInvent | DevelopersIO
CloudWatch Logsにログの異常検出が追加されました。 [アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO AWS が CloudWatch Logs の異常検出とパターン分析を発表 Amazon CloudWatch Logs now offers automated pattern analytics and anomaly detection | AWS News Blog Log anomaly detection - Amazon CloudWatch Logs ドキュメントのFAQによると、次のような現象があると、検出するようです。 ロググループで以前に見られなかったパターンのログイベントがある 既知のパターンに対する大きな変化がある 通常は一定の値セットを持つ動的
Lit Launch Day: Lit 3.0, Labs graduations, a compiler and more! It's launch day for the Lit project, and we have a bunch of exciting releases to share with the Lit and web components communities! After several months of development, the Lit team is happy to announce the final release of Lit 3.0 – our first major version since Lit 2.0 in early 2021, the first graduating class of Lit Labs packages @
Amazon CloudWatch Application Signals, for application monitoring (APM) is generally available - AWS
Amazon CloudWatch Application Signals, for application monitoring (APM) is generally available Today, AWS announces the general availability of Amazon CloudWatch Application Signals, an OpenTelemetry (OTeL) compatible application performance monitoring (APM) feature in CloudWatch, that makes it easy to automatically instrument and track application performance against their most important business
Storybook 7.5
Storybook is the gold standard UI workshop environment. It’s used across the industry by teams at Monday.com, The Guardian, Intuit, and many more for developing, documenting, and testing UIs. Today, we're thrilled to introduce Storybook's latest version: Storybook 7.5! It brings a range of new features that enhance the Storybook experience. Let's dive in! ⚡️ Vite 5 and Lit 3.0 support💨 2.2x faste
OpenAI Assistants APIを使わずに無限にスケールする汎用AI(仮)を開発した - LIFULL Creators Blog
KEELチーム の相原です。 前回のエントリ で我々KEELチームはKubernetesベースの内製PaaSであるKEELを開発・運用する傍ら、LLMという新たなパラダイムの台頭にあわせてベクトルデータベースの提供や周辺ソフトウェアを社内向けに開発していることを紹介しました。 www.lifull.blog あれから数ヶ月が経ち、現在私達はLIFULLのグループ会社全体に向けて汎用AI(仮)を提供しています。 もともと我々KEELチームはPlatform Engineeringの一環として、Kubernetesベースの内製PaaSであるKEELのほかにコードジェネレータによる一貫したPaaS体験を中心に様々なユーティリティをコマンドラインから提供するkeelctl, KEELが提供するプラットフォームのユーザ体験を向上させるブラウザ拡張のkeelextを開発してきました。 Platform
意図しないオブジェクトのアップロードや変更を通知する方法、または防止する方法を教えてください | DevelopersIO
困っていた内容 特定のS3バケットやオブジェクトに対して変更等があった場合に検知する方法が知りたいです。 対応方法 1. S3イベント通知でオブジェクトイベントを通知する S3オブジェクトの作成イベントや削除イベントが発生した場合に通知できます。 現在、Amazon S3 は次のイベントの通知を発行できます。 新しいオブジェクトがイベントを作成しました。 オブジェクトの削除イベント オブジェクトイベントの復元 低冗長化ストレージ (RRS) オブジェクトがイベントを紛失した レプリケーションイベント S3 ライフサイクルの有効期限イベント S3 ライフサイクルの移行イベント S3 Intelligent−Tiering 自動アーカイブイベント オブジェクトのタグ付けイベント オブジェクト ACL PUT イベント 送信先には下記サービスを選択できます。例えば、シンプルにSNSトピックを選択
clusterのリアルタイム通信サーバーの漸進的な進化 - Cluster Tech Blogを見て、リアルタイム通信の仕組みに興味を持った。しかし、MQTTプロトコルは使ったことがなく、どのようなプロトコルなのか、何がそんなに効率的なのか、なぜIoTなどでよく使われるのかなどが分からない状態だった。 そこでChatGPTを使えば自作しながらMQTTプロトコルを学べるのではないかと思い、https://github.com/shibayu36/go-mqtt-playground にて作り始めた。ひとまず簡易的にCONNECT/SUBSCRIBE/PUBLISHをハンドリングできるようになったのでメモしておく。 MQTTプロトコルの特徴 http://docs.oasis-open.org/mqtt/mqtt/v3.1.1/os/mqtt-v3.1.1-os.html のAbstractが
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる
ECS(Fargate)からTiDB Cloud(Serverless)にPrivateLink経由で接続してみた | DevelopersIO
こんにちは、ゲームソリューション部のsoraです。 今回は、ECS(Fargate)からTiDB Cloud(Serverless)にPrivateLink経由で接続してみたことについて書いていきます。 構成 プライベートサブネットにあるECS(Fargate)からPrivateLinkを経由して、TiDB Cloudのクラスターへ接続する構成です。 TiDB管理側の環境やVPCを明示的に記載していますが、ユーザー側で意識する必要はありません。 TiDB Cloudとは何か、TiDB Cloudのアカウント作成手順の説明は割愛します。 詳細については、以下記事をご参照ください。 TiDB Cloudでの準備 クラスタの作成 TiDB Cloudにてクラスタを作成します。 Tierは無料枠があるServerlessを利用し、リージョンは東京（ap-northeast-1）を選択します。 クラ
In 2023, OpenTelemetry announced that it achieved stability for logs, metrics, and traces. While this was our initial goal at the formation of the project, fulfilling our vision of enabling built-in observability for cloud native applications requires us to continue evolving with the community. This year, we’re proud to announce that exactly two years after the Profiling SIG was created at KubeCon
RDSとFivetranをPrivateLink接続し、Databricksにincremental syncする - APC 技術ブログ
はじめに GLB事業部Lakehouse部の阿部です。 今回は、FivetranとRDSをAWS PrivateLinkを使って接続し、DestinationのDatabricksワークスペースにincremental sync（差分更新）する方法を解説します。 Fivetranとは、クラウドベースのELT（Extract, Load, Transform）ツールです。 各種データソースから、DWHやSaaS型のデータストアへのデータの取り込みを簡単かつ迅速に行うために開発されました。 また、AWS PrivateLinkとはAWS同士の仮想ネットワークであるVPCに対し、ネットワーク間のトラフィックをインターネットを経由せずにプライベート接続する方法です。 FivetranはVPNやPrivate Linkなどの閉域網接続をサポートしており、本記事ではPrivateLink接続の方で進め
Mackerel で開発中のマイクロサービスを OpenTelemetry のトレースを活用してパフォーマンス改善した - Unengineered Weblog
Mackerel Advent Calendar 2023 の2日目の id:rmatsuoka です。 qiita.com 私は今年に新卒としてはてなに入社し、 Mackerel のアプリケーションエンジニアとして開発に携わっています。さて Mackerel では OpenTelemetry のメトリックに対応することが発表されました。詳しくは次のページをご覧ください。 mackerel.io 私はこの OpenTelemetry を受け取ったり、取り出したりするコンポーネントの開発をしています。入社して最初の仕事として OpenTelemetry の トレース を活用し、コンポーネントのパフォーマンスを改善を行いました。 トレース 導入を提案したのは id:lufiabb さんです。最初、私のタスクは OpenTelemetry の トレース をアプリケーションに仕込んで終わりだったの
ログコスパ最強!?OpenObserveを触ってみた
概要 昨今オブザーバビリティに関する需要は益々高まっています。GoogleトレンドでObservabilityについて調べても右肩上がりに増加していることがわかります。 過去5年間の検索推移 その一方でオブザーバビリティツールの選定につきましては機能面、コスト面などさまざまな事情を考慮する必要がありどれを選べばいいのかわからない人も多いでしょう。 その中でもログ監視につきましてはストレージコストや運用設計など頭を悩ます項目が多いかと思われます。 会社でも私が入社してからログの保存先に関しては、CloudWatch Logs→OpenSearch→Datadogと転々と変更してきました。 今のところDatadogのLogs管理につきましては、使いやすく機能面では満足しています。ただ一方でストレージコストが高いこともあり、どうにかストレージコストを下げるために保存量や保持期間の調整など工夫を凝
AWS SAM による HashiCorp Terraform のサポートが一般利用可能に | Amazon Web Services
Amazon Web Services ブログ AWS SAM による HashiCorp Terraform のサポートが一般利用可能に 本記事は、『AWS SAM support for HashiCorp Terraform now generally available』の翻訳です。 2022 年 11 月、AWS は HashiCorp Terraform の AWS Serverless Application Model (AWS SAM) サポートのパブリックプレビューを発表しました。パブリックプレビューでは、Terraform ユーザーがサーバーレスアプリケーションをローカルでテストするのに役立つ機能のサブセットを取り入れました。本日 (2023 年 9 月 5 日)、AWS は AWS SAM における Terraform サポートの一般提供を開始します。この GA リ
Inspector のコンテナイメージスキャンを CodeBuild で実行してみた #AWSreInvent | DevelopersIO
こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 re:Invent 2023 にて、 Amazon Inspector が CI/CD 内で実行可能になりました。 そこで今回は、 CodeBuild のビルド処理中に、 Inspector のコンテナイメージスキャンを試してみようと思います。 やってみる前に まず、今回発表された Inspector の脆弱性スキャンは、従来提供されているようなコンテナイメージに対して直接スキャンするのではなく、 SBOM（ソフトウェア部品表） ファイルに対して、脆弱性スキャンをかけるような仕組みになります。そのため、脆弱性スキャンを実行する前に SBOM Generator で SBOM ファイルの生成が必要になります。 今回の機能に対応するために、 AWS から Amazon Inspector SBOM Gen
これはアソビュー！ Advent Calendar 2023の2日目です🎄 今年のアドベントカレンダーは2面公開なので、ぜひそちらも御覧ください！ こんにちは！アソビューのSREユニットの三森です。 先日、伊豆シャボテン動物公園に遊びにいきました。 園内の動物に餌をあげられたので、カピバラに餌をあげてきましたが、思ったよりも毛が固くて驚きました。 そんな伊豆シャボテン動物公園は、アソビュー！でも取り扱いがあるので是非遊びに行ってみてください。 www.asoview.com 今回は、VPCフローログを使ってアクセスを確認した話についてまとめました。 モチベーション 長く運用を続けていると、「このリソースほんとに使われているのか？」のように、確証が得られない事象があるかと思います。 今回はElasticache(memcached)を例に、アクセス有無をVPCフローログで見たことをまとめま
[アップデート] AWS Lambda がログを送信する CloudWatch ロググループをカスタマイズ可能になり、複数の Lambda 関数のログを集約できるようになりました | DevelopersIO
[アップデート] AWS Lambda がログを送信する CloudWatch ロググループをカスタマイズ可能になり、複数の Lambda 関数のログを集約できるようになりました こんにちは、CX 事業本部 Delivery 部の若槻です。 最近の AWS Lambda アップデートで、ログ出力の仕様を柔軟に設定できる機能が追加されました。 上記アップデートで追加された機能は以下の 3 つです。 Lambda のログを独自のロギングライブラリを使用せずに JSON 構造化形式でキャプチャ可能に Lambda のログレベル（ERROR, DEBUG, INFO など）をコードを変更することなく制御できる Lambda がログを送信する CloudWatch ロググループを選択できる 今回はこのうち 3 つ目のアップデートである、Lambda がログを送信する CloudWatch ロググルー
![[アップデート] AWS Lambda がログを送信する CloudWatch ロググループをカスタマイズ可能になり、複数の Lambda 関数のログを集約できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt | DevelopersIO
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt 直近、dbtのQuickｓtartシリーズで以下2本のエントリを公開しましたが、いずれもdbt Cloudに関するものでした。 dbtではその他に大きなプロダクトの柱がもう1つ存在します。それが『dbt Core』です。コマンドラインベースのオープンソースプロダクト(無償)でdbtの各種操作をCLIで実行します。当エントリではdbt Coreのクイックスタートチュートリアルとして用意されている『Quickstart for dbt Core from a manual install』の実践内容をお届けします。 目次 01.はじめに dbt Coreをローカル環境にインストール 接続検証用のBigQuery環境を準備 接続検証用のGitリポジト
AWS WAFのログがAmazon S3バケットに保存されない場合、確認すべき項目3点 | DevelopersIO
はじめに AWS WAFは、セキュリティ、可用性、パフォーマンスの脅威となる様々な脆弱性や危険から Web サイトやアプリケーションを守るためのサービスです。 WAFのログ保存機能を利用すれば、攻撃の分析などが可能です。 私の場合、以下の図のように、WAFのログをS3バケットに保存する設定を行いましたが、ログが保存されないことがあったため、確認するポイントを３つ説明します。 今回は、東京リージョンのApplication Load Balancer(ALB)にWAFを適用し、ログをS3バケットに保存するケースです。 1. AWS KMS カスタマーマネージドキー S3バケットのサーバー側の暗号化に、Amazon S3 マネージドキーを利用する場合(SSE-S3)、特に設定は不要です。 ただし、AWS KMSのカスタマーマネージドキーを利用する場合(SSE-KMS)、WAFにカスタマーマネー
By keeping the app and database close together, we can reduce the total response time for the user by 40%. Edge computing and latency Edge computing encourages you to run your apps closer to where the users are making requests from, under the premise that running closer to the users produces faster response times. But as we’ve seen, the responses times for lots of round trips to a centralised data
GKE Upgrade Event を Datadog Monitor で Slack に通知する - minato128 blog
はじめに 本投稿は、Datadog Advent Calendar 2023 の12/6の記事となります。 概要 Google Kubernetes Engine（GKE）を使っていると、クラスタのイベントをSlackに飛ばしたいことがあると思います。 以下のGoogle Cloud公式の例はCloud Functionsを利用していますが、Datadogを使っている場合はDatadog Monitorで通知させるのがおすすめです。 cloud.google.com こちらがDatadogを利用する場合の概要図です。 Overview 前提 GKEを使っていること Datadogを使っていること DatadogのSlack連携が終わっていること 手順 1) GKEのクラスタ通知を有効にします 2) Pub/Subを作成し、Push EndpointにDatadog Logsを指定します E
Cutting Edge, Part 4: Ivanti Connect Secure VPN Post-Exploitation Lateral Movement Case Studies | Google Cloud Blog
Cutting Edge, Part 4: Ivanti Connect Secure VPN Post-Exploitation Lateral Movement Case Studies Written by: Matt Lin, Austin Larsen, John Wolfram, Ashley Pearson, Josh Murchie, Lukasz Lamparski, Joseph Pisano, Ryan Hall, Ron Craft, Shawn Chew, Billy Wong, Tyler McLellan Since the initial disclosure of CVE-2023-46805 and CVE-2024-21887 on Jan. 10, 2024, Mandiant has conducted multiple incident resp
拡張モニタリングを使用した柔軟な解像度の Amazon RDS OS メトリクスのリアルタイムモニタリング | Amazon Web Services
Amazon Web Services ブログ 拡張モニタリングを使用した柔軟な解像度の Amazon RDS OS メトリクスのリアルタイムモニタリング Amazon Relational Database Service (Amazon RDS) では、オペレーティングシステムのリアルタイムメトリクスにアクセスできるようにすることで、RDS のリソースをさまざまなプロセスやスレッドがどのように使用しているかを監視できます。Amazon RDS コンソールで、インスタンスごとに監視したいメトリクスを管理できます。Amazon CloudWatch は AWS のネイティブモニタリングツールです。すべての AWS サービスとワークロードの主要な監視ツールとして、お客様に広く使用されています。 しかし、RDS には、CloudWatch と組み合わせて使用できる拡張モニタリングと呼ばれるアド
Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
devenv 1.0: Rewrite in Rust - devenv
Announcing native npm support on Deno Deploy
EKSのaws-auth ConfigMapに変更が入って辛い | DevelopersIO
5chスレッドを生成AIで分析してみた（GPT3.5+Claude3)
Redashのバージョンを10にしてみて - ROBOT PAYMENT TECH-BLOG
Nejumi LLMリーダーボード Neo の LLMベンチマークの使い方｜npaka
今年ハマった箇所をあえて共有してお焚き上げします - LIVESENSE ENGINEER BLOG
Lit Launch Day: Lit 3.0, Labs graduations, a compiler and more!
MQTTプロトコルをブローカーを実装しながら学ぶ - $shibayu36->blog;
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
OpenTelemetry announces support for profiling
VPCフローログを使ってアクセスを確認した話 - asoview! Tech Blog
So, you want to deploy on the edge?