生成AIモデルと他のツールをつなぐためのプロトコル「モデル・コンテキスト・プロトコル(MCP)」に脆弱(ぜいじゃく)性があり、アクセストークンなど機密性の高い情報が漏れてしまう可能性があることがわかりました。これは、モデルが悪意のある指示とそうでない指示を見分けられないために起こります。 Supabase MCP can leak your entire SQL database | General Analysis https://www.generalanalysis.com/blog/supabase-mcp-blog AIモデルとツールをつないでユーザーの指示を遂行する場合、MCPというプロトコルで情報の橋渡しが行われることがあります。この際、モデルからモデルへ渡されるシステムプロンプト、ユーザー指示、データコンテキストは、すべてテキストとしてLLMに提供されます。ここで問題になる
Handling unique indexes on large data in PostgreSQL
Something went wrong! Hang in there while we get back on track A month ago, during a release to production, the feature I was working on failed to deploy due to a PostgreSQL restriction. It turned out to be a surprisingly fun and comprehensive learning moment. Backstory I have been working on a pretty huge release where we needed to: Add new functionality to our core feature. Remove all duplicated
MySQLのInstant DDLによるカラムの追加はかつてテーブルの末尾にしかできなかったが、8.0.29以降はどの場所にも追加できるようになっていた - polamjaggy
って知ってました？自分は知りませんでした… The INSTANT algorithm can add a column at any position in the table. Before MySQL 8.0.29, the INSTANT algorithm could only add a column as the last column of the table. MySQL :: MySQL 8.0 Reference Manual :: 17.12.1 Online DDL Operations しかしながら、マニアックな制限が存在するようで、The Oracle MySQL Japan BlogのALGORITHM=INSTANTを使用した列追加・削除という記事によると、 この機能を実現するために、行のバージョン管理に関する考え方がテーブル・メタデータに導入されました。
Eymoutiers, France, July 2nd, 2025 We're publishing PostgreSQL Anonymizer 2.3 today, introducing the long awaited replica masking mechanism. Database Administrators can now synchronize a "masked clone" with their production database using PostgreSQL logical replication. Enhanced Privacy Protection for Your Data PostgreSQL Anonymizer is an extension that hides or replaces personally identifiable in
はじめに こんにちは、Zennチームの五十嵐です。 Zennでは、日々の運用業務（お問い合わせの調査やデータ分析など）において、DBに対してSQLでデータを参照する事があります。非定型作業については毎回SQLを手書きしていましたが、人間がSQLを書くのではなくAIに任せられないかと考え、独自の管理画面からデータベースに対して自然言語で問い合わせをできる機能を実装しました。（将来的にはタスクをAI Agentが自律的に解決できるようになるのがベストですが、今回はその第一歩です。） 当初このアイディアは、データベースに対応したMCPサーバーを用いることで実現できることが検証できました。しかし、現時点ではMCPサーバーのリスク診断を行うエコシステムが成熟していないため、もしMCPに悪意のあるコードが混入されたら？と考えると、本番環境で使うにはリスクが大きいと考えました。そこで、MCPを使わずに自
メルカリのデータアナリストの@__hiza__です。メルカリではデータアナリストとして日々SQLを使ったデータ分析をしつつ、業務外ではPythonを使ったアプリケーション開発を行っており、どちらの作業にもLLMを活用しています。 この記事ではデータアナリストに向けて、LLMにSQLを作成させて効率的にデータ分析を行うテクニック と、その背景にある応用可能な考え方を説明します。 関連記事メルカリでは、LLMをデータ分析の現場に活かすさまざまな取り組みが生まれています。 例えば、対話形式で誰でも手軽にデータ分析ができる社内ツール「Socrates」があります。これはデータアナリストに限らず、より多くのメンバーがデータを活用できるようになる強力なツールです。 一方で、私たちデータアナリストが日々向き合う、より複雑で専門的な分析を効率化する取り組みも行っています。 先日、私と同じデータアナリストの
Want to learn more about unlimited IOPS w/ Metal for Postgres and Vitess? Talk to Solutions By Sam Lambert | July 1, 2025 Today we are announcing the private preview of PlanetScale for Postgres: the world’s fastest Postgres hosting platform. You can request access to PlanetScale for Postgres by visiting this link. We are already hosting customers' production workloads with incredible results. Conv
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
注目を集めるPostgreSQL＋Analytics 先日、SnowflakeとDatabricksのそれぞれの年次イベントでPostgreSQLに関連する企業の買収が大々的に発表されました。 両社は分析系（OLAP）のソリューションを提供する比較的大きなベンダーであり、過去にはOLTP系への進出を目指したデータストアの開発が注目されたこともありました（SnowflakeのUnistoreが典型です）。 彼らは今後、PostgreSQLを自社がカバーできていなかった領域で適用することで、現在のメガクラウドのようにOLTP用途のRDBとOLAPのソリューションを統合してくることが予想されます。 そして、多くの利用者を持つオープンソースのPostgreSQL（コミュニティ版と言っても良いかも知れません）においても、OLAPとの統合という流れは今後確実に訪れるというのが、私個人の予想です。 今回
こんにちは！技術部データ基盤チームのmisatonです。 本記事では、先日開催した開発合宿にて検証した、BigQuery のデータマートと Cursor Agent を使った信頼性の高い dbt model の生成を紹介します。 開発の背景 データ活用現場の課題 目指すゴールと開発合宿で行ったこと 開発合宿での成果 Cursor の Agent を用いて dbt model を自動生成する仕組みの作成 自動生成が可能かどうか検証するためのデータマートの作成 開発合宿での成果詳細（機能デモのキャプチャあり） 分析デモ 技術的な詳細 処理の流れ 技術スタック 今後の展開 まとめ 開発の背景 データ活用現場の課題 ペパボには多数の部門・サービスのデータが蓄積されています。各部門やチームでそれぞれデータが活用される一方で、データの集計・分析をより効率的に行うための課題もあります。 たとえば「この商
「スマートリポジトリ」という概念について
以下の記事を書いた 内容としては 「n8nを利用してラベルが貼られたタイミングでwebhookが起動し、自動で@Claudeのコメントをする」というもので 仕組みとしては非常に単純で多分そんな難しくないし、Github Actionなどでおそらくやっている方もいたと思う 「開発のパイプライン化」という標語をすえて、PMや非エンジニアから使いやすいPJ管理ベースの環境を構築したいという目的だった たださらに深掘りした時に、以下のような使い方ができると思った これはどういうところから着想したかというとnaoyaさんのツイートから これらをまとめることで「スマートリポジトリ」という概念に辿り着いた。 もちろんCI/CDが回っている時点である程度自律的に問題を解いてもらえたりエンジニアの助けにはなるが、LLMやAIエージェントを組み込むことでさらに「賢い」リポジトリになるということ。 以下に定義を
データ分析領域へのLLM導入動向（各分析ソリューション会社の動き）｜ぬるったん @データサイエンティストキャリア発信
本記事は「データ分析領域へのLLM導入動向（各分析ソリューション会社の動き）」というテーマに対して、LLMに対して、具体的かつ納得感が出るまで複数回のプロンプトを重ねて、見解を出力させています。 さらに、その見解に対して、自身の体験談を基に私見や所感を述べさせていただきました。 ご興味がある方はぜひ、最後までご覧ください。 データ分析ツールへのLLM統合：直近3ヶ月の最新動向過去3ヶ月間で、大規模言語モデル（LLM）をデータ分析ツールに統合する動きが加速しています。自然言語での質問から自動的にSQLクエリを生成する機能や、ノートブック上でAIがコード作成からデータ可視化まで支援する機能が次々と登場しました。以下、主なトピック毎に最新アップデートと活用事例を整理します。 昨今、データ分析領域にLLMが深く入り込んできています。データ分析はどのような企業でもニーズが高いテーマであり、市場規模も
GitHub - NickTikhonov/snap-ql: AI-powered Postgres Client
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AI にデータ分析 SQL を書かせる仕組みを作りました - Bdash Server MCP の紹介 - クックパッド開発者ブログ
こんにちは。クックパッドでエンジニアをしている @morishin です。4年前に Bdash Server というデータ分析 SQL を共有・再利用するアプリケーションを作って紹介しましたが、今回はそれをさらに発展させて AI にデータ分析 SQL を書かせる仕組みを作ったのでその紹介をします。 背景 データ分析において SQL を書くのは避けて通れない作業ですが、毎回ゼロから書くのは効率的ではありません。特に複雑な分析クエリや過去に似たような分析を行ったことがある場合、既存のクエリを参考にしたり再利用したりできれば大幅な時間短縮になります。 そこで4年前に分析 SQL の共有・検索ができる Bdash Server というアプリケーションを開発しました。これにより過去に書かれた分析クエリを蓄積し、キーワード検索で参考になるクエリを見つけることができるようになりました。今でも20件/日ほ
GeminiでSQLクエリを書くのを爆速にした話
こんにちは！ラブグラフ開発インターンを経て、ビジネス職で新卒入社した arawi です。 ラブグラフでは非エンジニアのメンバーもデータ分析や業務効率化の目的で日々 SQL クエリを書いています。 自分自身ビジネス職として新卒入社し、多くのクエリを書いています。 SQL の知識はあるものの、複雑なクエリを自分で書くのは大変で、時間がかかることも多いです。 AI を使っての SQL クエリ生成は以前から試していましたが、AI がドメイン知識を持っていないため、正しいクエリを生成できないのが課題でした。 今日はそんな課題を解決した方法を紹介します！ TL;DR Gemini に DB スキーマ（Ridgepole の Schemafile.rb）をそのまま食わせるだけで、めちゃくちゃ優秀な SQL ライターになる 1往復で動くクエリが返ってくることも多い データ自体は渡さないので個人情報などを
はじめに 皆さんは、個人開発や簡単なプロトタイプのWebアプリを作るとき、バックエンドはどうしていますでしょうか。 私の場合、ここ数年は「とりあえずSupabaseで」というのがお決まりの一手でした。PostgreSQLが使えて、認証やリアルタイム機能もサクッと実装でき、無料枠も十分です。 ですが最近、SNSやVibe Codingの文脈で「Convex」というBaaSの名前を見かけるようになりました。「開発体験が革命的」や「リアルタイム実装が驚くほど簡単」など、気になる評判ばかり。 今回は実際にConvexを軽く触ってみて、Supabaseと何が違うのか、特に「開発ワークフロー」と「コードの簡潔さ」に焦点を当てて比較してみることにしました。 技術選定の一環として、あるいは新しいツールに興味がある方の参考になれば幸いです。 アーキテクチャ思想の比較：SQL中心か、TypeScript-na
生成AIが流行りだしてから、 AWSエンジニアとしての働き方やマインドが結構変わってきたなと感じています。 少なくともここ一年で生成AIとチャットすることが常態化しました。 最近では Claude Code がまさに仕事の進め方を変えつつあります。 本ブログは私の振り返りも兼ねて、 現時点で思っていることをダンプしたポエムです。 (移り変わりが激しいので、来年にはまた変わっていそうです) 目次 要約/翻訳 Finding や Notification を要約/翻訳してもらうようになった Terraform や CDK の diff を要約してもらうようになった コーディング/コマンド コードやSQLを書くことが減った ちょっとしたLambda関数を作る心理的ハードルが下がった Emacsのカスタマイズが捗った パイプにLLMを活用するようになった コミュニケーションや学習 文章を整理しても
はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、BigQuery で記述されたロジックのテストの難しさを解決できるひとつの手法として、簡単に導入できるスタブデータを使うクエリの書き方を紹介します。*2 詳細は後述しますが、以下のようなメリットがある手法です。 BigQuery 以外のツールを使わず、実際の BigQuery での文法や挙動を確かめられる 何もリソースを作らず、テストのためのスタブデータを簡単に用意できる 実際のテーブル名・列名・列の型と合っているかチェックできる はじめに テクニック1: WITH句で実際のテーブルを差し替え(シャドーイング)できる
SQLアンチパターン 第2版
TOPICS Database 発行年月日 2025年07月 PRINT LENGTH 400 ISBN 978-4-8144-0074-4 原書 SQL Antipatterns, Volume 1 FORMAT Print リレーショナルデータベースを扱うシステム開発には、様々な場面で陥りやすい失敗（アンチパターン）が存在します。本書では、SQLやデータベース設計を深く掘り下げ、データモデリングやSQLクエリのロジック、データ駆動アプリケーションのコード設計におけるアンチパターンを紹介し、それらを回避するための実践的な方法を解説します。 ツリー構造や継承構造のテーブル設計、NULLを正しく扱う手法、ランダムに結果を返すクエリやグループ化を行うクエリのコツ、SQLインジェクションなどのセキュリティリスクからウェブアプリケーションを守る手法など、幅広いトピックを網羅します。 第2版では内容
巨大なSQLの出力が意図と違っていたり違っているかもしれないとき、どこから確認しようか頭を抱えてしまうことってありますよね。せめて多段階で作られているたくさんのCTE （WITH句）、これらが一つずつどんな表を出力しているのか簡単にのぞけたら手がかりもあるのだけれど⋯ 今回はそれをわりと現実的な手間でできるようにする小技です。エムスリーエンジニアリングループUnit1（製薬プロモーション）／Unit9（治験臨床研究支援）エンジニアの三浦[記事一覧 ]です。 魔法の一行 デバッグを実現する一行 We are hiring 魔法の一行 SQLの最後に -- */ という無意味なコメント行を付けておいてください。ひと目見て分かる通り、まったく無意味です。ところがこれがあるだけで、デバッグのときにこんなことができるようになります―― デバッグを実現する一行 次のようなCTEの大行列があるとします
新興 PostgreSQL サービス企業の買収劇の背景：Snowflake と Databricks が描く未来に思いを馳せてみた
新興 PostgreSQL サービス企業の買収劇の背景：Snowflake と Databricks が描く未来に思いを馳せてみた 日本の PostgreSQL コミュニティが今月、大きな盛り上がりを見せています。その理由は、データ・AI 業界の二大巨頭である Snowflake と Databricks が、立て続けに PostgreSQL のマネージドサービスプロバイダの新興企業を買収し、両社が PostgreSQL のマネージドサービス提供を開始すると発表したためです。この動きは、 PostgreSQL がこれまで以上に最も重要なデータベースの一つとしての地位を確立し、PostgreSQL ユーザーのスキルが活かせる場が大きく広がっていることを示唆しています。 なぜ、この買収劇が立て続けに起きたのでしょうか。考えられる主な理由は以下の 3 点です。 1. アナリティクスプラットフォー
もう今の10代、20代には10年間の休暇を取ってもらって生殖と育児に専念してもらうべきではないか。代わりに生殖能力を失ったワイら氷河期社畜が骨になるまで働くという方向で手を打ちませんか、総理。
ミック @copinemickmack DBエンジニア改めアソシエイト・シリコンバレー出羽守。note.com/mickmack 著書：『センスの良いSQLを書く技術』『SQL緊急救命室』『DB設計徹底指南書』『SQL徹底指南書』。訳書：J.セルコ『プログラマのためのSQL 第4版』。 mickindex.sakura.ne.jp ミック @copinemickmack もう今の10代、20代には10年間の休暇を取ってもらって生殖と育児に専念してもらうべきではないか。代わりに生殖能力を失ったワイら氷河期社畜が骨になるまで働くという方向で手を打ちませんか、総理。 2025-06-13 16:13:37
Dify MCPプラグインを使って自然言語でSnowflakeからデータを取得してみた - NTT Communications Engineers' Blog
DifyのMCPプラグインとZapier MCPを利用してDifyとSnowflakeを連携させ、Snowflakeのデータを自然言語で扱ってみました。本記事では、その連携方法を中心に紹介したいと思います。 はじめに 利用したサービス Dify Zapier Snowflake 構成 連携設定 Snowflake の設定 Zapierの設定 Dify の設定 動作確認 まとめ 参考 はじめに こんにちは。NTTコミュニケーションズの大島です。普段は、クラウドサービスを中心に、データレイクやデータウェアハウスの検証をしています。 最近注目されているMCP (Model Context Protocol)という技術があります。 これはAnthropic が発表したオープンなプロトコルで、AI と外部システムの接続を標準化するものです。 LLMを利用したアプリケーション(MCPクライアント)が、
こんにちは！バクラク事業部 Platform Engineering部 SREグループの taddy(id:sadayoshi_tada)です。 みなさんはデータベースサーバのログの分析が必要になった時どのように対処されていますか？バクラクではAmazon Aurora MySQL互換(以降Auroraと呼称します)を使用していて、Aurora内部に保持しているログを収集し、分析する基盤を運用しているためこの記事でその紹介をします。 Aurora内部に保持しているログの出力 Auroraのログダウンロードのための手段検討 AuroraのログダウンロードとS3アップロードの概要 実行基盤の選定 S3に格納したログの分析 S3に保管しているログのパス概観 Audit logの分析例 SOC1監査での利用 まとめ 終わりに Aurora内部に保持しているログの出力 Aurora内部に保持している
はじめに 先日サンフランシスコで開催された Snowflake Summit 2025 から帰国しました！Summit では Crunchy Data の買収、自由度の高いデータ取り込みを実現する Snowflake Openflow、AI プラットフォームの発展的な進化など多くの注目すべきアップデートが発表され、また多くのお客様やパートナー様とも有意義な議論をすることができました。 その中でも特に開発者体験の向上に関連するアップデートとして、Snowflake の Workspaces がリリースされ、更に Workspaces 内の機能として「Snowflake Copilot Inline」が発表されました！この機能により、SQL を用いた分析体験がより直感的で効率的になっています。 従来の Snowflake Copilot は専用の画面でチャット形式でやり取りを行う必要がありまし
GitHub - aws/pgactive
Database replication is a method that copies changes between databases instances, and is a key component for use cases like high availability, reducing latency between an application and its source data, moving data between systems such as production and test, infrastructure migration, and others. Relational databases such as PostgreSQL typically support an active-standby model of replication, whe
基本情報独学で取ったのが買ってもらえたらしい 案外ITパスポートすら取らずに転職してこようとしてくる人が多いそうだ 研修でSQLみっちりやるってきいたから予習しておきたいんだけどお勧めの参考書ある？ スッキリわかるSQL入門 第4版 ドリル256問付き！ってのはポチッておいた
Streamlit in SnowflakeによるAI分析アプリ（PythonもSQLも苦手でもアプリを作れるよ！！）
Streamlit in SnowflakeによるAI分析アプリ（PythonもSQLも苦手でもAI分析が出来るプリセットパッケージアプリ） Snowflake × AIで変わる！データ分析の新しいカタチ 「データ分析の民主化」を5分で体験してみませんか？ ✅ SQLを書けない人でも自然言語でデータ分析 ✅ 分析結果をAIが自動で考察・レポート化 ✅ 美しいグラフを数クリックで作成 ✅ 社内の非エンジニアにも即座にデモ可能 この記事で紹介するStreamlit in Snowflakeアプリなら、上記すべてがプログラミング不要で実現できます。 今回は、特に非エンジニアもしくはプログラミングが苦手な人でもコピペベースでアプリを作れるように、プリセットパッケージ化しておりますので、Snowflakeのユーザーであればすぐにでも利用が出来ます。（なのでGitからの取得とかもありません。） このA
PostgreSQL開発チームは先月（2025年5月）にリリースした「PostgreSQL 18 Beta 1」で非同期I/O処理を実装したことを明らかにしています。 同チームのテストによると、シーケンシャルスキャンやビットマップヒープスキャン、バキュームといった処理において2～3倍の性能向上が見られたとのことです。 同期処理はシンプルだが待ち時間が発生する これまでのPostgreSQLは同期I/O処理を採用していました。これは例えばOSにファイルリードのようなI/O処理を依頼すると、処理が終了して結果が返ってくるまで、すべてのPostgreSQLの内部処理が一時停止することを意味します。 同期I/O処理の利点はすべてのI/O処理が同期的に行われるため、実装が比較的シンプルで容易だというメリットがあります。これはバグを引き起こしにくいとも言えます。 一方で、ひとつひとつのI/O処理が完了
AI を使って優れた SQL を作成する: Text-to-SQL 手法の説明 | Google Cloud 公式ブログ
Try Gemini 2.5Our most intelligent model is now available on Vertex AI Try now ※この投稿は米国時間 2025 年 5 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 組織が意思決定を行うには、迅速かつ正確でデータドリブンな分析情報が必要です。そのデータにアクセスする方法の中心にあるのが SQL です。Google は、Gemini を使用することで自然言語から直接 SQL を生成できます（これを Text-to-SQL と呼びます）。この機能により、開発者やアナリストの生産性が向上し、技術系以外のユーザーが必要なデータを直接操作できるようになります。 現在、次のように多くの Google Cloud プロダクトで Text-to-SQL 機能が利用できます。 BigQuery
DSLやめてSQLでいいんじゃない？
ORMはCUD処理は得意ですが、R（SELECT）処理は苦手です。 DSLのゴールはSQLへの翻訳であるのに、答え（SQL）を知っていても、わざわざ逆翻訳（DSL）しなければならない。 その上、各ORMライブラリごとにDSLの文法は異なり、SQL以上に方言だらけの世界です。 そこで改めて考えたい。なぜSQLを使わないのですか？ SQLを忌避する理由 私が想像する理由は大きく5つあります。 SQLインジェクションが怖い 汎用性が低い 静的解析やコンパイルチェックが効かない エンティティモデルへのマッピングが面倒 長文の保守性が悪い これは今も本当に問題なのでしょうか？ SQLの解析、加工が出来れば解決しませんか？ 問：SQLインジェクションが怖い メンバーのスキルによってはちょっと怖い。 SQLを文字列連結するのは危険。 答：SQLと検索条件を合成できれば心配ない SQLを解析、加工できれば
GitHub - wey-gu/py-pglite: PGlite wrapper in Python for testing. Test your app with Postgres just as lite as SQLite.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS公式からAurora MySQL MCP Serverがリリース！自然言語でクエリ実行可能 - CyberAgent SRG #ca_srg
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、AWS公
こんにちは、おはようございます、こんばんは、スマートバンクで顧客体験チームのエンジニアリングマネージャーをしている佐藤（@tmnbst）です。 Rails 7.1 以降 では、SELECTクエリが内部的に自動でリトライされる仕組みが導入されています。 このリトライ処理は、allow_retry という内部フラグによって制御されており、Railsが「これは安全（冪等）なクエリだ」と判断した場合に場合にのみ有効になります。 普段Railsを使っているだけではなかなか気づけないこの仕様ですが、ネットワーク切断やDBのフェイルオーバー時などの場面で効果を発揮します。 この記事では、Railsのコードを読みながら allow_retry の仕組みを紐解き、実際にどんな条件でリトライされるのかを検証してみます。 1. allow_retry とは何か 2. 内部処理解説 to_sql_and_bind
AIの発達により「SQLを書くこと」はどうなるのか「自然言語からSQLを生成できる」技術の話題を聞く機会が増えてきた。SQLが書けない人でもデータを扱えるようになる、という期待もあるようだ。 では、今後データ整備の仕事はAIによりどこまで変わるのか？を考えていたのだが、どうも話が散ってしまうので、身近なSQLから話を起こしてみようと思う。 まずは現在のSQL自動化の到達点を整理してみよう。 「出すべきデータが決まっている」前提でのSQL自動化は進んでいるAIはすでに、自然言語からSQLを生成することができる。この話自体は何年も前からあったが、自然言語処理の能力が上がったことで単純なSELECT文だけではなく、複数テーブルのJOINや集計、ネストされたサブクエリも構築できるようになってきた、という表現の方が正しいだろう。 カラム名やデータ型の補完、構文ミスの自動修正、インデントやエイリアスの
Zennの検索スピードを5倍に高速化した話
@dyoshikawaです。 先日、以下のリリースでZennのサイト内検索の高速化を行いました。 結論を先に述べるとCDNキャッシュやPostgreSQLの全文検索インデックスを活用して対応しました。この記事では本パフォーマンス改善の取り組みについて紹介します。 Zennの構成 ZennはGoogle Cloud上に構築されており、フロントエンドNext.jsとバックエンドRailsをそれぞれCloud Run上にホスティングしています。上の図では省かれていますが、CDNにはCloudflareを利用しています。 データベースはCloud SQL for PostgreSQLを利用しています。 検索速度とDB負荷に課題 2025年2月頃、某AIクローラーによる検索ページへの集中アクセスによりDBインスタンスのCPU使用率が100%近くに張り付いてしまうという事象が発生しました。 生成AIサ
怪奇？スケールアウトするとパフォーマンスが落ちるデータベース - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの古屋です。データベースのメトリクス、見てますか？私のチームが開発運用を担当する『カミナシ レポート』では Amazon Aurora MySQL をメインのRDBMSとして利用しています。この Aurora MySQL について少し課題がありました。 課題1. 増え続けるコスト 昨年の12月以降くらいでコスト、とくに Aurora:StorageIOUsage が右肩上がりで増えています（図の青色）。 課題2. 悪化するパフォーマンス （実際に運用されているのを初めて見たのですが）『カミナシ レポート』で利用している Aurora クラスターはCPU利用率（しきい値：60%）に基づいたオートスケールの設定がされており、アクセスのピーク帯になると負荷に応じて自動的にスケールアウトするようになっています。ただ、スケールアウトしてもパフォーマンスがよくなってい
AWS、事実上無制限にスケールするPostgreSQL互換の大規模分散DB「Amazon Aurora DSQL」正式版を提供開始
Amazon Web Services（AWS）は、事実上無制限にスケールするPostgreSQL互換の大規模分散データベース「Amazon Aurora DSQL」の正式版を提供開始したと発表しました。 Amazon Aurora DSQLは昨年（2024年）12月のイベント「AWS re:Invent 2024」で発表された、サーバレスな大規模分散データベースです。 1つのリージョン内で3つのアベイラビリティゾーンにまたがる構成、もしくは複数のリージョンにまたがる構成において、自動スケーリングと自動障害復旧機能を備えたActive-Activeなクラスタを実現できます。 分散処理による高いスケーラビリティおよび複数のアベイラビリティゾーンやリージョンによる冗長構成による高可用性の両方を実現するだけでなく、複数リージョンのような広域での分散データベースにおいてトランザクション処理による強
GitHub - jgarzik/sqawk: A fusion of SQL and awk: Applying SQL to text-based data files
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIのプロトコル「MCP」経由でSQLデータベース全体を漏洩させる可能性がある手法が発見される
PostgreSQL Anonymizer 2.3 : Replica Masking
LLMによる自然言語を用いたDB問い合わせ機能の実装例 | DevelopersIO
最強の国産CSVエディター「SmoothCSV 3」、「Tauri」ベースでWindows/Mac対応／SQLコンソール、ビジュアルクエリビルダー、コマンドパレットなどの魅力的な機能も
データアナリストのためのLLM時代のSQL作成術｜Mercari Analytics Blog
Announcing PlanetScale for Postgres — PlanetScale
GitHub - sirius-db/sirius
pg_duckdbとDuckLakeがもたらすOLAP統合の未来
Cursorと喋るだけで、テスト付きのクエリをゲットできるようにした話 - Pepabo Tech Portal
話題のBaaS「Convex」を試して、Supabaseと比較してみた
AWSエンジニアの私が生成AIで変わった働き方、考え方(2025-06) | DevelopersIO
サクッとできる、型安全なスタブデータでの BigQuery テスト - エムスリーテックブログ
WITH句てんこもりのSQLをデバッグする - エムスリーテックブログ
Aurora MySQLログの収集と分析基盤の紹介 - LayerX エンジニアブログ
Snowflake Copilot Inline で SQL 分析体験が進化
３５歳中卒ニートだがECサイト保守運用する会社に就職きまった
次期PostgreSQL 18では非同期I/Oの採用により性能が2～3倍向上する見通し
Rails の隠れた堅牢性：SELECTクエリが自動リトライされる仕組み - inSmartBank
AI時代におけるSQL自動化とデータ整備の変化｜データ分析とインテリジェンス