純国産RDB「Tsurugi」のMCP対応版、オープンソースで提供開始 SQLを使わない自然言語のDB操作はどうなる?:LLMのローカル実行にも対応 ノーチラス・テクノロジーズは、リレーショナルデータベース「劔」(Tsurugi)のMCP対応版をオープンソースで提供開始すると発表した。ユーザーはSQLや特定のアプリケーションを使わずに、Tsurugiを自然言語で操作できる。
はじめに はじめまして。基盤開発チーム/Unit3を兼務している林です。 エムスリーではデータ基盤として BigQuery を全社的に使っていますが、 BigQuery を使ったアプリケーションやバッチを実装するときに、テストをどうするべきかは難しい問題です。*1 本記事では、BigQuery で記述されたロジックのテストの難しさを解決できるひとつの手法として、簡単に導入できるスタブデータを使うクエリの書き方を紹介します。*2 詳細は後述しますが、以下のようなメリットがある手法です。 BigQuery 以外のツールを使わず、実際の BigQuery での文法や挙動を確かめられる 何もリソースを作らず、テストのためのスタブデータを簡単に用意できる 実際のテーブル名・列名・列の型と合っているかチェックできる はじめに テクニック1: WITH句で実際のテーブルを差し替え(シャドーイング)できる
データ分析プラットフォームを提供するDatabricksは、サーバレスのPostgresを提供することで知られるスタートアップ「Neon」の買収を発表しました。 Databricks + Neon 開発者ファーストのサーバーレスPostgres企業『Neon』がDatabricksに参画します!@neondatabase Neonは革新的なデータベースで開発者、そしてAIエージェントにも最適な基盤です。開発者とAIのためのオープンでサーバーレスな基盤をともに目指しますhttps://t.co/hxK3oolUiZ — Databricks Japan | DATA + AI Company (@DatabricksJP) May 14, 2025 DatabricksはApache Sparkの生みの親であり米カリフォルニア大学バークレー校准教授でもあるMatei Zaharia(マテイ・
前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から直接 PostgreSQL にアクセスできる PostgreSQL の読み込みも書き込みもできる バッチ処理を PostgreSQL のリードレプリカからデータを読み込んで、DuckDB で集計して PostgreSQL に書き込むと言うのができる DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck PostgreSQL Extension 名前で誤解しやすいのですが DuckDB の PostgreSQL Extension であって、PostgreSQL の Extension ではないので注意してください。 DuckDB のPostgreSQL Extension は PostgreSQL のデータを直接操作で
こんにちは!ラブグラフ開発インターンを経て、ビジネス職で新卒入社した arawi です。 ラブグラフでは非エンジニアのメンバーもデータ分析や業務効率化の目的で日々 SQL クエリを書いています。 自分自身ビジネス職として新卒入社し、多くのクエリを書いています。 SQL の知識はあるものの、複雑なクエリを自分で書くのは大変で、時間がかかることも多いです。 AI を使っての SQL クエリ生成は以前から試していましたが、AI がドメイン知識を持っていないため、正しいクエリを生成できないのが課題でした。 今日はそんな課題を解決した方法を紹介します! TL;DR Gemini に DB スキーマ(Ridgepole の Schemafile.rb)をそのまま食わせるだけで、めちゃくちゃ優秀な SQL ライターになる 1往復で動くクエリが返ってくることも多い データ自体は渡さないので個人情報などを
This method ensures that items ranked high in multiple lists are given a high rank in the final list. It also ensures that items ranked high in only a few lists but low in others are not given a high rank in the final list. Placing the rank in the denominator when calculating score helps penalize the low ranking records. It’s also worth noting: $rrf_k: To prevent extremely high scores for items ra
01. Complex systems are built from simple ideas Complex software like databases, compilers, and browsers are treated like black boxes. You use them every day as a user, but you probably don’t understand them as a programmer, even though they are nothing but code. Why? They have little in common with programmers’ daily task. Their code bases are so large, so discouraging. But that doesn’t mean you
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回はメドピアで運用しているアプリケーションのkakariの監査ログをDB管理からS3管理に移行したので、その方法と手順について紹介したいと思います。 kakari.medpeer.jp 背景 従来kakariではAuditedを用いて、監査ログを専用のauditsテーブルに保管する処理を行っていました。 github.com # application_record.rb class ApplicationRecord < ActiveRecord::Base ... include Auditable # auditable.rb module Auditable extend ActiveSupport::Concern included do audited ... end しかしレコードの変更の度にauditsテーブ
はじめに 背景 信頼性 監査プロセス コスト 要件 機能要件 非機能要件 設計 システムの構成要素 なぜECSを選んだのか 監査ログ保全における適切なリソース管理 私達のユースケースに合わせたオブジェクトキー 実装と検証を繰り返しフィードバックループをまわす ログが途中で途切れる 並行運用 転送量のコスト増加 ECS Fargateのキャパシティ不足 ログの整合性をチェック ログローテーションサイズの変更 オンコールドキュメントを作成 成果 Future Works まとめ harukin drumato はじめに こんにちは。技術部技術基盤グループのharukin,drumatoです。 カラーミーでは従来Data Firehose(旧Kinesis Data Firehose)を用いて、Amazon RDSの監査ログをS3に保存する仕組みを運用していました。 しかし、運用していく中で継続
はじめに 業務委託としてお手伝いをしている渡部です。 Stena Expenseは、1つのソフトウェアを様々なお客様がご利用される、いわゆるマルチテナント型のSaaSです。 マルチテナント型のSaaSでは、テナントごとにアプリケーションやデータベースをどのように分離するか、もしくは分離しないかが焦点になりますが、先日Stena Expenseではデータベースの分離方法の1つであるRow Level Security(以下、RLS)を導入したため、導入背景や作業時に実施したことを紹介します。 アーキテクチャの分離レベルとRLS導入の背景 マルチテナントのアーキテクチャを検討するにあたり、複数の分離レベルが存在します。 アプリケーションとデータベースをテナント間で共有し、テナントごとに分離しない アプリケーションとデータベースのテーブルをテナント間で共有し、テナントごとにテーブルの行レベルで分
本記事の概要 pg_duckdb は、PostgreSQL のプロセス上でインプロセス OLAP クエリエンジンである DuckDB を実行するための拡張です。 DuckDB を利用することで、以下のようなメリットがあります。 PostgreSQL のネイティブクエリエンジンと比べ、OLAP ワークロードをより高速に処理できる。 DuckDB の拡張を利用し、 Iceberg や Delta lake といったオープンテーブルフォーマットでオブジェクトストレージ上に構築したデータレイクのデータを分析できる。 本記事では、 PostgreSQL 拡張の pg_duckdb の概要、私が pg_duckgb に注目した背景、および簡単な使い方などを紹介します。 pg_duckdb の概要 pg_duckdb は、スタートアップの Hydra、DuckDB 開発元の DuckDB Labs、Sa
SQLite is cool now. DHH uses it, Laravel defaults to it. Here is a list of sensible defaults when using sqlite. The whys? PRAGMA journal_mode = WAL; Why?: Allows concurrent reads and writes, making it more suitable for web applications with multiple users accessing the database simultaneously. PRAGMA synchronous = NORMAL; Why?: Balances performance and data safety by ensuring that data is written
自社で DuckDB 向けの Language Server (LS) を開発している。目的はシンプルに「ブラウザ」や「VS Code」で DuckDB を書く時に補完やエラー、ハイライトなどを利用したいから。 DuckDB 向けの LS は、特にブラウザでの利用を想定している。DuckDB は DuckDB-Wasm というブラウザ上で動作する DuckDB がある。つまりブラウザで SQL を書くタイミングが発生する。その際 DuckDB 向けの LS があれば、気軽に利用できるのではないか?と考えたからだ。 LSP 自体は Copilot などの AI とも相性が良く、エラーを気軽に確認できたりするのも気に入っている。 0:00 /0:13 1× DuckDB という名前は製品名に利用できないので LSP for DuckDB にする予定。パッケージ名には付けていいので duckdb
最近、SQL アンチパターンという本を読んでいたら、MySQL、 PostgreSQL、SQLite などのデータベースでも拡張機能を利用することで全文検索を実装できることを知りました。[1] SQLite で構築されている Cloudflare D1 についても調べてみたところ、制限はあるものの全文検索の拡張機能が使えるということがわかりました。 Export is not supported for virtual tables, including databases with virtual tables. D1 supports virtual tables for full-text search using SQLite’s FTS5 module. 今回は個人ブログの全文検索 API を D1 を利用して実装してみたので、その方法について書きたいと思います。 作成した AP
前回の続き。Drizzle ORMをちょっと触ってみたときに、 いろいろ調べてみたときの備忘録(*´ω`*) Drizzle ORMに入門してみた with Turso - くらげになりたい。 SQLiteにはdate/time型がない Date And Time Functions 残念なことに、SQLiteにはDate/Time/DateTimeの形がなく、 以下の形式の文字列(text)か数値(integer)で保存する ISO-8601 ... text Unix timestamp ... intager いくつか便利な関数が用意されていて、それを利用する形になる date() ... YYYY-MM-DD形式のtext time() ... HH:MM:SSやHH:MM:SS.SSS形式のtext datetime() ... YYYY-MM-DD HH:MM:SSなどのtex
Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey 代表的なITエンジニアのコミュニティサイトの1つである「Stack Overflow」などを運営するStack Overflowは、約6万5000人のITエンジニアにアンケートを行った結果をまとめた「2024 Developer Survey」を発表しました。 The results of the 2024 Annual Developer Survey are in! Over 65,000 developers shared with us their favorite tools and tech, how AI has changed their
関数型言語を採用し、維持し、継続する By 松澤 有 (ymtszw) (Siiibo証券株式会社 CTO) @関数型まつり2025 (2025/06/14) [1] Siiibo証券株式会社 2019年創業、筆者はfounding engineer / CTO ↓の構成で社債専門の証券システムを作り上げてきた このセッションでは 実際に関数型言語を業務で採用し、維持し、継続するにあたって重視している価値観、手続き、手法などをざっくばらんに紹介します なんとか5年はやってこれた 次の5年もやっていきたいがためのやつ 前提 最新の開発組織規模 フルタイム - 5名(筆者含む) 週3日程度 - 2名 週2〜10時間程度 - 8名 学生アルバイト - 3名 1日あたりの平均デプロイ(master push, GitHub Flowなので)回数 Copilotにお願いして雑に集計したら4.94だっ
1 Introduction1.1 Problem statement1.2 Motivation1.3 Recommended reading1.4 Binary search and Eytzinger layout1.5 Hugepages1.6 A note on benchmarking1.7 Cache lines1.8 S-trees and B-trees2 Optimizing find2.1 Linear2.2 Auto-vectorization2.3 Trailing zeros2.4 Popcount2.5 Manual SIMD3 Optimizing the search3.1 Batching3.2 Prefetching3.3 Pointer arithmetic3.3.1 Up-front splat3.3.2 Byte-based pointers3.
本記事は、データ推進室 Advent Calendar 2024 24日目の記事です はじめに こんにちは。HR領域でアナリティクスエンジニアのテックリードをしている山家雄介です。 アナリティクスエンジニアが担当する業務の一つに、データ利用者向けのいわゆるデータマートの設計・開発があります。これは、さまざまな仕様のデータソースを適切に組み合わせて、データ利用者の業務上の目的を達成することを助ける、平易に理解しやすく、ドキュメントも整備されたテーブル群を設計・開発し提供していく営みです。この業務を首尾よく進めていくには、dbtやDataformといったデータモデリングのツールの機能性を深く理解すると同時に、利用しているデータ分析基盤のSQLの仕様や機能性もよく理解しておく必要があります。 同じSQLという言語仕様の中でも、データマートの利用者によく利用される機能性と、それを開発するデータモデ
こんにちは。エンジニアの中野です。前回は、私たちが開発している FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介という記事を公開しました。 今回は続いて、開発に至った背景とそれからどのようなサービス設計を行ったのか、少し具体的な話をさせていただきます。 課題(FractalDB開発の背景) 社内クラウドDBが欲しい 比較的昔から「パブリッククラウドの"クラウドDB"、例えばAWS DynamoDB(以下DynamoDB)やGCP Cloud Spanner、Microsoft Azure CosmosDBのようなデータベースが社内にも欲しいよね」という漠然とした話はありました。 例えば、DynamoDBを使ったアプリケーション作成は、通常のRDBMSを使ったアプリケーション開発と以下のような違いがあります。 普通のRDBMSを使ったアプリDy
表題のとおり、PostgreSQL Contributorになりました。 グローバルでの貢献が認められたということで、素直に嬉しいです。 コントリビュータに名前が載ることになりました! https://t.co/vzqCPmRQV0— そーだい@初代ALF (@soudai1025) 2025年1月28日 PostgreSQL: Contributor Profiles 認められた貢献 PostgreSQLのコミュニティでは、今までコードやドキュメントに対する直接的な貢献が評価されていました。 しかし今回はPostgreSQLのコミュニティに対する貢献が評価された結果となっています。 私は、コードやドキュメントに対する貢献はほとんどしていませんが、PostgreSQLのコミュニティに対しては以下のような行動をしてきました。 PostgreSQLユーザ会の運営*1 PostgreSQLの勉強
私立の幼稚園や小中高校を運営する学校法人などを対象にした文部科学省の調査で、回答した75%にあたる5480法人が、教員採用の際に児童生徒へのわいせつ処分歴の有無を国のデータベース(DB)で確認していなかったことがわかった。教員による児童生徒性暴力防止法は、DBでのチェックを義務付けており、法令違反となる。 【表】一目でわかる…わいせつ目的を隠して接近する「グルーミング」の典型例 同法でDBでの確認を義務付けたのは、児童生徒へのわいせつ行為で懲戒解雇や免職となった元教員が再び教壇に立つことを防ぐのが狙い。DBは2023年度から運用が始まり、公立は教育委員会、私立は学校法人が利用登録し、採用の判断材料に使う。
こんにちはSREチームの宮後(@miya10kei)です。最近、DisplayLink対応の変換アダプターをGETし、トリプルディスプレイ化していろいろ捗っています! 前回から少し時間が空いてしまいましたが、今回はAmazon Auroraに対して2種類のオートスケーリングポリシーを組み合わせた事例を紹介します。 背景 Park DirectではデータベースにAmazon Aurora(Provisioned)を利用し、Writerインスタンス1台、Readerインスタンス2台の構成で運用しています。 ReaderインスタンスのCPU利用率には次の傾向がありました。 ReaderインスタンスのCPU利用率の推移 CPU利用率の傾向 平日 08:00~18:00までCPU利用率が(相対的に)高い状態が続き、18:00を境に低い状態になる。 休日 平日と同じ傾向だが全体的にCPU利用率が低い状
ChartDB is a powerful, web-based database diagramming editor. Instantly visualize your database schema with a single "Smart Query." Customize diagrams, export SQL scripts, and access all features—no account required. Experience seamless database design here. What it does: Instant Schema Import Run a single query to instantly retrieve your database schema as JSON. This makes it incredibly fast to v
概要 MITライセンスに基づいて翻訳・公開いたします。 英語記事: Shopify/maintenance_tasks: A Rails engine for queueing and managing data migrations. 原文更新日: 2024/07/24(e56130a) ライセンス: MIT 本記事では、原則としてツール(gem、フレームワーク)の名前をmaintenance_tasksと表記します。 Shopifyが開発したmaintenance_tasksは、Railsガイドでも推奨されているDBのデータマイグレーション用gemです↓。 参考: 10.2 データのマイグレーション -- Active Record マイグレーション - Railsガイド maintenance_tasksは、メンテナンスタスクをジョブキューに入れて管理するRailsエンジンです。 こ
ITのスキルを身につける事は個人のキャリアアップにつながるだけでなく、タスクを自動化したり検索をAIに任せたりするなど、業務を効率化することが可能です。とはいえ、知らない分野の知識を身につけようとする時には「何をどのように学べば良いのか」が分からないもの。ちょうどUdemyが2024年11月29日(金)までブラックフライデーセール、12月1日(日)から12月2日(月)までサイバーセールを行っており、多数の分野の実用的な知識が身につく動画形式の対象講座が1講座1300円~で受講するチャンスということで、いくつかの講座をピックアップしてみました。 オンラインコース - いろんなことを、あなたのペースで | Udemy https://www.udemy.com/ ・目次 ◆1:AIに検索能力を持たせる「RAG」を学んで社内データなど独自のデータを元に回答するAIを作成できる講座 ◆2:Pyth
こんにちは、エンジニアリンググループデータ基盤チームの木田です。先日公開されたCTO兼VPoP山崎の記事にある通りゼネラルマネージャーを拝命しまして、データ活用の観点だけではなくそれ以外の側面でも組織全体を支える立場となりました。クリスマスが過ぎ、すっかり街は年末モードになりましたね。毎年この変わり身の速さに驚くとともに、新年の足音を感じる時期でもあります。 門松とクリスマス飾りが同居する年末らしい光景。エムスリー赤坂オフィスから徒歩15分の距離にある麻布台ヒルズマーケットの一角にて エムスリーのデータ基盤利用者は今年も順調に増えまして、システム (サービスアカウント)も含めると倍々で増加しております。それに呼応する形でBigQuery上のクエリやユースケースの多様性 (そして料金も) 増しております。データ基盤の開発・運用を手がけるデータ基盤チームでは、今年の活動としてdbtやdataf
Wasm版PostgreSQLに生成AIを組み合わせた「Postgres.new」無料公開。自然言語でクエリ、エンベディングの作成、CSVからテーブル自動生成など PostgreSQLをベースにしたBaaS(Backend as a Service)の「Supabase」を開発し提供しているSupabase社は、WebAssembly版PostgreSQLである「PGlite」と生成AIを組み合わせ、Webブラウザ上でPostgreSQLを自然言語で操作できる「Postgres.new」を無料で公開しました。 参考:WebAssemblyとしてPostgreSQLをビルドした「PGlite」公開。Node.jsやブラウザ上でPostgreSQLを実行、DBの永続化も可能 Postgres.newはWebブラウザ上でWebAssembly版のPostgreSQLである「PGlite」を簡単に
CloudWatch Logsを経由せずに直接S3バケットにログをPUTしたい こんにちは、のんピ(@non____97)です。 皆さんはAurora PostgreSQLのログをCloudWatch Logsを経由せずに直接S3バケットにログをPUTしたいと思ったことはあります? 私はあります。 CloudWatch LogsにDBのログを流すとそれなりに料金がかかります。特にlog_statementであればall、mod、pgaudit.logであればall、read、writeにすると大量のログが流れがちです。 Aurora PostgreSQL DB クラスターのクエリログ記録をオンにする - Amazon Aurora pgAudit 拡張機能のセットアップ - Amazon Aurora そのため、S3バケットにログを出力したいところでしょう。 S3バケットにログを出力する方
みなさんこんにちは、株式会社kubell(旧Chatwork株式会社)で エンジニアリング・マネージャー(まだ見習い)兼プロダクトオーナー(これも半人前)をやっております、辻(@crossroad0201)です。 この記事は弊社 kubell の Advent Calendar 2024 、12月20日の記事です。 こちらのアドベントカレンダーではエンジニアのみならず、プロダクトマネージャーやデザイナー、弊社のさまざまな職種のメンバーが記事を寄せていますので、ぜひほかの記事も見てみていただければと思います。 この記事では、私の所属チームが今年取り組んだ仕事の中でも最も規模が大きかった「メッセージDBリプレイスプロジェクト」についてふりかえりたいと思います。 技術的なことは後日エンジニアが記事を書いてくれるはず(!)なので、私からはプロダクトオーナー目線、プロジェクト運営の観点から見てみます
公開日 2025/03/10更新日 2025/03/09そのデータ本当にあなたのものですか?〜データスペースによるデータ管理の革命とその可能性〜 みなさん、データスペースという言葉を聞いたことがあるでしょうか?筆者は、最近データスペースの研究開発や企画をやっていますが、仕事で関連する以外のエンジニアからは、悲しいことに「データスペースってなに?」という反応がほぼ100%返ってきます。また、以前データスペース関連のニュースリリースを出した際に、Webメディアにニュースで取り上げて頂いたのはいいのですが、「データベース」関連のフォーラムで取り上げられており、言葉を聞いただけでは、 「データベースの親戚?」 と勘違いされているような状況だと感じています。 その一方で、みなさんが情報処理技術者試験などでお世話になっているIPAでは、デジタル基盤センターの中でデータスペースの普及推進を行ったり、デジ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く