GitHub - pgjones/sql-tstring: SQL-tString allows for f-string like construction of sql queriesYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MCPが便利そうなので Oracle DB とおしゃべりする MCP サーバーを作ってみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、MCP(Model Context Protocol)が注目を集めていますね。そこで、MCPを使って、Cursor や Cline などからシームレスに Oracle データベースにアクセスする MCP サーバーを作ってみました。 こんな感じでテーブルの構造を聞いてみたり こんな感じで LLM に SQL を書かせて、その場でテストしてみたりすることができます。 こちら↓の Claude Desktop と私のチャットの履歴を見ていただくと、Claude Desktop のような出来の良い MCP Host とデータベー
テーブルデータの前処理を何でやるか
最近読んだ、The Rise of Single-Node Processing: Challenging the Distributed-First Mindset という記事に最近考えていたことが書いてあったので便乗して自分の考えを書き留めておく。 元記事では、かつては大規模なデータの処理というと何はともあれ分散システムであり、Spark や BigQuery などを導入するのが当然であったが、近年は DuckDB や Polars など、シングルノードでも高速にテーブルデータを処理できる技術が登場してきたことで必ずしも分散システムは必要ではないよねという風潮に変わってきた、ということが述べられている。コスト面でもクラウドを使うのであれば、小さいインスタンスをいくつも立てて分散処理するのと、合計して同程度の vCPU や RAM を持つ一つの大きなインスタンスを立てて処理するのとで料金
Jupyter Notebook上でSQLをらくらく実行するJupySQL
Jupyter NotebookやJupyter Labといった、Notebookでデータ分析業務をする人が、ここ数年で増えてきました。 Notebook上でデータ分析をするとき、外部のCSVファイルやDBのデータテーブルなどからデータセットを取得する必要があります。 よくあるのが、Pandasを利用し取得したデータセットをデータフレームに格納するケースです。 データ規模が大きいほど、ある問題が起こります。 例えば、メモリの消費の問題です。 データフレームに格納するということは、PCなどのメモリをそれだけ消費します。 多くの場合、読み込んだ直後のデータフレームは、そのままデータ分析に使えることは少なく、何かしらの加工なり処理がなされ整えられます。 ある程度整えられたデータセットの状態で、データフレームとして格納した方が、メモリの消費量は少なくてすみます。 他には、外部DBのパフォーマンス低
Quick Start — Python documentation
Quick Start# JupySQL allows you to run SQL and plot large datasets in Jupyter via a %sql, %%sql, and %sqlplot magics. JupySQL is compatible with all major databases (e.g., PostgreSQL, MySQL, SQL Server), data warehouses (e.g., Snowflake, BigQuery, Redshift), and embedded engines (SQLite, and DuckDB). It is a fork of ipython-sql with many bug fixes and a lot of great new features!
Introducing the Data Validation Tool
The latest news from Google on open source releases, major projects, events, and outreach programs for early career developers. Data validation is a crucial step in data warehouse, database, or data lake migration projects. It involves comparing structured or semi-structured data from the source and target tables and verifying that they match after each migration step (e.g data and schema migratio
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bruin-data/bruin: Build data pipelines with SQL and Python, ingest data from different sources, add quality checks, and build end-to-end flows.