SQLとLLM＋MCPで業務データのギャップを埋める方法
こんにちは。CData Software Japanマーケティングマネージャーの杉本です。 最近は生成AIやMCPに関するトピックをSNSなどのネット上で見かけない日は無いなーと感じる日々ですが、皆さんは業務で生成AI・LLMをうまく活用できていますか？ 普段プログラミングなどを通じてソフトウェア開発を行っている方々には相当浸透してきている感じがありますが、非エンジニアサイドではまだまだ浸透しきれていないのではないかな？ と感じています。 その原因は私達が普段関わっている業務データとのコラボレーション、そして『MCP』という新しいアプローチに鍵があると考えています。 実はCDataでは本日新しいプロダクトとして『CData MCP Servers』の無償ベータ版リリースを発表しました！ CDataのSalesforceやGoogle Sheets・kintoneなどSaaSやファイル、DW
データ分析で用いるSQLクエリの設計方法
STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要件です。 ここから、この分析に必要なエンティティ（実体）とその属性、集計値を抽出しましょう。 エンティティと属性 ユーザー 性別 年代 動画 カテゴリ 集計値 視聴数 これらのデータを管理するテーブルを、調査やヒアリングを実施して探します。 今回は以下のテーブルを使用することとします。 user：ユーザー登録に必須な入力項目を管理するテーブル user_profile：ユーザーが登録後に設定できる任意の入力項目を管理するテーブル video：ユーザーが投稿した動画を管理するテーブル
S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
JSON からのデータの抽出 - Amazon Athena
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 JSON からのデータの抽出 Athena のテーブルにデシリアライズしたくない、JSON でエンコードされた文字列が含まれるデータソースがある場合があります。このような場合でも、Presto の JSON 関数を使用し、このデータに対して SQL オペレーションを実行できます。 次の JSON 文字列をデータセット例として考えます。 {"name": "Susan Smith", "org": "engineering", "projects": [ {"name":"project1", "completed":false}, {"name":"project2", "completed":true} ] } 例: プロパティの抽出 この JSON 文字列から
再帰 CTE を使用する | BigQuery | Google Cloud
GoogleSQL for BigQuery では、クエリ式で参照できる 1 つ以上の共通テーブル式（CTE）が WITH 句に含まれています。CTE は、非再帰、再帰、またはその両方になり得ます。WITH 句で RECURSIVE キーワードを指定すると（WITH RECURSIVE）、再帰になります。 再帰 CTE は、その CTE 自体、先行する CTE、または後続の CTE を参照できます。非再帰 CTE は先行する CTE のみを参照でき、その CTE 自体は参照できません。再帰 CTE は、新しい結果が見つかるまで継続的に実行されますが、非再帰 CTE は 1 回だけ実行されます。このような理由から、再帰 CTE は階層データやグラフデータのクエリによく使用されます。 たとえば、各行が 1 つのノードを表し、そのノードは他のノードにリンクできるグラフを考えてみましょう。特定の開
The sqlfmt style | sqlfmt
The only thing you can configure with sqlfmt is the desired line length of the formatted file. You can do this with the --line-length or -l options. The default is 88. Given the desired line length, sqlfmt has three objectives: Break and indent lines to make the syntactical structure of the code apparent.Combine lines to use the least possible vertical space, without violating the line-length cons
GitHub - tconbeer/sqlfmt: sqlfmt formats your dbt SQL files so you don't have to
sqlfmt formats your dbt SQL files so you don't have to. It is similar in nature to black, gofmt, and rustfmt (but for SQL). sqlfmt promotes collaboration. An auto-formatter makes it easier to collaborate with your team and solicit contributions from new people. You will never have to mention (or argue about) code style in code reviews again. sqlfmt is fast. Forget about formatting your code, and s
Athena でクエリ結果を再利用する - Amazon Athena
Athena でクエリを再実行する場合、オプションで最後に保存されたクエリ結果を再利用することを選択できます。このオプションにより、パフォーマンスが向上し、スキャンされるバイト数によりコストが削減されます。クエリの結果を再利用することは、たとえば、特定の時間枠内で結果に変化がないことがわかっている場合に役立ちます。クエリの結果を再利用できる最大有効期間を指定できます。Athena では、指定した経過日数を超えない限り、保存された結果を使用します。詳細については、AWS Big Data Blog の「Reduce cost and improve query performance with Amazon Athena」を参照してください。
ALTER GROUP - Amazon Redshift
Amazon Redshift は、2025 年 11 月 1 日以降、新しい Python UDF の作成をサポートしなくなります。Python UDF を使用する場合は、その日付より前に UDFs を作成してください。既存の Python UDF は引き続き通常どおり機能します。詳細については、ブログ記事を参照してください。 ALTER GROUP ユーザーグループを変更します。ユーザーをグループに追加するか、グループからユーザーを削除するか、グループ名を変更するには、このコマンドを使用します。 構文 ALTER GROUP group_name { ADD USER username [, ... ] | DROP USER username [, ... ] | RENAME TO new_name } パラメータ group_name 変更するユーザーグループの名前。 ADD ユ
SQL Training 2021
生成AI利用プログラミング：誰でもプログラムが書けると 世の中どうなる？/opencampus202508
SQLの実行計画の読み方 |
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
LMQL(Language Model Query Language)概観｜mah_lab / 西見 公宏
LMQL Playgroundでクエリを試すLMQLには動作を簡単に検証できるPlaygroundが用意されています。ローカルでPlaygroundを起動することもできます。 まずはGetting Startedで紹介されている以下のクエリを実行します。 argmax "Hello[WHO]" from "openai/text-ada-001" where len(WHO) < 10「Run」ボタンをクリックするとOpenAIのAPI KEYを求められるので、入力します。 実行するとModel Responseの枠に結果が表示されます。 LMQLの基本構造LMQLは記法的にはSQLと似ていて、以下のような構造を持っています。 デコーダ節（Decoder Clause）： テキスト生成に使用するデコード・アルゴリズムを指定します。LMQLでは様々なデコード・アルゴリズムを選択することができ
LMQL is a programming language for LLM interaction. | LMQL
LMQL is a programming language for LLMs. Robust and modular LLM prompting using types, templates, constraints and an optimizing runtime. @lmql.query def meaning_of_life(): '''lmql # top-level strings are prompts "Q: What is the answer to life, the \ universe and everything?" # generation via (constrained) variables "A: [ANSWER]" where \ len(ANSWER) < 120 and STOPS_AT(ANSWER, ".") # results are dir
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[新機能] 入力しながら即座にクエリ結果確認ができるInstant SQLをDuckDB Local UIから試してみた | DevelopersIO![[新機能] 入力しながら即座にクエリ結果確認ができるInstant SQLをDuckDB Local UIから試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7bb5da7488076a23c7df4763b7abe04b07ef0836/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2F5gViLtMI9HM9PfaRlj2Wz2%2Ff45862ae56c4ac624462c5252b15760c%2Feyecatch_duckdb_1200x630.png)
SQL Injection Cheatsheet
Advanced SQL Injection Techniques by nav1n0x | Advanced SQL Injection Techniques
TO_TIMESTAMP 関数 - Amazon Redshift
dbtでのSQLモデル記述時に利用推奨されている『共通テーブル式(CTE/Common Table Expression)』について | DevelopersIO
Amazon Redshift best practices for designing queries - Amazon Redshift
前処理大全[データ分析のためのSQL/R/Python実践テクニック] | 本橋 智光 |本 | 通販 | Amazon