データアナリストのためのLLM時代のSQL作成術｜Mercari Analytics Blog
メルカリのデータアナリストの@__hiza__です。メルカリではデータアナリストとして日々SQLを使ったデータ分析をしつつ、業務外ではPythonを使ったアプリケーション開発を行っており、どちらの作業にもLLMを活用しています。 この記事ではデータアナリストに向けて、LLMにSQLを作成させて効率的にデータ分析を行うテクニック と、その背景にある応用可能な考え方を説明します。 関連記事メルカリでは、LLMをデータ分析の現場に活かすさまざまな取り組みが生まれています。 例えば、対話形式で誰でも手軽にデータ分析ができる社内ツール「Socrates」があります。これはデータアナリストに限らず、より多くのメンバーがデータを活用できるようになる強力なツールです。 一方で、私たちデータアナリストが日々向き合う、より複雑で専門的な分析を効率化する取り組みも行っています。 先日、私と同じデータアナリストの
ORMなんていらない？！生SQLクエリ開発を超絶楽にするVSCode拡張を作った [TS+Rust+WASM]
TL;DR これができる機能です。 TypeScript with Prisma ⇩ Rust with SQLx ⇩ SQL ファイルだけでなく、他のファイルの生 SQL クエリ(Raw SQL Query)に対しても SQL の LSP が効きます。 現在は TypeScript 上 の Prisma と Rust の SQLx をデフォルトでサポートしています。Prisma のみ、SQL のシンタックスハイライトが効きます。 なお、タイトル詐欺です。 sqlsurge の設定 名前は sqlsurge[1] です。sqlsurge では SQL の Language Server に Golang 製 の sqls を使っているので、 Golang sqls が必須となります。sqls をインストールしている人は限られていると思うのでインストールガイドを用意しました。 TypeScr
![ORMなんていらない？！生SQLクエリ開発を超絶楽にするVSCode拡張を作った [TS+Rust+WASM]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5fdd4697c14676d24ce64e1fe001d5d40bc1d2b/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--bqOiL8f5--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AORM%2525E3%252581%2525AA%2525E3%252582%252593%2525E3%252581%2525A6%2525E3%252581%252584%2525E3%252582%252589%2525E3%252581%2525AA%2525E3%252581%252584%2525EF%2525BC%25259F%2525EF%2525BC%252581%2525E7%252594%25259FSQL%2525E3%252582%2525AF%2525E3%252582%2525A8%2525E3%252583%2525AA%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E8%2525B6%252585%2525E7%2525B5%2525B6%2525E6%2525A5%2525BD%2525E3%252581%2525AB%2525E3%252581%252599%2525E3%252582%25258BVSCode%2525E6%25258B%2525A1%2525E5%2525BC%2525B5%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252581%2525A3%2525E3%252581%25259F%252520%25255BTS%25252BRust%25252BWASM%25255D%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ASENKEN%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Q3ZTQyODM5Y2UuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
ウェブ開発・データ処理・RAG・AI・SQL・ネットワークなどさまざまな分野のわかりやすい動画講座でスキルアップにつながるUdemyブラックフライデーセールおすすめ講座レビュー
ITのスキルを身につける事は個人のキャリアアップにつながるだけでなく、タスクを自動化したり検索をAIに任せたりするなど、業務を効率化することが可能です。とはいえ、知らない分野の知識を身につけようとする時には「何をどのように学べば良いのか」が分からないもの。ちょうどUdemyが2024年11月29日(金)までブラックフライデーセール、12月1日(日)から12月2日(月)までサイバーセールを行っており、多数の分野の実用的な知識が身につく動画形式の対象講座が1講座1300円～で受講するチャンスということで、いくつかの講座をピックアップしてみました。 オンラインコース - いろんなことを、あなたのペースで | Udemy https://www.udemy.com/ ・目次 ◆1：AIに検索能力を持たせる「RAG」を学んで社内データなど独自のデータを元に回答するAIを作成できる講座 ◆2：Pyth
「みんなさぁ、データベースって何で学んだ？」単なるSQLやテーブル設計のいろはとかではなく『データベース』そのものの勉強についての質問に有益な情報が集まる
𝕏 𝕃（おおきなえる）🌸🐻💿⚒️ @ellnore_pad_267 みんなさぁ・・・ データベースって何で学んだ？ あんま学ぶチャンスなくね？ そんなことはないか？ 単なる SQL やテーブル設計のいろはとかではなく『データベース』そのものの勉強な。 オプティマイザとかその辺の細かい部分の話。 2024-09-09 20:18:38 𝕏 𝕃（おおきなえる）🌸🐻💿⚒️ @ellnore_pad_267 > 単なる SQL やテーブル設計のいろはとかではなく『データベース』そのものの勉強な。 オプティマイザとかその辺の細かい部分の話。 この部分読めてない奴が一定数おる？？？？ 2024-09-10 10:12:46
Google、SQL構文の大改革を提案 — パイプ構文により可読性と生産性を大幅に向上
8月26日、Googleの研究部門であるGoogle Researchが「SQL Has Problems. We Can Fix Them: Pipe Syntax In SQL」と題した論文を公開した。この記事では、SQLの問題点とそれを解決するために提案された新しいパイプ構文について詳しく紹介されている。 以下に、その内容を紹介する。 SQLの課題 SQLは、データベースクエリ言語として広く普及しているが、設計上の問題が多く指摘されている。特に、SQLは学習や使用が難しく、柔軟性に欠ける点が挙げられる。サブクエリや冗長な構文が必要とされることが多く、これがクエリの可読性やメンテナンス性を低下させている。また、拡張性の低さも問題となっており、新しい操作や機能を追加する際には、多大な労力が必要となることが多い。 パイプ構文の提案 この論文では、これらの問題を解決するために、パイプ構文を提
SQL滅ぶべし | ドクセル
SQL • リレーショナルデータベースシステムと会話するための言語 • 1970年 Codd が RDB モデルと同時に提案 (Alpha言語) • 1974年 Chamberlin と Boyce が改良 • 元々は SEQUEL (Structured English Query Language) だったが、商標登録されていた • 読み方は エスキューエル とそのまま読む (Glliespie 2012) SQL • SQL は目的別に 4つに分けられる • DCL (データ制御言語) GRANT とか • DDL (データ定義言語) CREATE TABLE とか • TCL (トランザクション制御言語) ROLLBACK とか • DML (データ操作言語) • INSERT, UPDATE, DELETE, SELECT • データ分析者にとって重要なのは SELECT 文
無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場
クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力
ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics
igaです。 ポケモンsleepを継続していますが、カビゴン評価がマスターになれません。 ChatGPTが見たり、聞いたり、話したりできるようになる、と言われている「GPT-4 with vision (GPT-4V)」が使えるようになったので、早速使ってみたいと思います。 openai.com 今回は、データベースのテーブル関連図を画像ファイルでもらった想定で、画像からテーブルのDDLが生成できるかを確認してみます。 やりたいこと 以下のような、テーブルの関連図とサンプルデータが描かれた画像ファイルをもらいました。 この画像ファイルをChatGPT-4に渡して、SQLのDDLが生成できるか確認します。 画像を解釈できるか確認する いきなりDDLを作らせる前に、まずは画像ファイルに書かれたテーブル構造を、マークダウンで出力してもらいます。 プロンプトの入力欄の左に絵のアイコン（画像の赤で囲
データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
SQLとMarkdownで洗練されたデータプロダクトを構築できるBiツールOSS・「Evidence」 - かちびと.net
EvidenceはSQLとMarkdownで洗練されたデータプロダクトを構築できるBiツールOSSです。MITライセンスの元でソースコードが公開されています。 従来のD&DによるBiツールではなくコードベースとなっており、データアナリストが信頼性が高く価値のあるレポートを提供できる事を想定したものとなっているそうです。 コードベースにする事で、アナリストがダッシュボードにチャートやフィルタをD&Dで作業するよりも、より活用度の高いワークフローをアナリストに提供できるようになるのだそう。 そのため、利用にはSQLとMarkdownの知識が前提条件となっています。D&D仕様のBiツールに使いにくさを感じている方はご覧になってみては如何でしょうか。 Evidence
SQLの実行計画の読み方 |
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
ChatGPTにSQLチューニングさせてみた - Qiita
ChatpGPT（モデルはGPT-4を利用）にシンプルなSELECT文とテーブル・インデックス定義を与えてSQLチューニングの案出しをしてもらいました。 ちなみに、プロンプトやChain of Thought などの工夫は一切せず、シンプルに質問をぶつけています。 以下、注意事項。 実務利用と比べるとシンプルすぎるのでお遊びの範囲を超えていません。 どのチューニング案が適切かは多くの要素（例えば以下）が関わってくるので、一概に判断できず実際に測定を行い確認する必要があります。 データ量やその分布 ハードウェアやRDBMSの種類・バージョンなどの環境 性能要件（何秒以内のレスポンスが必要か、同時実行数はいくつかなど） ChatGPTへの質問とその回答 1. 単純なインデックスが不足しているケース 質問 以下のSQL文の性能を改善するにはどうしたらよいでしょうか。 select custome
ChatGPTでSQLを自動生成する「SQL AI アシスタント」、DB管理画面のローコード開発ツール「Dashcomb」に追加 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 新製品・サービス ＞ ChatGPTでSQLを自動生成する「SQL AI アシスタント」、DB管理画面のローコード開発ツール「Dashcomb」に追加 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [新製品・サービス] ChatGPTでSQLを自動生成する「SQL AI アシスタント」、DB管理画面のローコード開発ツール「Dashcomb」に追加 2023年3月6日(月)日川 佳三（IT Leaders編集部） リスト Dashcombは2023年3月6日、社内システム管理画面ローコード開発ツール「Dashcomb」にSQL自動生成機能「SQL AI アシスタント」を追加した。ChatGPT3.5が日本語や英語による指示からSQLを自動生成する。データソースとなる外部データベー
Software Design「データベース速攻入門」に「SQL50本ノック」が掲載されました - LIVESENSE ENGINEER BLOG
リブセンスでデータエンジニアをしている富士谷です。 Software Designのデータベースに関連する特集記事を再構成した「データベース速攻入門 ～モデリングからSQLの書き方まで」が、2023年3月に発売されました。 gihyo.jp リブセンスがSoftware Design 2017年11月号に寄稿した「データ分析に効くSQL50本ノック」が、内容を更新して再掲載されました。 今回、再掲載にあたって、「SQL50本ノック」の内容の更新を私が担当しましたので、簡単に紹介します。 SQL50本ノック 「SQL50本ノック」は、SQL、特にSELECT文の演習問題集です。 PostgreSQLをDockerで立ち上げて、もっともシンプルな例から実行し、WHERE句、LIMIT句などを一つ一つ体験し、最後には、移動平均といった高度な文法を習得する事ができます。 これを読めば、SQLを使っ
SQLを速くするぞ―お手軽パフォーマンス・チューニング
このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、『プログラマのためのSQL 第2版』の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。 最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、それはボトルネック（一番遅いところ）を改善することです。当たり前ですが、既に十分速い処理をもっと速くしたところで、システム全体のパフォーマンスには影響しません。従って「処理が遅い」と感じたら、最初にすることは、SQL やアプリの改修ではなく、「どこが遅いのか」を調査することです。いきなりあてずっぽうで改善をはじめても効果は出ません。医者が患者を診るとき最初にすることが検査であるのと同じです。病因が何であるかを突き止めてからでないと、正しい処方はできないのです。 その基本を承知していただいた
機械学習モデルはSQLで作る、DXで存在感増すデータベース3つの新常識
今回はクラウドにデータベースを新たに構築したり、移行する際に知っておくべき、デジタルトランスフォーメーション（DX）時代のデータベースの「新常識」を3つ紹介しよう。 DXの要請から素早い環境変化に対応するために進むクラウド活用。データベースもクラウドでの構築がスタンダードになりつつある。DXの進展でデータベースに対して、これまでより高い次元の要件が求められてきた。 その1つが、収集するデータや分析・利用形態の多様化だ。例えば小売業などでは、従来の顧客や売り上げのデータをベースに、天候や気温、交通情報、店舗近隣のイベント情報などさまざまなデータを組み合わせて分析したいとのニーズが高まっている。分析結果を迅速な予測に生かしたいとなれば、発生してからタイムラグのないデータの取得も求められる。 高度化する要件に応えるため、データベースは進化を続けている。その結果、データベースにも新たな常識が生まれ
BigQuery のユーザー フレンドリーな SQL とともに快適な夏を | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 5 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 夏をすぐそこに迎え、熱気が高まってきています。しかし今月、BigQuery が、ユーザー フレンドリーな SQL のリリースとともに、冷たい飲み物でいっぱいのクーラー ボックスのような快適さをお届けします。 今回発表する BigQuery のユーザー フレンドリーな SQL のリリースには、3 つのカテゴリがあります。強力な分析機能、柔軟なスキーマ処理、新しい地理空間ツールです。 強力な分析機能この強力な SQL 分析機能によって、アナリストが BigQuery でデータを整理、フィルタリング、レンダリングする際の柔軟性が、かつてないほど向上します。PIVOT と UNPIVOT を使用して集計データにスプレッドシートのような機能性を実現し、QUALIFY を使用して分
SQLで機械学習モデルを作れる「Amazon Redshift ML」が一般提供に
Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニングに使用するデータと、予測する出力値を指定することで、機械学習モデルを作成できる。 機械学習モデルの作成後は、指定されたデータをAmazon RedshiftからS3バケットへエクスポートし、Amazon SageMaker Autopilotを呼び出してデータを準備し、適切なビルド済みアルゴリズムを選択してトレーニングを行う。 トレーニングやコンパイルなど、関連するすべての処理が、Amazon Redshift、S3、SageMakerの連携によって行われ、モデルのトレーニングが完了すると、Amazon Redshift MLはSageMaker Neoでモデルをデプロイ用に最適化し、SQL関数と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
簡単なSQLをpandasに紐づけて学習しよう - Qiita