並び順

ブックマーク数

期間指定

  • から
  • まで

361 - 400 件 / 1107件

新着順 人気順

SQLの検索結果361 - 400 件 / 1107件

  • BigQuery時代における、分析SQLコーディングスタイルの提唱 - Qiita

    なぜ、分析SQLコーディングスタイルの提唱が必要か コーディング規約は主に「保守性」「品質」を維持するために求められるルールで、その重要性については周知の通りと考えます。 一方で、SQL、特に分析SQLについては、こういった規約の模範の「答え」がまだ出ていないように見受けられます。 例えばJavascriptであれば、GoogleやAirBnBなど、うまくいっている会社のコーディング規約の転用が可能です。 しかしながら、分析SQLにはそういった事例の公開が少ないのが現状です。 そこで、BigQueryのstandardsqlを前提とし、コーディング規約の最もわかりやすい部分である「コーディングスタイル」について、本記事で提唱します。 本記事は、下記の記事を参考にしています。 BigQueryで読みやすいSQLを書くコツ - たったの3つであなたの意図はもっと伝わる。 分析SQLのコーディン

      BigQuery時代における、分析SQLコーディングスタイルの提唱 - Qiita
    • GitHub - tembo-io/pg_later: Execute SQL now and get the results later.

      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

        GitHub - tembo-io/pg_later: Execute SQL now and get the results later.
      • SQLの練習に最適!ブラウザ上で実行できる初心者向け学習サービス5選 - paiza times

        こんにちは。倉内です。 エンジニアの方は普段SQLを書く機会はあると思いますが、エンジニア以外の方も日常業務でデータの集計や抽出をしたいことってありますよね。(たとえば、資料に根拠となる数値を載せたい、お客さまを納得させるために具体的な数値を見せたい、など) 非エンジニアの方は、エンジニアに依頼してデータを取ってもらうという手もありますが、SQLを学習してある程度自分でできるようになれば、急いでいたり条件を少し変えたりしたいときも対応できて便利です。 ただ、プログラミングと同じく、SQLも眺めているだけでは使いこなせるようにならないため、自由に触れるデータベースがないとSQLを勉強したくてもなかなかできない…という方もいると思います。 そこで今回はWebブラウザ上でSQLを書いて実行できる学習サービス5つと学習の助けになるようなおすすめ書籍をご紹介します。 ブラウザ上でSQLの実行ができる

          SQLの練習に最適!ブラウザ上で実行できる初心者向け学習サービス5選 - paiza times
        • ノーコードの裏にSQL あり:ノーコードの最大の成功事例SQL? - CData Software Blog

          Coral さんのノーコード・スタートアップ記事の成功事例は意外にも「SQL」? こちらのCoral さんの記事コーディングを不要にする「ノーコード・スタートアップ」が注目される理由 にある通り、ノーコードってここ数年のトレンドワードです。 coralcap.co ノーコードツールでよく聞くのはkintone のようなWeb DB + フォームのようなツール、仕様書からコードが自動生成されるアプリ開発ツール、アプリケーション連携・iPaaS などですが、筆者が例に出したのは意外にも「SQL」でした。 個人的には、ノーコーディングの最大の成功事例は、データベースにアクセスするための「SQL」ではないかと思います。今でこそSQLはエンジニアにとっても熟達に時間のかかる専門スキルと見なされていると思いますが、マーケターやセールス担当者がインサイトを得るために、エンジニアに依頼せずとも「コーディン

            ノーコードの裏にSQL あり:ノーコードの最大の成功事例SQL? - CData Software Blog
          • 【Webセキュリティの教科書②】「クッキー機能プラスα」と、典型的な攻撃パターンの一つ「SQLインジェクション」 - ペンギン男の生活@気になるのは、海外SEOとYOGAとお天気

            こんにちは、ペンギン男です🐧 セキュリティというと暗号技術なんかもカバーしていると聞いたので、そんな側面からも関心ありました。しかし、そんなことに着手できるのは、先の先のようです💦小さいことからコツコツとです(by 西川きよし師匠) Web担当者のためのセキュリティの教科書 作者: 株式会社アズジェント/中山貴禎 出版社/メーカー: エムディエヌコーポレーション(MdN) 発売日: 2017/03/02 メディア: Kindle版 この商品を含むブログを見る 出典はアマゾンさん。 【目次】 クッキーの機能を少しだけ掘り下げ。expire属性とsecure属性以外の属性。 脆弱性を悪用する代表的な攻撃手法を二つ クロスサイトスクリプティング SQLインジェクション HTTPレスポンス上のクッキー関連用語 最後に (ページネーションはkindleでの表記に従います) クッキーの機能を少しだ

              【Webセキュリティの教科書②】「クッキー機能プラスα」と、典型的な攻撃パターンの一つ「SQLインジェクション」 - ペンギン男の生活@気になるのは、海外SEOとYOGAとお天気
            • A5:SQL Mk-2に回帰した話 | フューチャー技術ブログ

              はじめにTIG/DXチームの宮崎将太です。 みなさま、ER図を作成するとき、どんなツールを使っていますか? タイトル通りの出オチですが、数度の輪廻転生を経て私はA5:SQL Mk-2(以下A5M2)を使用しています。ツールをお勧めする記事は多数ありますが、意外と現場のリアルな事情を踏まえた投稿は見当たらなかったので、経験を踏まえてER図作成ツールの比較検討していきたいと思います。 What’s A5M2真面目な比較検討は後述しますが、文脈の都合上最低限度の情報としてA5M2が何者か記載しておきます。 無料のER図作成ツール兼SQLクライアント https://a5m2.mmatsubara.com/ 古くは2007年から開発が続けられており、ER図作成ツールとしては超古参。 内部的には1997年から脈々と開発が続けられています。 最近(2022/1/23)も大幅なUpdateが加えられまし

                A5:SQL Mk-2に回帰した話 | フューチャー技術ブログ
              • Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part2

                2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Optimizer 上新卓也氏:これでLogical Planにキャッシュを使うプランが含まれてきたので、その次の処理としてはOptimizerですね。 これは今までプランの書き換えなどはやってこなかったんですが、ここからプランをガシガシと

                  Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part2
                • GitHub - evidence-dev/evidence: Business intelligence as code: build fast, interactive data visualizations in pure SQL and markdown

                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                    GitHub - evidence-dev/evidence: Business intelligence as code: build fast, interactive data visualizations in pure SQL and markdown
                  • drawDB | Online database diagram editor and SQL generator

                    Online database entity-realtionship diagram editor and SQL generator. Design, visualize, and export scripts without an account and completely free of charge.

                      drawDB | Online database diagram editor and SQL generator
                    • 初めてのSQL 第3版

                      SQL言語に初めて触れるプログラマを対象に、SQL言語の基本を解説します。データベースの歴史、概念などの基礎知識から、データベースの作成、クエリの基本、フィルタリング、トランザクションなどまで、実践に必要なポイントを過不足なくコンパクトにまとめ、理解を深められるよう練習問題を用意しています。改訂にあたり、「ビュー」「メタデータ」「解析関数」「大規模なデータベースの操作」「SQLとビッグデータ」の章が追加され、さらに充実しました。SQLを学び始めるのに最適の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。 第1刷正誤表 ■

                        初めてのSQL 第3版
                      • 知識ゼロでもOK!SQL研修を経てエンジニアへのキャリアをスタートしよう! - 株式会社ヴィックスエイジのWebエンジニアの採用 - Wantedly

                        2013年にヴィックスエイジへ新卒入社。 入社当時は派遣営業として駆け回り、 2014年以降、SES営業として 企業様と技術者様のマッチング業務に従事。 2度の産休・育休を経て、二児の母に。 現在はリーダーとしてSES事業をけん引しております。

                          知識ゼロでもOK!SQL研修を経てエンジニアへのキャリアをスタートしよう! - 株式会社ヴィックスエイジのWebエンジニアの採用 - Wantedly
                        • [速報] Cloudflare のエッジ環境で使用できる SQL データベース D1 が発表されました! | DevelopersIO

                          ウィスキー、シガー、パイプをこよなく愛する大栗です。 Cloudflare は今週を Platform Week と題して、様々な発表を行います。その発表で Cloudflare のエッジ側で SQL データベースが発表されました! D1 とは? D1 は Cloudflare のグローバルネットワーク上で動作する SQLite で構築されたサーバーレスな SQL データベースです。D1 は Cloudflare Workers 向けに設計されています。 D1 は一つの場所で状態を保存して、ユーザーがいる近くの場所に読み取り専用クローンを作成して変更の状態を最新に保つという動作をするそうです。これは全世界 270 以上の都市にある Cloudflare の拠点を利用でき、非常に高速なデータアクセスを可能にするのではないでしょうか。 また、D1 を使用してコードを記述する場合は以下のようにな

                            [速報] Cloudflare のエッジ環境で使用できる SQL データベース D1 が発表されました! | DevelopersIO
                          • 第181回 SQLの共通テーブル式(CTE)を使ってみよう | gihyo.jp

                            近年ではRedashやMetabaseのようなBIツールを簡単に導入でき、さらにはMySQLはバージョン8.0からwindow関数が利用できるようになり、より分析的なSQLを記述する機会が増えた読者もいるかも知れません。このような分析に利用するSQLを記述をすると、どうしても長いSQLになってしまいがちで、記述した当時は理解できても、時間の経過や他人のSQLを読み解くのは難しいときもあります。 そこで、今回は共通テーブル式(CTE)について紹介し、分析時に長くなってしまいがちなSQLの読みやすさ改善に少しでもお役にたてればと思います。なお、今回利用しているMySQLのバージョンは8.0.28となります。 CTEとは? CTEとはCommon Table Expressionsの略で、OracleやPostgreSQLにはすでにあった機能であるため知っている方もいるかもしれません。CTEは単

                              第181回 SQLの共通テーブル式(CTE)を使ってみよう | gihyo.jp
                            • BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 | DevelopersIO

                              BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです! やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ

                                BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 | DevelopersIO
                              • 抽出でSQLを書くときに考えていること|データ分析とインテリジェンス

                                自分の思考を文章化してみるSQLを使い始めてちょうど10年になった。その間には随分たくさんのクエリを書いてきたが、ちゃんとした師匠がいたわけでもなければ同じような仕事を同じレベルでやっている同僚もほとんどいなかったのでほぼ全部独学でやってきた。 これでいいのか未だにわからないので、自分がSQLでデータ抽出をしている際の思考や行動を文章化して公開してみる。是非いろいろと突っ込んでいただけると嬉しい。 何を抽出するかを決める目的無きデータ分析は無駄であるでの話と同じで、とりあえず何かを出そうと手を動かし始めてもどこにもたどり着けない。なので最初に「何を抽出するか」を決める。 この段階ではどういったデータをどう集計する、といった詳細には立ち入らず、「知りたいことのために何があればよいか」だけを考える。 依頼を受けてデータ抽出を行う場合はここにはどうヒアリングするかや正しくない依頼にどう対応するか

                                  抽出でSQLを書くときに考えていること|データ分析とインテリジェンス
                                • SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築(Next.jsを例にして) - Qiita

                                  SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築(Next.jsを例にして)SQLite3個人開発Next.jsCloudRunLitestream この記事を書くに至った経緯と目的 個人開発やまだ利益の出ていないアプリって、予算の制約から選べるDBが限られてしまうことがあるよね。 具体的には Amazon DynamoDB や Cloud FireStore のような 「アクセス回数や通信量、保存サイズなどで金額が決まるDB(インスタンス起動時間ではなく)」 を選ぶことが多いと思うのだけど、これらのDBはNoSQLである以上、文字通り、SQLを使えないという難点がある。 だけどNoSQLのノウハウはちょっと一癖あるから、できることなら通常のRDBMSのようにSQLを使いたい... って人が結構いるんじゃないかなと思

                                    SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築(Next.jsを例にして) - Qiita
                                  • Cloud SQL のメンテナンスを理解する: 所要時間は? | Google Cloud 公式ブログ

                                    ※この投稿は米国時間 2021 年 9 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。 今後データベースにパッチを適用する必要が一切なくなると想像してみてください。本番環境のデータベースを停止してオペレーティング システムを更新したことがある方なら、パッチ適用は手間のかかる作業であることをご存じのはずです。Cloud SQL を使用している場合、Cloud SQL が代わりにデータベースを定期的にメンテナンスしてくれるので、この面倒な作業をタスクリストから消し去ることができます。しかし、メンテナンスではどのような作業が行われ、完了までにどれくらい時間がかかるのでしょうか。 このブログシリーズの 1 回目では、ユーザーのインスタンスの最適な動作を維持するため、メンテナンスが Cloud SQL の他のシステム更新とどのように組み合わせられているのかをご紹介し

                                      Cloud SQL のメンテナンスを理解する: 所要時間は? | Google Cloud 公式ブログ
                                    • SQLのデータリネージツール、SQLLineageを試してみる | フューチャー技術ブログ

                                      はじめにTIG DXユニット真野です。Python連載の2本目です。普段はPython触らないのですが、データリネージという概念に興味をもったのと、それをサポートするためのPytnon製ツールがあったので触ってみます。 データリネージとは DWHのようなデータ基盤を整える上で必要になってくる概念で、保持するデータの発生源や、どのシステムがどう加工して保存されたかと言った流れを追跡できるようにすることです。データのトレーサビリティとも言うかなと思います。追跡可能にすることで、異常データの追跡(要はどこのETL処理で考慮漏れがでたりバグっちゃったのか)や依存関係などを捉えることができます。何かしらの分析にそのデータを利用すべきかどうかの重要な材料になるのは間違いないでしょう。システム開発においての影響度調査などにも便利かもしれませんね。 以下のページなどが参考になるかと思います データ ウェア

                                      • Against SQL

                                        TLDR The relational model is great: A shared universal data model allows cooperation between programs written in many different languages, running on different machines and with different lifespans. Normalization allows updating data without worrying about forgetting to update derived data. Physical data independence allows changing data-structures and query plans without having to change all of y

                                        • TOPSIC​ SQL CONTEST

                                          「SQLスキル」を試してみませんか? TOPSIC SQL CONTEST は、SQLスキルを競うコンテストサイトです。 TOPSIC SQL CONTESTは、誰でも参加できるオンラインコンテストです。 コンテスト時間内に出題された問題に対する解答(SQL文)を作成し、提出していく形式になります。世の中にプログラミングスキルを競うコンテストはたくさんありますが、SQLスキルを競うコンテストはほとんどなく、自分がどのくらいの水準なのかを客観的に把握することが困難でした。「TOPSIC SQL CONTEST」はお気軽にご参加いただくことができ、コンテストの順位により自分の実力を知り、スキルアップのモチベーションを得られる機会となります。多くの方々に楽しみながら、ご参加いただけるコンテストを目指していきます。ぜひみなさんご参加ください! 開催スケジュール 第12回 TOPSIC SQL CO

                                          • オラクル、インメモリDBのMySQL HeatWaveに機械学習機能を追加。SQL文だけで学習、推論、説明の取得を実現

                                            オラクル、インメモリDBのMySQL HeatWaveに機械学習機能を追加。SQL文だけで学習、推論、説明の取得を実現 オラクルは、MySQLにインメモリデータベースエンジンを搭載することで高速なOLAP機能を提供する「MySQL HeatWave」の新機能として、機械学習機能を提供する「MySQL HeatWave ML」を発表しました。 同時に、無停止でのHeatWaveのノード拡張と、ノードあたりのデータ格納量の倍増も発表されました。 [プレスリリース抄訳] オラクル、MySQL HeatWave MLを発表 - 開発者が簡単、迅速、経済的に利用可能なMySQL アプリケーション向けの強力な機械学習機能を提供 - Oracle Cloud Infrastructure(OCI)の東京と大阪を含む37のリージョンでご利用可能です https://t.co/ly7qGP8CZ5 #mys

                                              オラクル、インメモリDBのMySQL HeatWaveに機械学習機能を追加。SQL文だけで学習、推論、説明の取得を実現
                                            • GA4のBigQuery SQLを書くときに便利なライブラリ「BigQuery Utils」 | 株式会社プリンシプル

                                              Googleアナリティクス4では無償版であっても、BigQueryにエクスポートされたローデータを活用することができます。 このGA4 BigQueryからデータを取得するSQLクエリですが、覚えることが多かったり、煩雑な処理が増えてしまったりで初心者にとっては難しいものです。 本記事では、筆者が見つけた「BigQuery Utils」というライブラリを紹介するとともに、その中で特に「GA4 BigQueryを使うに当たって便利な関数」を紹介したいと思います。 BigQuery Utilsとは? 「BigQuery Utils」は、Google社がメインで管理しているオープンソース・プログラムの1つです。BigQueryをより便利に使うためのプログラムを、様々な開発者が開発しています。そして世界中の誰もが簡単に利用できるように公開しています。 BigQuery Utils – GitHub

                                                GA4のBigQuery SQLを書くときに便利なライブラリ「BigQuery Utils」 | 株式会社プリンシプル
                                              • GitHub - postgresml/postgresml: The GPU-powered AI application database. Get your app to market faster using the simplicity of SQL and the latest NLP, ML + LLM models.

                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                  GitHub - postgresml/postgresml: The GPU-powered AI application database. Get your app to market faster using the simplicity of SQL and the latest NLP, ML + LLM models.
                                                • Kafka、MongoDB、Maxwell's Daemonを使用したSQLデータベース監査システムの構築

                                                  Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                                                    Kafka、MongoDB、Maxwell's Daemonを使用したSQLデータベース監査システムの構築
                                                  • SQL クライアントツール「DBeaver」が「OSqlEdit」レベルの使いやすさで感動した!! - Beeeat’s log

                                                    皆さんはどんな SQL クライアントツールを使っていますか? 私は普段,MySQL を使っているため「Sequel pro」を使っていました.しかし,たまに PotgreSQL も使うことがあるんですね... 「Sequel pro」は MySQL のクライアントツールのため「pgAdmin」や「PG Commander」を使おう...という話になるのですが...一つの SQL クライアントツールで色々な種類の DB を操作したくなりますよね. そこで思い切って最近の SQL クライアントツールについて調べてみたら「DBeaver」がかなり便利だったので,思いきって「Sequel pro」から移行しました.今回はこの DBeaver について紹介します. DBeaver とは? DBeaver は「DBeaver Corp」が開発したマルチプラットフォーム対応の SQL クライアントツール

                                                      SQL クライアントツール「DBeaver」が「OSqlEdit」レベルの使いやすさで感動した!! - Beeeat’s log
                                                    • GitHub - vanna-ai/vanna: 🤖 Chat with your SQL database 📊. Accurate Text-to-SQL Generation via LLMs using RAG 🔄.

                                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                        GitHub - vanna-ai/vanna: 🤖 Chat with your SQL database 📊. Accurate Text-to-SQL Generation via LLMs using RAG 🔄.
                                                      • Laravel SQLの実行クエリログを出力する - Qiita

                                                        新しいLaravelのバージョンに合わせてアップデートした記事を書きました。 Laravel 10.15.0 以降を使用している場合はご参考にどうぞ。 https://qiita.com/ucan-lab/items/ef95805818b843ce5bce LaravelではEloquentやQueryBuilderを介してデータベースとやり取りしますが、実際に実行されるSQLを確認する時に使用する方法を3つご紹介します。 環境 PHP 8.0 MySQL 8.0.17 Laravel 8.23.1 1. QueryBuilderをSQLに変換したい時 クエリビルダには、 toSql() メソッドを呼び出すことでSQL文を取得できます。プレースホルダの値は getBindings() で取得できます。

                                                          Laravel SQLの実行クエリログを出力する - Qiita
                                                        • SQLでサブクエリを上手に使う6パターン

                                                          はじめまして。Souki.Tです。 SQLを書く上で、使いどころが難しいのがサブクエリです。何でもかんでもJOINして運用するのは格好わるい、サブクエリを使ったら何かカッコいい、結局サブクエリを使いすぎて訳の分からなくなり、作った自分でも手が出せなくなった経験は私だけではないはずです。今回はサブクエリを使う場面をパターンに分けて上手なつき合い方を考えてみたいと思います。 サブクエリとは何かということを説明するのは私には手に余るので誰か説明の上手な人に任せます。どこかにいい解説があったら教えてください。 サブクエリを使わない理由サブクエリの特徴を一言でいうと「重い」。ともかく重い。使い方を間違えたら劇的に重くなることはもちろんのこと、適切に使ったとしても重いものは重いです。普通にJOINで結合して解決するのであれば、使うべきではありません。 それでもサブクエリを使うパターンとはいえ、サブクエ

                                                          • CData Software がSQL クエリツール『A5:SQL Mk-2』のプレミアムスポンサーに

                                                            CData Drivers あらゆるSaaS / DB へのリアルタイム連携を実現する高機能コネクタ。

                                                              CData Software がSQL クエリツール『A5:SQL Mk-2』のプレミアムスポンサーに
                                                            • サービス開発者のためのSQLデータ集計入門

                                                              サービス開発プロセスの各所で必要になるSQLによるデータ集計をなるべくやさしい言葉で書きました。エンジニアはもちろん、デザイナー・ディレクター・サポート担当の方など広くサービス開発に関わる方に読んでいただけると良いなと思っています

                                                                サービス開発者のためのSQLデータ集計入門
                                                              • 話題の ChatGPT + LangChain で、SQL データベースに自然言語でクエリしてみる - Qiita

                                                                はじめに 本記事では、OpenAI の ChatGPT と LangChain の API を使用し、自然言語で SQL データベースに問い合わせを行う方法を紹介します。 具体的には、SQL データベースに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 自然言語による問い合わせ文に対応する SQL クエリを生成させる 生成された SQL 文を SQL データベースに対して実行する SQL クエリの実行結果を自然言語で説明する回答を生成させる この方法を使用することで、SQL の知識がない人でも簡単にデータベースにアクセスできます。 必要なもの 本ブログでは実行環境として Google Colab 上で Python コードを書き

                                                                  話題の ChatGPT + LangChain で、SQL データベースに自然言語でクエリしてみる - Qiita
                                                                • SWR で SQL 発行量を節約する

                                                                  最近 ORM の prisma を触る機会があり「フロントの設計次第で SQL 発行量が結構変わるなぁ」と改めて感じたのでメモ書きです(prisma に限らず、API 設計の際に考察ポイントになる内容です)。本稿では、次の様なアプリケーションを Next.js + prisma で実装するものとして話をすすめます。 著者・カテゴリーが登録できる 本を登録できる 本には、登録ずみの著者が 1 名設定できる 本には、登録ずみのカテゴリーが複数設定できる ユーザー認証が必要で SSG は想定していない タイトルのSWRは、こちらのライブラリを指します。 schema 定義 以下、雑にスキーマを定義します。Author・Category が親テーブル、Book が子テーブルです。 model Author { id Int @id @default(autoincrement()) created

                                                                    SWR で SQL 発行量を節約する
                                                                  • AWS、オープンソースのSQL互換クエリ言語「PartiQL」を発表

                                                                    Amazon Web Services(AWS)は2019年8月1日(米国時間)、SQL互換のクエリ言語「PartiQL」を発表した。「データがどこに、どんなフォーマットで保存されているかにかかわらず、簡単かつ効率的にデータクエリを実行できる」としている。 PartiQLを使えるクエリエンジンであれば、リレーショナルデータベースの構造化データ(トランザクション用と分析用の両方)、オープンデータフォーマット(「Amazon S3」データレイクなど)の半構造化データ、ネストされたデータ、カラムごとに属性が異なる「NoSQL」、ドキュメントデータベースのスキーマレスデータなどを使った処理が可能になる。 オープンソースとして公開 AWSは、PartiQLのチュートリアル、仕様、レファレンス実装をApache License 2.0でオープンソースとして公開した。

                                                                      AWS、オープンソースのSQL互換クエリ言語「PartiQL」を発表
                                                                    • DI-SQL データ分析のためのSQL | データ分析のためのSQLとその応用

                                                                      サイト名 DI-SQL (読み方:でぃーあいえすきゅーえる) DI-SQLの目標:SQLの学習に足りない部分を埋める SQLはすでに多くの入門書があり、近年ではWeb上でコードを書きながら学習できるサイトもかなり増えた。しかし 以前からある入門書はエンジニアの利用が想定されており分析する人のためではない。分析する人向けのSQLは最近になって出始めたがまだ数が少ない公式リファレンスや技術者の発信する情報は情報が多すぎたり詳細な説明はあってもそれをどのように書けばいいかのサンプルが少なく困ることがよくある書籍やWebサイトで基礎的な文法など技術的なことは学べるが、それらをどう組み併せて作っていくかといった実務への応用への橋渡しが無いどんな人が何をするためにどういったことを身に着ける必要があるかのガイダンスが不足しているまずはとにかくSQLに触ってみたいという人向けの情報もあまりない。なので特に

                                                                        DI-SQL データ分析のためのSQL | データ分析のためのSQLとその応用
                                                                      • YDB — an open source Distributed SQL Database

                                                                        YDBYDB is a versatile open source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions. It accommodates transactional (OLTP), analytical (OLAP), and streaming workloads simultaneously.

                                                                          YDB — an open source Distributed SQL Database
                                                                        • A future for SQL on the web

                                                                          I discovered something absurd recently and I’m very excited to tell you about it. The end result is absurd-sql, and it’s a persistent backend for SQLite on the web. That means it doesn’t have to load the whole db into memory, and writes persist. In this post I will explain the absurdities of the web’s storage APIs (mainly IndexedDB), show how SQLite provides a 10x perf improvement, explain all the

                                                                          • How to use Dynamic SQL in BigQuery

                                                                            Let’s say that we want to find the number of confirmed COVID cases over the past 3 days in various Canadian provinces. There is a BigQuery public dataset with information published by Johns Hopkins, and we can query it as follows: SELECT * FROM `bigquery-public-data`.covid19_jhu_csse.confirmed_cases WHERE country_region LIKE 'Canada'We get: There is a column for every dateYikes! There is a column

                                                                              How to use Dynamic SQL in BigQuery
                                                                            • SQLではじめるデータ分析

                                                                              クラウドの普及とともに、SQLの利用範囲は拡大し、データサイエンティストもデータベースを直接扱う機会が増えています。本書は、データ分析に関わるSQLのテクニックを学び、分析プロセスにおいてSQLを最大限に活用するためのものです。時系列解析などでは、SQLが日付・時刻の比較や処理に長けており、威力を発揮できる最たるものです。本書ではデータの前処理から始め、時系列解析、コホート分析、テキスト分析、異常検知など、SQLの操作を通じて高度なテクニックまで学ぶことができる構成になっています。サンプルコードはGitHubからダウンロード可能で、実際に手を動かしながら学ぶことができます。 はじめに 1章 SQLによる分析 1.1 データ分析とは 1.2 なぜSQLなのか 1.2.1 SQLとは 1.2.2 SQLの利点 1.2.3 SQL vs. R/Python 1.2.4 データ分析ワークフローの一

                                                                                SQLではじめるデータ分析
                                                                              • dowanna @PrAha Inc. CEO + 株式会社アガルートエンジニア採用担当 on Twitter: "「あーSQL練習したいなー、どこかにサンプルデータ転がってないかなー」って人はmysqlの公式がオススメだでよ 30万件ぐらいデータ入ってるからパフォーマンスチューニングの練習とかもできそう。ひたすらjoinしまくった時の遅さと… https://t.co/6DECbSgtGv"

                                                                                「あーSQL練習したいなー、どこかにサンプルデータ転がってないかなー」って人はmysqlの公式がオススメだでよ 30万件ぐらいデータ入ってるからパフォーマンスチューニングの練習とかもできそう。ひたすらjoinしまくった時の遅さと… https://t.co/6DECbSgtGv

                                                                                  dowanna @PrAha Inc. CEO + 株式会社アガルートエンジニア採用担当 on Twitter: "「あーSQL練習したいなー、どこかにサンプルデータ転がってないかなー」って人はmysqlの公式がオススメだでよ 30万件ぐらいデータ入ってるからパフォーマンスチューニングの練習とかもできそう。ひたすらjoinしまくった時の遅さと… https://t.co/6DECbSgtGv"
                                                                                • GitHub - Dataherald/dataherald: Interact with your SQL database, Natural Language to SQL using LLMs

                                                                                  Query your structured data in natural language. | | Docs | Homepage Dataherald is a natural language-to-SQL engine built for enterprise-level question answering over structured data. It allows you to set up an API from your database that can answer questions in plain English. You can use Dataherald to: Allow business users to get insights from the data warehouse without going through a data analys

                                                                                    GitHub - Dataherald/dataherald: Interact with your SQL database, Natural Language to SQL using LLMs