タグ

sqlに関するmsyktのブックマーク (11)

  • GitHub - gluesql/gluesql: GlueSQL is quite sticky. It attaches to anywhere.

    GlueSQL is a Rust library for SQL databases that includes a parser (sqlparser-rs), an execution layer, and a variety of storage options, both persistent and non-persistent, all in one package. It is a versatile tool for developers, supporting both SQL and its own query builder (AST Builder). GlueSQL can handle structured and unstructured data, making it suitable for a wide range of use cases. It i

    GitHub - gluesql/gluesql: GlueSQL is quite sticky. It attaches to anywhere.
    msykt
    msykt 2020/08/30
    Rust で書かれたデータベースエンジンライブラリ。GlueSQL-js を見る限り、任意のストレージに対して SQL で問い合わせできるようにするような機能を提供しているように見える。面白そう(Rust 分かんないけど)
  • AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能

    Amazon Web Services(以下AWS)は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in

    AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
    msykt
    msykt 2019/08/05
    “PartiQLの文法はJSON,やParquetやORC、CSVやそのほかのあらゆるデータフォーマットに依存しない。”
  • 冪等なデータ処理ジョブを書く - クックパッド開発者ブログ

    こんにちは、マーケティングサポート事業部データインテリジェンスグループの井上寛之(@inohiro)です。普段はマーケティングに使われるプライベートDMP(データマネジメントプラットフォーム)の開発を行っています。稿では、その過程で得られた冪等なデータ処理ジョブの書き方に関する工夫を紹介したいと思います。今回は、RDBMS上で SQL によるデータ処理を前提に紹介しますが、この考え方は他の言語や環境におけるデータ処理についても応用できるはずです。 まずクックパッドのDMPと、冪等なジョブについて簡単に説明し、ジョブを冪等にするポイントを挙げます。また、SQL バッチジョブフレームワークである bricolage を使った、冪等なジョブの実装例を示します。 クックパッドのDMPと冪等なジョブ クックパッドのプライベートDMPは、データウェアハウス(社内の巨大な分析用データベースで、クックパ

    冪等なデータ処理ジョブを書く - クックパッド開発者ブログ
    msykt
    msykt 2019/07/13
    “ジョブ全体が begin transaction; と commit; で囲われているので、仮に集計クエリに問題があり失敗した場合は、元のテーブルは削除されずに残ります。”/ bricolage が drop table 等の DML 発行を管理してるってことかな?
  • The Volcano/Cascades Optimizer

    The document describes the Volcano/Cascades query optimizer. It uses dynamic programming to efficiently search the large space of possible query execution plans. The optimizer represents queries as logical and physical operators connected by transformation and implementation rules. It explores the logical plan space and then builds physical plans by applying these rules. The search is guided by es

    The Volcano/Cascades Optimizer
  • Beyond EXPLAIN: Query Optimization From Theory To Code

    EXPLAIN is too much explained. Let's go "beyond EXPLAIN". This talk will take you to an optimizer backstage tour: from theoretical background of state-of-the-art query optimization to close look at current implementation of PostgreSQL.Read less

    Beyond EXPLAIN: Query Optimization From Theory To Code
  • Google の SQL parser/analyzer の ZetaSQL とは何であるか

    2019年4月に GoogleSQL parser/analyzer の ZetaSQL が公開されました。 現在 BigQuery Standard SQL や Cloud Spanner で実装されている SQL 方言であり、 Cloud Next 2019 で BigQuery UI から Cloud Dataflow で実行されるパイプラインを記述できる機能として発表された Cloud Dataflow SQL にも使われることがツイートからも見て取れます。 ZetaSQL については Google の外の人がまともに言及しているのを見たことがなく、聞いたことがないか様子見という人が多いと思うので分かっていることを書いていきます。 既存の文献から見る素性ZetaSQLSpannerSQL 実装について書かれた Spanner: Becoming a SQL Sys

    msykt
    msykt 2019/05/16
  • EmacsでSQL文を整形する - Qiita

    はじめに SQL文を整形するという記事を書きました。 なぜこんなことがしたいかというと、Emacs上でSQL文を整形したいからです。 Emacsにはshell-command-on-regionという関数があります。 これは、リージョン内のテキストを標準入力に渡して外部プログラムを実行します。 そして、その結果でバッファを書き換えることができます。 これを利用してSQL文の整形をEmacs上で行うことができます。 前準備 SQLを整形する外部プログラムを用意します。 標準入出力が使えればなんでもいいのですが、ここでは前述の記事で作成した拙作(といってもライブラリを呼び出すだけ)のsql-formatterを使用します。Java(JRE)が必要です。 https://github.com/sambatriste/sql-formatter/tree/master/binary からjarをダ

    EmacsでSQL文を整形する - Qiita
    msykt
    msykt 2016/10/15
    EmacsでSQLを整形したいことが多々あるので助かる
  • SQL文を整形する - Qiita

    はじめに コマンドラインからSQL文を整形できるツールを探していましたが、 あまり気に入ったものがなく困っていました。 以下のURLを見ると、HibernateのBasicFormatterImplクラスを使えば、 かんたんにSQL文を整形できることがわかりました。 Looking for an embeddable SQL beautifier or reformatter Groovyの場合 Groovyの場合は非常に簡単で、1つのスクリプトファイルで実現できます。 /** * 標準入力からSQL文を読み取り、整形したSQL文を標準出力に出力します。 */ @Grab(group='org.hibernate', module='hibernate-core', version='5.2.3.Final') import org.hibernate.engine.jdbc.intern

    SQL文を整形する - Qiita
    msykt
    msykt 2016/10/15
    なるほどこんな方法があるのかー
  • SQLスタイルガイド - Qiita

    はじめに 文書はSQLのスタイルガイドです。 PythonRubyのようなプログラミング言語には有名なスタイルガイドがあり、共通のレイアウトルールに沿ったインデントや命名規則に則ったコードが生み出されています。 一方、SQLには知名度のある統一されたスタイルガイドがありません。 そのため、思いのままに書かれたSQLが散見されます。 もちろん、SQLを使ってアドホックな分析を行う場合は、必ずしもルールに沿う必要はなく、効率よく書いても良いと思います。 しかし、Webサービスやバッチの中に組み込むようなもの、つまり自分以外の誰かに読まれるSQLは、多くのプログラミング言語同様に何らかのスタイルガイドに沿うことで多くのメリットを享受できると思います。 クエリが構造化され、可読性が高まる バグの発見や修正が容易になる 改行位置やインデントなどのフォーマットの悩みが解消される スタイルガイドを共

    SQLスタイルガイド - Qiita
    msykt
    msykt 2015/12/30
    IDEじゃくなて整形してくれるコマンドないかな
  • Teradata Presto | Product Details | Open Source

    Teradata Blogs When big data becomes vast, what's your data dropping strategy? Read more Support Teradata at Your Service (TAYS) Simple, secure customer access to products, services, education, and support function information. Read more Certifications Teradata Certified Professional Program (TCPP) Management, development, and oversight of the premiere Teradata Certification Program. Read more Con

    Teradata Presto | Product Details | Open Source
  • 現場で生かせるノウハウを惜しみなく伝授! 「パフォーマンス改善と事前対策に役立つ Oracle SQLチューニング」 | oracletech.jp

    システム構築プロジェクトにおいて、避けては通れないSQLパフォーマンス問題をいかにして解決し、予防するのかを解説した一冊「パフォーマンス改善と事前対策に役立つ Oracle SQLチューニング」のご紹介です。  以前コーナーでご紹介した、Oracleコンサルタントの加藤祥平氏、中島益次郎氏による「基礎から学ぶ Oracle SQLチューニング」に加筆・改稿した新装版となる書は、「SQLパフォーマンス問題、SQLチューニングの苦労を世の中のプロジェクトから少しでも減らしたい」という想いのもと、「SQLパフォーマンス問題の発生理由を捉える」、「SQLパフォーマンス問題を『解決』する」、「SQLパフォーマンス問題を『予防』する」の3つをテーマに、定型的に実施可能な基礎的なものから、Oracleデータベースのアーキテクチャを踏まえた応用的なものまで、さまざまな観点からSQLチューニングのノウハ

  • 1