2016/12/15 SQLチューニングと対戦格闘ゲームの類似性について語る。 JPOUG Advent Calendar 2016 Day 152016/12/15 SQLチューニングと対戦格闘ゲームの類似性について語る。 JPOUG Advent Calendar 2016 Day 15
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。 自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。 引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。 Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html よりそんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。 sqllineage は Pythonで実装されているSQLのlin
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
JDBC setFetchSize() ではまった話 | TECHSCORE BLOG | TECHSCORE BLOG
JDBCのsetFetchSizeメソッドはご存知でしょうか？ 通常、クエリの結果はResultSetにすべてロードされます。このため、大量のレコードを取得するようなクエリではOutOfMemoryErrorが発生してしまいます。 このような場合に有効なのがsetFetchSizeです。 たとえば、クエリ発行の前にsetFetchSize(1000)とすると、1000件ずつResultSetにとりこまれるようになり、OutOfMemoryErrorを回避することが可能です。 （もちろん、搭載メモリ量、１レコードあたりのサイズによります！） しかし、ここに罠がありました。。。 setFetchSizeを使用しているにもかかわらず、全件がResultSetにロードされてしまう場合があるのです。 JDBCドライバごとにsetFetchSizeの挙動がかなり違っているので、はまりどころです。 今回
すべてのエディタでSQLの自動補完をするためにSQL Language Server(sqls)を作った - Qiita
sqlsとは sqlsとは、いま私が開発中のSQL用Language Serverです。SQLをエディタで編集するときの支援機能を実装したサーバとなっており、主な特徴は以下です。 Language ServerなのでLSクライアントが存在するエディタであればどんなエディタでも利用可能 SQL編集支援機能 自動補完(テーブル名、カラム名など) 定義参照 SQL実行 複数のRDSMSに対応 MySQL PostgreSQL SQLite3 Language Serverとは Language Server(あるいはLanguage Server Protocol)とは、プログラム言語の開発支援機能をエディタに提供するサーバ、およびその通信内容を規定したプロトコルです。ただしサーバといってもほとんどの場合ローカル内にホスティングしてローカルのエディタと通信をします。 ここでは主題ではないので詳し
俺が考えた最強のSOQL実行ツールを作りました - Qiita
LWC SOQL Builder 百聞は一見。こんなツールを作りました↓ 名前は「LWC SOQL Builder」です。Lightning Web Componentsのオープンソース版で作ったSOQL構築ツールなので、LWC SOQL Builder… 最初（仮）でつけてた名前なんですが他の名前が思いつかず、そのままリリースまで変わらずに来てしまいました。 社内ハッカソンで作っていたんですが、作っていたら楽しくなってしまって、自分が欲しい機能を詰めに詰め込んでしまいました。 https://lwc-soql-builder.github.io/ ツールはこちら↑で公開しています。ソースコードもMITで公開しています。 せっかくだから海外の人にも使ってほしいなと（適当な）英語で作ったので、サイトにはあまり説明を書けませんでした（英語がおかしいところがあったら教えてもらえると非常に助かりま
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
SQLExceptionから取得できるSQLSTATEとエラーコード - HHeLiBeXの日記 正道編
ふとjava.sql.SQLExceptionのJavaDocを見ていたら、SQLSTATEとベンダー固有のエラーコードを取得できることに(いまさら)気づいた。 ベンダー固有のエラーコードはログに吐き出すくらいしか用途を思いつかないが、SQLSTATEはある程度規格化されているはずなので、どの程度役に立つものなのか調べてみた。 Javaプログラムから、以下のSQL文を順に発行してみる。(各SQL文の後ろに書いてあるのは、PreparedStatementに対して指定するパラメータ) CREATE TABLE hoge(idx INTEGER NOT NULL PRIMARY KEY, str VARCHAR(8) NOT NULL); -- OK INSERT INTO hoge(idx, str) VALUES(?, ?); -- 0, "hoge" -- (1) NG: 主キー制約に反
What’s New in SQL:2016
In December 2016, ISO released a new version of the international SQL standard (ISO/IEC 9075:2016). It supersedes the previous version from 2011. This article is a brief overview of the new features being introduced into the SQL language. Strictly speaking, this article covers the additions to part 2 of the standard (SQL/Foundation), i.e. the most commonly used part. This article also shows the av
データベースは全用途でNonStopに統一--HPEの社内IT戦略
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米Hewlett-Packard Enterprise（HPE）は、2017年から社内のサーバ基盤をクラウドへと移行している。2014年時点で物理サーバは全体の90％を占めたが、2017年以降はこれを10％に減らし、プライベートクラウド（50％）と、Salesforce.comなどのSaaSサービス（40％）に置き換える。2019年2月現在、75～80％の業務システムがクラウド環境に移行済みだ。 「HPE社内では、リレーショナルデータベースはSAP HANA以外の全てのケースでHPE NonStop SQL/MXを使っている。スケールアウト型の分散データベースでありながら、システム障害発生時でも無停止で動き続ける。用途に合わせてデータベ
3値論理とNULL
要するに、データベースにnullが1つでも含まれていれば、クエリから正しくない結果が返される可能性がある。しかも、一般的には、どのクエリから正しくない結果が返されるのかを知る方法はないので、すべての結果があやしく見えてくる。nullが含まれたデータベースから正しい結果が得られることは確信できない。筆者に言わせれば、この状況はまさにお手上げである。 ――――C.J.デイト はじめに 多くのプログラミング言語が、真理値型（BOOL型、BOOLEAN型）というデータ型を持っています。もちろん、SQLにも真理値型が存在します。ユーザーが直接扱えるデータ型として定義されたのはSQL-99ですが、WHERE句などの条件の評価時にも真理値の演算が行なわれています。 ところで、普通のプログラミング言語の真理値型とSQLの真理値型の違いをご存知でしょうか？ それは、普通の言語の真理値型が、true、fals
ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog
※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ
Database Streaming with ksqlDB | Confluent
Now that your data is in motion, it’s time to make sense of it. Stream processing enables you to derive instant insights from your data streams, but setting up the infrastructure to support it can be complex. That’s why Confluent developed ksqlDB, the database purpose-built for stream processing applications.
SQL Suggest API | PRODUCT | A3RT
DETAIL SQL Suggest API は Seq2Seq の応用タスクであり、機械翻訳の分野で発展した技術です。 質問文とSQLの組み合わせを大量に学習させることで、未知の質問文に対してもSQLを予測することができる学習器です。 汎用的な学習器ではなく、テーブル定義にあわせてデータセットを準備することで高い精度の学習器が獲得できます。 NOTES 個人情報について： 他人の名称・メールアドレス・住所・電話番号など個人を特定しうる情報はアップロードしないでください。 推奨ブラウザについて： 本ページはGoogle Chromeを推奨しています。 Google Chrome以外のブラウザでは正しく作動しないケースがあります。 REFERENCE predict dataset_URL create_model model_status SQL Suggest API （predict）
日本語からSQL文を生成！リクルートのAI A3RT「SQL Suggest API」でクエリを作る | Ledge.ai
TOP > Technology > AI（人工知能） > 自然言語からSQL文を生成！リクルートのAI A3RT「SQL Suggest API」でクエリを作る データベースから任意のデータを引っ張ってくるために必要な、SQL文。 たとえば、 SELECT name FROM member WHERE gender = male;という命令（クエリ）を出すことで、データを取得します。上記のSQL文を日本語に変換すると「性別が男性である名前をmemberテーブルから取得」となります。 エンジニアであれば、さくっとこなせるかもしれませんが、サービス改善などのPDCAをスピーディーに回すとなると、マーケティング担当者やいわゆるWeb担当者も、扱えるほうがいいに決まってますよね。 ただ、やはりハードルが高いのも事実。 そこで紹介したいのが “日本語の質問文をSQLに変換する” リクルートAI A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/otnjp/post/oracle-sql-image-index
サービス終了のお知らせ
テーブル一覧を取得するSQL(Oracle/MySQL/PostgreSQL/SQLite/SQLServer/Cassandra) - Qiita
SQL 3d engine (interactive preview)
Reasoning in the presence of NULLs