Google Cloudは、NoSQLデータベースとして提供しているBigtableの新機能として分散カウンタを正式版にしたことを発表しました。また、SQLクエリのサポートもプレビュー機能として提供を開始したことを合わせて発表しました。 Bigtableで分散カウンタ機能が正式版に Bigtableはキーバリューストア型のNoSQLデータベースであり、高度なスケーラビリティを備えつつ高速で低レイテンシな性能を提供することを大きな特徴としています。 こうしたBigtableのスケーラビリティと高い性能を実現する仕組みとして、デフォルトで採用されているのが「結果整合性」です。 結果整合性では、最終的にデータベースのデータが集約されて整合性を備えるのに一定の時間を必要とする場合があります。 そのため、例えばカウンタのように、データベース上のある値に1を足した値をデータベースに書き込む処理では、1
【SQLを使ったデータ分析事例紹介！】 データ分析が必須の時代においてSQLを活用したデータ分析は非常に便利です。今回は基本的なSQLの理解と共に、実際にSQLを使ったデータ分析の事例を2つご紹介します。SQLを使ってどのようなデータ分析ができるか具体的に知りたい方などぜひご参加ください。 本セ…
(詳細は有料部分に書いていますが、ポエムなので大したことは書いていません) メルカリの事例: 社内勉強会からセルフサービス化へのシフト社内でSQL勉強会を開催している有名なIT企業と言えばメルカリですが、先のpost元でもあるように、昔から勉強会活動は盛んだったようです。 今北産業でまとめると、 BigQuery + Lookerを起点とした環境は昔から提供している。 SQLを書かないとデータ取得できないし、結果の質も担保できていない。 安くて早くて簡単なno SQLな環境であるLooker Exploreを整備し、運用している。 だいたいこんな内容のことが書かれています。間違っていたら指摘をお願いします。 SQL勉強会が設計通り順調に社員のSQLスキルの底上げが実現できていれば、後者で紹介したようなissueはおそらく発生しないと仮説しています。 なぜならば、SQLを書けるような強い人材
ChatGPT×SQL ではじめるデータ取得入門
こんにちは、キカガクでエンジニアをしている高橋です。 エンジニアではなくても SQL が使えるとビジネスに便利というのを聞いたことがあるけど、なんだか難しそうで手をつけられていない…そんな方も多いのではないでしょうか？ 私は普段 SQL を書いていますが ChatGPT をはじめとした生成 AI の発展により、SQL が非常に扱いやすくなりました。また、これから SQL を学びたいという方も、ある一定 ChatGPT を SQL を書けば仕組みなどが理解しやすいようになったと感じています。 この記事では ChatGPT を活用して SQL でデータ取得する方法を紹介します！ 目次 SQL とは データ取得してみる 顧客情報を取得する 売上情報とそれに紐づく顧客情報を取得する 条件を指定して取得する まとめ：ChatGPT と試行錯誤しながら SQL を習得しませんか？ SQL とは SQL
Google Cloud、Spanner Graphのプレビュー開始とBigtableのSQLサポートを発表 Google Cloudは2024年8月2日、年次イベント「Google Cloud Next Tokyo '24」において、データベースサービスに関する新たな機能を発表した。 Google Cloud、革新的なデータベース新製品を発表 | Google Cloud公式ブログ 今回プレビューとして提供が発表されたのは、同社のデータベースサービスSpannerのマルチモデル機能を拡張し、実質的に制限のないスケーラビリティをそのままにGraphデータベースに対応したSpanner Graph。Spanner Graphは、グラフクエリ言語（GQL）をサポートしている。GQLはSQLとの互換性が高く相互運用可能なため、単一の操作で構造化データと接続されたデータのシームレスなクエ
INSERT INTO テーブル名 (列1, 列2, 列3, ...) VALUES (値1, 値2, 値3, ...);
今回は、「ROWNUMの理解と関連SQL性能問題の理解」の2回目です。それでは、始めましょう。 12.２ ORDER BYとROWNUMを同じ位置に置くのをやめよう SQLチューニングをしていれば、ROWNUMとOrder By節を同じ位置に使って誤ったデータが抽出されるのを時々目撃することになります。 間違って抽出されたデータが照会目的だけで使われるならばまだ幸いですが、このデータが違うトランザクションのために抽出された場合、データの整合性まで毀損され大きい問題になります。 このような問題を予防するためにはROWNUM条件がSQLの構成要素らと一緒に使われる時どんな順序で実行されるのかから理解する必要があります。 SQL構成要素は以下のような順序で実行されます。 FROM,WHERE節を処理ROWNUM組にしても適用SELECT COLUMN LIST節を適用GROUP BY節を適用HA
SQLのcaseは列の値によって結果を出し分けたいときに便利な書き方である。 列名がwhenの外側かにくるか内側にくるかで大きく分けて2つの書き方があり、前者をcase式、後者をcase文と呼ぶ向きもある。*1 case <列名> when <条件１（「= 特定の値」など）> then <表示したい値１> when <条件２> then <表示したい値２> … else <その他の場合に表示したい値> end as <表示したい列名> case when <列名> <条件１> then <表示したい値１> when <列名> <条件２> then <表示したい値２> … else <その他の場合に表示したい値> end as <表示したい列名> 対象の列に対してnull判定をしたい場合、「<列名> is null」という条件をひと続きで書かなければならない。 このため、null判定のほかに
半角/全角、大文字/小文字、ひらがな/カタカナがごちゃまぜでもヒットさせるSQL文です。 例えば、抽出対象が「さまぁ～ず」というワードであれば、 ・サマァ～ズ ・ｻまァ～ズ ・さまあ～ず でもヒットします。 逆に、 ・さまーず ・さまぁーず ・さまぁ～ｽﾞ ・バカルディ ではヒットしません。 「さまぁ～ｽﾞ」はいけそうな気がしてしまいますが、ズが「ｽ＋濁点」になるので残念ながらヒットしません。 そんなさまぁ～ずのためのSQL文がこちら。 SELECT * FROM `table_name` col_name COLLATE utf8mb4_unicode_ci LIKE '%キーワード%' COLLATEで照合順序を指定して、LIKE 演算子でマッチさせます。 照合順序はデータベース側でテーブルごとに設定されているので、期待通りの抽出ができているならば指定は不要です。 照合順序の記述方法は
![[MySQL] 半角/全角、大文字/小文字、ひらがな/カタカナを区別しないSQL文（あいまい検索）](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cd95c13d9aa15a363e06fc552218702c6f62f86/height=288;version=1;width=512/https%3A%2F%2Fwww.560designs.com%2Fwp%2Fwp-content%2Fuploads%2F2016%2F02%2Fogp_logo.gif){kind=logo}
Databricks SQL AI Functions を使ってデータ分析してみる（マスキング・要約・文法修正） - Qiita
はじめに 株式会社NTTデータ デジタルサクセスソリューション事業部 の nttd-saitouyun です。 今回は、DATA + AI Summit 2024 で発表された Databricks SQL の AI Functions を使って kaggle で公開されているデータを分析してみようと思います。 AI for SQL アナリスト これまでSQLでAIを利用するには、データサイエンティストがAIモデルをAPI化し、データアナリストがSQLのUDFにAPIを登録をして呼び出すなど、一手間かかっており、データアナリティクス・BIとAIの間には壁がありました。 Databricksでは、AI Functions を活用することでシームレスにAIのパワーをデータアナリティクス・BIに活用することができます。 The Best Data Warehouse is a Lakehouse
「Insight SQL Testing」を用いたSQLテストの構成イメージ Snowflakeは、クラウドベースのデータウェアハウスサービスとして、ビジネスインテリジェンス、データ分析、データサイエンスの分野で広く利用されており、その柔軟性と強力な機能によって、多くの企業に採用されている。 一方で、Snowflakeは標準SQLをサポートしているものの、仕様の違いによって既存のデータベースで動いていたSQLが移行先では動かない、または異なる動作をしてしまうという事象も珍しくなく、既存のワークロードをSnowflakeなどの異なる環境へ移行する場合には、改修が必要なのか、必要な場合はどの程度の改修なのかの確認が必須となる。しかし、その確認にはドキュメントでのSnowflakeの仕様確認や、ソースコードの調査による修正箇所や難易度の確認といった作業が発生し、非常に工数がかかる。 「Insig
#三つの列を持つ新しいテーブルを作成する CREATE TABLE t ( id INT PRIMARY KEY, name VARCHAR NOT NULL, price INT DEFAULT 0 ); #データベースからテーブルを削除する DROP TABLE t ; #テーブルに新しい列を追加する ALTER TABLE t ADD column; #テーブルから列cを削除する ALTER TABLE t DROP COLUMN c ; #制約を追加する ALTER TABLE t ADD constraint; #制約を削除する ALTER TABLE t DROP constraint; # t1からt2へテーブルの名前を変更する ALTER TABLE t1 RENAME TO t2; #列c1をc2に名前を変更する ALTER TABLE t1 RENAME c1 TO c
国内からの攻撃増加 手法は SQLインジェクション最多「SiteGuard セキュリティレポート(2024.2Q)」 | ScanNetSecurity
EGセキュアソリューションズは、「SiteGuard セキュリティレポート（2024.2Q）」を発表した。
経緯 「弊社のエンジニアであればSQLの軽いチューニングはできて当然」というレジェンドエンジニアのKさんの言葉を受け下記の本を読みましたのでそのアウトプット＆共有ができればと。 SQL実践入門──高速でわかりやすいクエリの書き方 筆者について おなかの弱いぴーぴーエンジニア。 刺激物、油もので当然おなかは壊します。それも1週間近くずっと。 また私ほどになると腹筋しただけでおなかを壊します。外部からの刺激でおなかを壊すってことが医学的にあるそうで。 SQLをカリカリにチューニングみたいな経験はないので、誤りがあれば教えてください。 当記事の内容 SQL実践入門──高速でわかりやすいクエリの書き方 の第7章に即した内容になります。 テーマは サブクエリ です。 そもそものサブクエリの欠点 サブクエリの計算コストが上乗せされる サブクエリにアクセスする度にデータが上乗せされていきます。 データの
BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud データベース データベース記事一覧へ [新製品・サービス] BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud 2024年8月2日(金)日川 佳三（IT Leaders編集部） リスト グーグル・クラウド・ジャパンは2024年8月2日、同社主催コンファレンス「Google Cloud Next Tokyo ’24」での発表の一部として、RDBMS「Spanner」、KVS型NoSQLデータベース「Bigtable」、DWH「BigQuery」に追加した新機能を発表した。Spannerでは、RAG構成の生
マーケター必見！SQLでA/Bテストを実施する方法と検定の方法｜よっしー@フリーランスコンサルタント&SQLがわかるマーケター
A/BテストとはA/Bテストとは、2つのバリエーションを比較して、どちらがより効果的かを判断するための実験的手法です。例えば、ウェブサイトのランディングページのデザインや、メールマガジンの件名や本文など、マーケティング施策の改善に活用されます。 SQLでの実施手順A/BテストをSQLで実施する場合は、以下の手順で行います。 ※本記事のSQLはmySQLを想定しています。 データを抽出する比較する2つのデータを抽出します。例えば、AグループとBグループのデータを比較する場合は、以下のようなSQLクエリを使用します。 SELECT * FROM ユーザーテーブル WHERE グループID = 'A'; -- or 'B' for group B統計量を計算するデータから、比較するための統計量を計算します。具体的には、コンバージョン率や売上額の平均などがあります。例えば、コンバージョン率を計算す
SQL クエリ (on Treasure Workflow) の単体テストを少ない手間で実現している話 - KADOKAWA Connected Engineering Blog
Integrated Data Service 部の中野 (takamoto) です。現在は主にデータプラットフォーム上のデータパイプラインの開発・運用をメインで担当しています。 私の所属しているチームでは Snowflake を中心に構築されたデータパイプラインを主に管理していますが、 Treasure Data CDP を中心としたものについても管理しています。この Treasure Data CDP を中心としたデータパイプラインは規模がそれほど大きくはないこともあり、現在は素朴に Treasure Workflow から SQL (Presto) クエリを実行する形で構築されています。 今回は、こちらのデータパイプラインで行っている ELT 処理のロジックに対して、どのような構成で単体テストを行っているかについて紹介します。 前置き: ELT 処理の品質担保について ELT 処理に
はじめに こんにちは！SRE 部門所属の小林由暁です！ 今回は、利用中の Cloud SQL インスタンスの暗号鍵の変更方法について手順ベースで解説します。 変更時の留意事項含めての解説となるため、ご検討されている方々の参考になれば幸いです。 この記事が役立つ人 Cloud SQL の暗号鍵に デフォルトの Google 暗号鍵 を利用中だが、 CMEK の利用に変更したい方 Cloud SQL で CMEK を利用したいが、具体的な手順がイメージできない方 現在利用中の暗号化方法についての確認方法 まずは、利用中の Cloud SQL インスタンスで利用中の暗号鍵について確認します。 GUI（Google Cloud コンソール）及び gcloud コマンドで確認する方法の 2 点を紹介します。 GUI で確認する方法 以下のページにアクセスし、作成している Cloud SQL インスタ
A5:SQL Mk-2 とは フリーのSQLGUIクライアントツールで、データベースの管理や操作を簡単に行うための機能、ER図の管理、スキーマの比較等の機能が豊富に備わっています。 A5:SQL Mk-2ホームページ ツール上でER図とテーブル定義が書けて、テーブル定義のファイルはテキストの独自の形式なので、git等で差分がわかりやすく、 定義したテーブル定義からDDL文が出力でき、テーブル定義更新の際は、マクロ機能を使ってデータ移行もしてくれる。 また、納品物としてExcelのテーブル定義が求められる場合は、ツールからテーブル定義を元に、Excelのテーブル定義も出力してくれる。 スキーマ比較機能もあるので、例えば、開発環境と本番環境で、インデックス含めてテーブル定義に差異が無いことの確認によく使っている機能です。 ただ、Windows向けのツールで、Macで動作させるにはWine(Wi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bigtableで分散カウンタ機能が正式に利用可能に。SQLのクエリにも対応
SQLを使ったデータ分析事例紹介〜2つの事例から学ぶSQLの活用方法〜
SQL人口とデータドリブンの相関｜荒木 和也(kazuya.araki.jp)
Google Cloud、Spanner Graphのプレビュー開始とBigtableのSQLサポートを発表 | gihyo.jp
【SQL】insertでデータを追加する - Qiita
SQLチューニング（第42回）「ROWNUMの理解と関連SQL性能問題の理解」（2／6回） - 日本エクセム株式会社
null判定を含むSQLのcaseの書き方 - 野良データサイエンティスト
[MySQL] 半角/全角、大文字/小文字、ひらがな/カタカナを区別しないSQL文（あいまい検索）
インサイトテクノロジー、Snowflakeに対応した「Insight SQL Testing」のver.4.1をリリース
SQLのチートシート② - Deliberate Learning
僕の高速かつ可読性の高いSQL（サブクエリ編） - Qiita
利用中の Cloud SQL を CMEK に対応させるために必要なこと
A5:SQL Mk-2 のAIアシスタント機能を使ってみた | iret.media
LangChainによる「SQL操作をする方法」｜サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
