postgrsqlで実行されたSQLの実行時間や回数などを記録する - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
re:dashは何が良くて、何が足りないのか - Qiita
re:dashを使い始めて約半年、社内で実運用を始めて約10ヶ月が経ちました。 re:dashに繋がらなくなると苦情が出るレベル、にまでは社内で使われるようになりました。 その感想を書きます。 かなり主観も入ってますが、これから使おうとしている方は是非参考に。 現在の使用状況 クエリ数は約900 このうちスケジューリングで定期実行しているのは約200 ダッシュボード数は約150 何が良いのか OSSであること これは非常に大きいです。 商用のBIツールの場合、よくわからない挙動や動作をした場合でもベンダーに問い合わせたりする必要があります。 ただしre:dashはOSSです。 意味不明な動作をしたらコードを読めば動作が把握出来ます。 (※もちろんPythonのコードをある程度読める必要があります) また、開発が非常に活発で外部からのPRもちゃんと見てくれます。 作者の@arikfrさんが開
インデックスが効かないSQL・パフォーマンスの遅いSQLとは？
インデックスが効かないSQLはパフォーマンスが遅い インデックスが効かない原因 Oracleでパフォーマンスが遅いのにはいくつかの理由があります。 パフォーマンスが遅い理由で最も多いのが「SQLの問題」です。SQLを改善すれば、パフォーマンスがよくなって検索時間を短縮できる効果が高いです。 どういうケースがパフォーマンスが低いのか？ 順番に説明します！ ちなみにデータベースの状態によってはパフォーマンスが改善されないこともあります。必ずというわけではありませんので、ザックリとした知識として覚えておくといいですね。 例１. NULL は遅い -- nullは遅い SELECT * FROM emp WHERE empname IS NULL; -- not nullは遅い SELECT * FROM emp WHERE empname IS NOT NULL; ここではWHERE句の条件に「
PostgreSQLのIndex入門 | 酒と涙とRubyとRailsと
PostgreSQLでのSELECTなどで対象のレコードを早く検索するための「Index(インデックス、索引)」についてのまとめです。 🗻 お勧めスライド：PostgreSQLクエリ実行の基礎知識 PostgreSQLについて丁寧な解説がされているスライドです。PostgreSQLの実行計画を理解するのにすごく参考になりました！ 😼 Index作成までの流れ いつ 新規テーブルの作成時 DBのパフォーマンス・チューニングの際 どうやって SQLの実行ログから、実行回数が多い & 実行に時間がかかるSQLを探す EXPLAINで実行計画を元に最適なindexを探す 代替案としてサマリテーブルを作ったり、キャッシュをもつことも検討 🐹 Index作成SQLのCREATE INDEXでIndexを作成できます。 -- レコードがユニークではないインデックスの場合 CREATE INDEX
現場で役立つ実践ノウハウWeb開発の「べし」「べからず」(開発編) | Let's POSTGRES
～性能を最大限に引き出すための設計・開発・運用～ 永安 悟史 本記事は、技術評論社 WEB+DB PRESS Vol.63 で掲載されたものを、著者と出版社の許可を得て転載したものです。なお、一部 記述に変更のある箇所もあります。 【開発】開発生産性と処理性能のトレードオフ 【べからず】 ループ処理内部でSQLを発行してはいけない アプリケーションの内部で、特定の条件でレコード数をカウントし、FORループを回してレコード数分のSELECTクエリを実行するようなコードを見かけることがあります（リスト1）。 （プログラミング言語の）関数やメソッド呼び出しのような感覚で簡単にSQLを呼び出すことができるため、このようなコードを書いてしまいがちですが、原則としてこのようなコーディングを行うべきではありません。 Webページ1画面を表示するために、SQLを100回あるいは1,000回実行するようなア
#3 teratailのQ&Aから学ぶWebセキュリティの現状 | gihyo.jp
ITエンジニア特化型Q&Aフォーラムteratailが主催となり、2018年3月24、25日の2日間に渡り開催された「MANABIYA -teratail Developer Days-」ではITエンジニアの問題解決カンファレンスをテーマに「疑問」を主題としたセッションが多く実施されました。その中から、徳丸 浩さんによる基調講演「teratailのQ&Aから学ぶWebセキュリティの現状」のレポートをお送りします。 徳丸氏による基調講演の模様 セキュリティのプロがteratailで回答し続ける理由 講演は徳丸さんの自己紹介から始まりました。セキュリティを仕事としてセキュリティの書籍『体系的に学ぶ安全なWebアプリケーションの作り方』（SBリエイティブ）や『徳丸浩のWebセキュリティ教室』（日経BP社）を執筆し、脆弱性診断やコンサルティング業務を行う徳丸さんが、無償でYahoo！知恵袋やt
Modern Business Intelligence | Better data, better decisions
ThoughtSpot acquires Mode to define the next generation of collaborative BI >> Learn More
[SQL]レコードから改行を除去する | DevelopersIO
はじめに データに改行が入っていて、それを取り除きたいということがありました。 データベースに取り込む前に、不要な改行を除去するプログラム書くのも一つの手ではありますが、 SQLを使った方が簡単にできるかと思います。 実行環境 Windows8.1 MySQL5.7 PostgreSQL 9.6 サンプルデータ作成 次のようなテーブルとデータを用意しました。 devdbというスキーマ(db)はすでに作成されているものとします。 改行3種類(LF, CR, CRLF)と改行なしの4パターンです。 commentカラムに入っている改行を除去することを想定します。 CREATE CREATE TABLE devdb.profile(name varchar (16), comment varchar (100)); INSERT PostgreSQL版 INSERT INTO devdb.pro
![[SQL]レコードから改行を除去する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
Introducing KSQL: Streaming SQL for Apache Kafka | Confluent
What does it even mean to query streaming data, and how does this compare to a SQL database? Well, it’s actually quite different to a SQL database. Most databases are used for doing on-demand lookups and modifications to stored data. KSQL doesn’t do lookups (yet), what it does do is continuous transformations— that is, stream processing. For example, imagine that I have a stream of clicks from use
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
PHPでのSQLインジェクション対策 - エスケープ・クォート編: pg_escape_**** | Let's POSTGRES
第四企画 坂井 潔 pg_escape_****によるエスケープ PHPからPostgreSQLを操作するためのネイティブな関数としてpg_****関数群があります。データベースへの接続方法はプレースホルダ編を参照していただくことにして、ここではpg_escape_****を使ってエスケープ・クォートをする例を説明します。 以下のpg_escape_****や、その他の関数はすべて、Shift_JISではなく、UTF-8、EUC-JPなどをPHPの内部エンコーディングとして使うことを前提に記述しています。PostgreSQLとPHPのエンコーディングが別々だったり、Shift_JISなどを使用した場合、関数が思わぬ挙動をすることがあるので、ご注意ください。 PHPで用意されているpg_escape_string関数とpg_escape_bytea関数はそれぞれ文字列型、bytea型のデータ
分析SQLのコーディングスタイル - クックパッド開発者ブログ
SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析
PostgreSQLへの接続と切断
psql を使用して PostgreSQL へ接続を行ったり、 PostgreSQL から切断することができます。ここでは psql を使って PostgreSQL へ接続する方法および PostgreSQL から切断する方法について解説します。 PostgreSQLへ接続する psql はコマンドラインベースで PostgreSQL で作成済みのデータベースに接続したりテーブルからデータを取得したりすることが出来るツールです。 Windows環境から psql を利用するにはコマンドプロンプトから行います。 最初にコマンドプロンプトを起動してください。(コマンドプロンプトの起動方法については「コマンドプロンプトを起動する」を参照されてください)。 psql を使って PostgreSQL へ接続するには次のように実行します。(実際には PostgreSQL で作成済みの指定したータベース
ActiveRecordで生SQLを使いたいときに便利なメソッド達 - Qiita
Ruby で DB を扱うちょっとしたスクリプトを書くとき、ActiveRecord で生SQLを使うと色々捗ることが多い。 そのためのメソッドをまとめてみた。 事前準備： establish_connection 作成・更新系： execute 検索系： select_all, select_one, select_rows, select_values, select_value プレースホルダ： sanitize_sql_array 事前準備 establish_connection DBとのコネクションを確立する。'mysql2', 'postgresql', 'redshift' など様々なアダプタが使える。 以下は接続設定の一例。 [MySQL] (要 mysql2 gem) require 'active_record' config = { adapter: 'mysql2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのクローンを作ろうとしています。データベース設計（ ER図？）で行き詰まっています。
https://www.codementor.io/garethdwyer/building-a-crud-application-with-flask-and-sqlalchemy-dm3wv7yu2
Database: Query Builder - Laravel 12.x - The PHP Framework For Web Artisans
ko-atrandom.com
GitHub - kashav/fsql: Search for files using a fun query language
GitHub - xo/usql: Universal command-line interface for SQL databases
