SQLを使いこなしたい！虎の巻 #1 ~ Dockerを使ったPostgreSQLの環境構築編 ~ | DevelopersIO
気付いたら10月で外の寒さについていけてない、新卒エンジニアのたいがーです? 研修が始まり、早半年。研修期間中にお勧めしていただいたものの、読めていない本も早くも軽く溜まってきたところ。(積読消費したい) Amazon RDSについて調べるたびに"DB、そんな触ったことないんだよな…"となっていました。研修中の今こそSQLを勉強するタイミング！ということで、今回はSQLを使いこなせるまでのシリーズを始めてみることにしました? 題して、"SQLを使いこなしたい！虎の巻"シリーズです！ PostgreSQLを触る環境を整えよう 手を動かしながらSQLの学習を進めていこう!ということで、実行環境を整えていきたいと思います。 このシリーズでは、Docker環境下でPosgreSQLを使っていきます！ 実行環境 macOS Catalina version 10.15.7 Docker versio
はじめてのPostgreSQLモニタリング入門 / PostgreSQL 11 Monitoring
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
RDBのトラブルの現場を追え！ / rdb-Troubleshooting
そーだいなる DBRE Nightでの登壇資料です https://connpass.com/event/138437/ # 紹介資料 - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://www.youtube.com/channel/UCeenIljXnSwrwYEU-YBE2qA/feed - https://speakerdeck.com/soudai/postgresql-architecture-and-performance-monitoring - https://gihyo.jp/dev/feature/01/dex_postgresql/0002 - https://lets.postgresql.jp/documents/technical/query_analysis/1 - http
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
パーティション強化、JITコンパイラなどが加わった「PostgreSQL 11」リリース | OSDN Magazine
PostgreSQL Global Development Groupは10月18日、オープンソースのSQLデータベース「PostgreSQL 11」をリリースした。LLVMベースのJITコンパイラのサポート、パーティショニングの強化など多数の機能が加わっている。 PostgreSQL 11は、2017年10月に公開されたPostgreSQL 10に続く最新版。 パーティショニングを強化し、リスト、レンジに加えて、ハッシュパーティショニングとしてハッシュキーでもデータのパティショニングができるようになった。外部データラッパpostgres_fdwを使ったパーティションの機能改善により、データ連携機能も強化した。 パーティション管理として、パーティションキーがマッチしないデータ向けにキャッチオールがデフォルトのパーティションを導入、パーティションされたテーブルにプライマリのキー、外部キー、イ
pgModeler - 強力なビジュアル化が可能なデータベースモデリング MOONGIFT
O/Rマッパーなどによってデータベースを意識せずに開発できるようになっています。しかしデータベースは設計次第でシステムのボトルネックになることも多く、やはり適切な設計能力は重要です。 今回紹介するpgModelerはPostgreSQLに特化したデータベースモデリングソフトウェアになります。 pgModelerの使い方 起動しました。 デザイン画面です。 サンプルを開いたところです。グループ化やコメントも付けられるのでビジュアル的にも分かりやすいです。 テーブルの設計画面です。 アウトプットはSQLや画像、さらに直接データベースへの実行もできます。 pgModelerはデータベースを設計するだけでなく、ビジュアルにも気が配られています。これならば仕様書として使うこともできるでしょう。ここまでのビジュアル化はデータベースからインポートするタイプのソフトウェアでは難しいでしょう。なお、pgMo
PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;
最近PostgreSQLでSQLチューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。PostgreSQLのバージョンは9.6系です。 SQLチューニングなどに便利だったクエリ達 それ以降に実行するSQLの実行時間を表示する。参考 https://morumoru00.wordpress.com/2011/05/08/postgresql-sql%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8B%EF%BC%88timing/ \timing 実際にクエリを実行して実行計画や実行時間を表示する。クエリが実行されるので破壊的な操作も実行されてしまうことに注意。トランザクション張って最後にROLLBACKしましょう。参考 https://www.post
よく使うpsqlの便利技10選
1. メタコマンドとSQLを一緒に使う 実行例 2. SELECT結果の値だけを取得する 実行例 3. SQLでSQLを作り実行 (9.6~) 実行例 4. サーバに応じて実行するSQLを変える (10~) 実行例 5. 忘れたDDLのシンタックスを確認する 実行例 6. SQLファイルの内容を一行ずつ確認しながら実行する 実行例 7. 特定のコマンドを定期的に実行したい 実行例 8. psqlを起動した時に実行されるコマンドを設定する 実行例 9. .psqlrcを一時的に使わない 実行例 10. SELECTの結果をCSV形式で出力 実行例 普段よく使っているpsqlで便利だと思う使い方を10個紹介します。運用で使うシェルスクリプトとかでもpsqlは使う事があると思うので、psql派でない人にも多少は役に立つはず。 特に最近のバージョンで追加された機能は、利用できるバージョンを記載して
[翻訳] たった一つの設定変更が如何にしてクエリのパフォーマンスを50倍も改善したか （How a single PostgreSQL config change improved slow query performance by 50x）
先日、「How a single PostgreSQL config change improved slow query performance by 50x」というPostgreSQLのSSD環境でのチューニングの記事を見つけたのですが、これをTweetしたらRTやLikeを比較的たくさん頂きました。 How a single PostgreSQL config change improved slow query performance by 50x https://amplitude.engineering/how-a-single-postgresql-config-change-improved-slow-query-performance-by-50x-85593b8991b0 How a single PostgreSQL config change improved sl
PostgreSQLメモ : 表形式データ向けpspgページャを試してみる - もた日記
pspg インストール 使い方 色設定 pspg github.com psql使用時にはページャとしてlessを使っているが、pspgという表形式データ向けのページャがあったので試してみる。READMEによるとmysqlクライアントでも使えるとのこと。 インストール 試した環境はCent OS 7, PostgreSQL 9.6だったのでPostgreSQL RPM Building Project - Yum Repositoryのリンクを辿っていって、 RepoView: PostgreSQL PGDG 9.6 Updates RPMs にあるpspg-0.5-1.rhel7.x86_64.rpmをダウンロード。 そして、下記コマンドでインストールする。 $ sudo yum localinstall pspg-0.5-1.rhel7.x86_64.rpm インストールが成功していれ
planter - PostgreSQLのデータベース構造をER図に
システム開発時においてER図が作られますが、大抵追加開発を行っている内に現状と乖離していきます。その結果、ER図は不要になってしまい、データベース構造が徐々に破綻していきます。 そうならないためには現状のデータベーススキーマがそのままER図に展開できるのが便利です。そこで使えるのがplanterです。 planterの使い方 出力例です。ちゃんとリレーションを組んでいればそれも表現されます。 planterはPostgreSQLのスキーマ情報からPlantUML用のXMLファイルを出力します。そのファイルをplantuml.jarを使って画像に変換します。plantuml.jarは画像以外にもSVGやPDFへの変換も行えるので様々な場所で利用できそうです。 planterはGo製のオープンソース・ソフトウェア（MIT License）です。 achiku/planter: Generate
手元からpsqlでログインする時にパスワード入力せずにログインできてしまう理由 - $shibayu36->blog;
sudo brew install postgresqlでMacにpostgresqlを入れて、 $ psql postgres postgres=# create role dbuser createdb login inherit password 'dbuser';のようにroleを作ってみたのだけど psql --username=dbuser postgresでパスワード指定せずにログインできてしまった。 ？？？となって少し調べてみたら、pg_hba.conf*1にデフォルトで以下のように設定されていて、この時localhostからpsqlでログインするときにはパスワードは不要になるようだった。ちょっと怖い。 # "local" is for Unix domain socket connections only local all all trust # IPv4 local
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
psqlのちょっと便利な使い方 — そこはかとなく書くよん。 ドキュメント
psqlのちょっと便利な使い方¶ PostgreSQL Advent Calendar 2012 の20 日目です。他の人とは違ってゆるふわ記事です。 みなさま、フロントエンドにはなにを使ってらっしゃるでしょうか。pgadmin はGUIでかなり便利ですが、標準で使えるpsqlもかなり便利です。 特にリモートのサーバーに入って作業するときなどpsqlの方が手軽ですよね。 というわけで、今回はpsqlのちょっとした使い方のご紹介です。「そんなの知っ てるよ」とおっしゃらずにお付き合いください。 入力系¶ psqlにSQLを実行させるときには、 -f でファイルを指定したり、 -c で指 定したりしますね。 これに加えて、標準入力からも受け取れます。 さて、自分はEmacsな人なのですが、Emacsでは M-| で選択したリージョンを 標準入力として、指定した外部コマンドを実行出来ます。つまり
MySQL & PostgreSQL
オープンソースデータベース比較セミナーの資料です https://osscons-database.connpass.com/event/56187/
今こそ知りたい、2大OSSデータベースのMySQLとPostgreSQLの違いについて話をしてきた - そーだいなるらくがき帳
去年書いたSoftwareDesignを題材にお話してください！って言われたので話してきました。 下の特集記事は１年経った今も現役で読める内容なので興味がある人はぜひ読んでみてください。 またRDBアンチパターンという連載をしていますのでこちらもあわせてご確認くださいっ！ gihyo.jp そして当日の資料はこちらです。 SoftwareDesignにしっかりとMySQLとPostgreSQLの違いについては触れているのでそこでは触れていない、ハマりどころや初めて両方のDBを知ったと言う人向けのカジュアルは部分を攻めました。 またDBだけの勉強会ですので普段説明するようなところは省略し、できるだけ経験談やコアの話に注力したつもりです。 このへんは資料に含まれて居ないので当日居た人たちだけの特典ですね！！ ということで実は今月は登壇3週連続だったのですが一段落しました。 来週はAWS Sum
PostgreSQLで学ぶデータベース技術 JavaエンジニアのためのPostgreSQLステップアップ - JJUG CCC 2017 Spring
2017/5/20 JJUG CCC 2017 Spring 発表資料 エンプラ開発におけるレガシーアプリケーションの巻き取りとモジュール分割の戦い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac De Oracle: PostgreSQL向け、俺よう便利メモ
はじめに · PostgreSQL Internals
はじめに · PostgreSQL Internals