[B! db] tk-1124のブックマーク

データベースドキュメント生成コマンド tbls 更新情報（Mermaid対応 / schema.json / tbls outの強化） - Copy/Cut/Paste/Hatena

久しぶりのtblsの新機能紹介エントリです。ドキュメントのER図出力にMermaidを指定できるようになりました ER図の出力フォーマットにMermaidを指定できるようになりました。次のように er.format: セクションか --er-format オプションに mermaid を指定することで変更できます。 er: format: mermaid 開発裏話 GitHubがMermaid対応したことで「tblsもMermaid対応してほしい」という要望や提案は以前より多く受け取っていました。しかし、個人的にあまりメリットを見出せずそのままPull Request待ちとなっていたのですが、今回エイッと作ってみました。 Mermaid対応をするにあたって1つとても面倒な仕様がありました。それはMermaidはER図の多重度（カーディナリティ）の指定が必須となっていることでした。もと

tk-1124 2023/01/31

リンク

主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ | コーソルDatabaseエンジニアのBlog

Microsoft SQL ServerMySQL Oracle DatabasePostgreSQLSolarWinds DPAデータベース運用主要RDBMS製品の比較 2022.09.01 渡部亮太主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ Oracle ACE Proの渡部です。主要なRDBMS製品についてアーキテクチャを比較します。大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。時間ができた時に随時追記予定です。もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot

tk-1124 2022/09/01

db

リンク

データベース設計におけるNULL - kawasima

NULL絶対ダメ論や現実的には無理だから上手く付き合っていくしかないんだよ論など見られるが、せっかくCodd博士が上図の分類を提示しておられるので、これを元にもっと詳細化して考えてみよう。

tk-1124 2022/05/21

設計
db

リンク

PosegreSQL の dblink と postgres_fdw を触ってみました。

今回は PostgreSQL の dblink & postgres_fdw です。 PostgreSQL には異なるデータベース間で通信を行うデータベースリンクという機能が備わっています。自分で調べながらやったところ、仕組みは難しくないのですが、解説ブログ等が少なく理解するまでに苦労しました。そのため、ここで解説しておきたいと思います。 DBLINK は2種類ありました私は、そもそも PostgreSQL の DBLINK は1種類しかないと思いこんでいました。それが理解を大きく遅らせた原因です。人間の思い込みとは恐ろしいものです。現時点（2020年6月）においては、PostgreSQL の DBLINK の手法は2つ存在します。それが dblink と postgres_fdw です。ざっくり説明すると、昔からあったのが dblink で PostgreSQL9.3（201

tk-1124 2022/01/22

リンク

AWS Aurora MySQL Parallel Query の基礎研究 | 外道父の匠

AWS Aurora MySQLには、高性能を期待できる Parallel Query という機能があります。実際、良いモノっぽいのですが、非常に情報が少ないので私めがいつものように掘り下げて、お役に立てればという徳を積む行為であります。目次 Parallel Query とはリンク集速度比較費用の仕組み設定による有効・無効有効にできない条件 Parallel判定されるクエリ結合クエリ innodb_buffer_pool_size との関係その他実践では Parallel Query とは詳しくは下記リンクを見たほうがいいのですが、頑張って要約してみます。通常のDB処理は、データを可能な限りメモリ上に置いておいて処理しようとしますが、オンメモリじゃないデータはストレージから取得する必要があり、データ取得後はDB 本体における１スレッドがクエリ処理を行います。 Aur

tk-1124 2021/10/23

リンク

Flywayの使い方

今回は「Flywayの使い方」についてまとめます。目次 Flywayとはインストール初期設定データベースの状態確認ベースラインの作成マイグレーションの実行マイグレーションの種類 SQLファイルの準備マイグレーションの実行失敗した場合の再実行 Flywayとは「データベースのスキーマに対してバージョン管理するツール」アプリのソースコードはsvnやgitといった仕組みでバージョン管理されてきましたが、データベースに対してはそういったバージョン管理の仕組みがありませんでした。 Flywayではその「データベースのスキーマ」に対するバージョン管理を実現する仕組みになります。ツールはコマンドライン、Java API、Mavenプラグイン、Gradleプラグインに対応しています。今回はコマンドラインツールの使い方を見ていきます。対応する主要なRDBは以下の通りです。ほとんど

tk-1124 2021/09/05

DB

リンク

Compare: Flywayとliquibaseを一緒に？ | Code Hero

tk-1124 2021/09/05

DB

リンク

AWS GlueでRDSにデータを上書き保存する - Qiita

GlueのジョブでDynamicFrameを使ってデータをRDSに書き込むとき、追記（Append）で書き込むため、同じジョブを動かすとデータが重複してしまいます。 DynamicFrameをDataFrameに変換すると、上書きモードで書き込むことができます。自動生成されたジョブのコードに以下を追記します。 JDBCの接続定義が用意されてることが前提です。 #datasink4 = glueContext.write_dynamic_frame.from_jdbc_conf(frame = dropnullfields3, catalog_connection = "MyConnection", connection_options = {"dbtable": "my_table", "database": "my_database"}, transf ormation_ctx = "

tk-1124 2021/09/04

リンク

Data preparation using an Amazon RDS for MySQL database with AWS Glue DataBrew | Noise

tk-1124 2021/09/04

リンク

Building an AWS DevOps Pipeline for Databases | Redgate

tk-1124 2021/09/04

リンク

「トランザクション張っておけば大丈夫」と思ってませんか？バグの温床になる、よくある実装パターン

この記事は DeNA 20 新卒 Advent Calendar 2020 19日目の記事です。はじめに MySQLやPostgreSQLに代表されるRDBMSではトランザクションと呼ばれる仕組みが提供されています。多くのWebアプリケーションエンジニアはこのトランザクションを駆使してDBとやりとりをするロジックを組み立てることになります。しかし不整合を起こしたくない処理があるからといって闇雲にトランザクションを張ったり、トランザクションが張られているからと安心してアプリケーション側で闇雲にロジックを組み立ててしまうと思わぬバグを生むことになってしまいます。このエントリでは、「トランザクションを張っておけば大丈夫」という考え方は危険な場合もあるということを、ありがちな実装例を交えて紹介していきます。並列に処理されるトランザクションそもそも、トランザクションは全て直列に処理されるわ

tk-1124 2020/12/20

リンク

理屈で考える、データベースのチューニング | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。パフォーマンス勉強会OracleデータベースMySQLInnoDB こんにちは、羽山です。今回はOracleデータベースのチューニングで少し踏み込んだ内容です。途中で比較対象としてMySQLも登場します。日頃からSQLチューニングの機会があってそれなりに得意としているのに、それでもなぜかパフォーマンスがでないSQLに悩んだ経験はありませんか？謎の遅い現象は特に大規模データベースになってくると発生しがちなのですが、速い場合も遅い場合も必ず理由があります。そこで本記事ではデータベースのチューニングにおいて意外と見落とされがちなローレベルな部分に着目して、さらに一歩上のパフォーマンスチューニングに必要な知識を解説します。この記事を書くきっかけとなったのは私た

tk-1124 2020/10/03

リンク

最大同時接続数を1に制限したRDSにRDS Proxyを構成して基本動作を押さえよう | DevelopersIO

CX事業本部＠大阪の岩田です。社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。環境今回検証に利用した環境です。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.micro max_connections: 9 バックグラウンドでrdsadminユーザー、rdsproxyadminユーザーがDBに接続するのを考慮して9に設定しています。今回の環境であればmax_connectionsを9に設定することで非マスターユーザーからの同時接続数を1に制限することができます。 RDS Proxy エンジンの互換性: Postg

tk-1124 2020/07/03

リンク

最強データベース（RDB）設計とは？アンチパターンの見極め方法も - FLEXY（フレキシー）

※2020年6月に公開された記事です。日本PostgreSQLユーザ会の理事を務める合同会社Have Fun Techを起業した曽根壮大（@soudai1025）と申します。元株式会社オミカレ副社長兼CTOです。直近では、『失敗から学ぶ RDBの正しい歩き方』を執筆しました。今回はデータベースをテーマとして、魅力やMySQLとPostgreSQLの違い、アンチパターンの見極めなどの基礎知識に加え、勉強法などもご紹介します。 RDB関連の求人検索はこちらデータベースを学ぶ魅力をエンジニア目線で考察 1.知識の費用対効果が高いエンジニアがデータベースを学ぶ利点という観点から言うと、データベースの特徴は寿命が長いことと私は考えています。 Webアプリケーションの界隈では1年単位でバージョンアップしたり流行っている言語が変わってしまうことがザラにありますが、データベースは10年、20年とい

tk-1124 2020/03/25

リンク

2020年現在のNewSQLについて - Qiita

Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成当記事は前編でNewSQLの概要編となる。全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海

tk-1124 2020/02/29

DB

リンク

MySQL 8.0は何が優れていて、どこに注意すべきか。データベース専門家が新機能を徹底解説 - エンジニアHub｜Webエンジニアのキャリアを考える！

MySQL 8.0は何が優れていて、どこに注意すべきか。データベース専門家が新機能を徹底解説 MySQLの最新版「MySQL 8.0」正式版が2018年4月にリリースされました。数多くの機能や設定が追加・変更されているMySQL 8.0の「知っておきたい便利な機能」や「危険なハマりどころ」などを、My SQLの専門家に教えてもらいました。 2018年4月、世界中のエンジニアが待ちに待ったMySQL 8.0の正式版がリリースされました。本リリースに伴い、数多くの機能や設定が追加・変更されており、MySQLがより便利なものへと進化しています。 MySQL 8.0で積極的に利用すべき目玉機能や、知っておかなければ危険なハマりどころなど重要な変更点を、MySQLの保守サポートやコンサルティングなどを専門とする株式会社スマートスタイルの中野真也さんと成田優隆さんに解説してもらいました。中野真也（な

tk-1124 2018/12/26

リンク

DB変更リリースの停止時間を最小化するには？「DevOps with Database on AWS」 #AWSDevDay | DevelopersIO

「DevOpsってアプリの話ばっかりな気がするけど、DBもアプリ以上に変更入るよなぁ」データベースの変更をいかにノーダウンタイムで本番リリースするか？ステート（データ）を持つという宿命上、そう簡単にいかないことは皆さん想像つくかと思いますが、その制約の中でも工夫次第では停止時間を極小化する方法が有るんだなぁと気付かされました。 AWS Dev Day Tokyo 2018 | AWS、「DevOps with Database on AWS」のセッションレポートです。（祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉無停止DBﾘﾘｰｽﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊセッション内容タイトルは「DevOps with Database on AWS」 DevOps のアプローチでシステム開発に取り組む上で、データベースに対する変更をどのように扱うかは難しい問題です。

tk-1124 2018/11/05

リンク

Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ

先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。背景データベース接続の永続化とはなにかデータベース接続のオーバヘッドデータベース接続の永続化手法コネクションプーリングとはなにかコネクションプーリング: ドライバ型コネクションプーリング: プロキシ型コネクションプーリング全体について PostgreSQLとMySQL 参考資料まとめ背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ

tk-1124 2018/11/05

リンク

RDBとNoSQLにみるDB近現代史データベースに破壊的イノベーションは二度起きるか？ - エンジニアHub｜若手Webエンジニアのキャリアを考える！

「ユーザー目線」のシステムを目指して RDBが従来の階層型DBに比べて優れていた点はいくつか挙げることができますが、シェアを伸ばすうえで最も大きな影響は、ユーザーが使いやすいデータ構造とインタフェースにこだわったことです。すなわち、「テーブル」と「SQL」の発明です。 RDBでは、すべてのデータを「テーブル」というただ一つのデータ形式によって表現します。テーブルは、見た目が「二次元表」に似ているため*3、Microsoft ExcelやGoogle ドキュメントなどのスプレッドシートを使い慣れた人が見ると、データを格納する方法が直観的にイメージしやすいという利点があります。実際、こうした二次元表によるデータ管理は、Excelなどのソフトウェアが登場する前から一般的な方法だったため、RDBが登場した当時の人々にとっても受け入れやすいものでした。テーブルが画期的だった点は、もう一つあります。