Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
Aurora MySQL Blue/Green Deploymentを用いたidカラム型変更と短時間メンテナンス - エス・エム・エス エンジニア テックブログ
はじめに こんにちは、介護/障害福祉事業者向け経営支援「カイポケ」の介護レセチームでエンジニアをしている沖口です。 チームで管理しているテーブルに長年の運用によりデータ量が相当数まで増えてきたものがあり、idカラムの型をINT UNSIGNEDからBIGINTに変更する必要がありました。 先日、その対応をAurora MySQLのBlueGreenDeployment（以降では省略してBlueGreenDeploymentと記載）を用いて短時間のメンテナンスで実現できたため、その事例を紹介します。 背景 カイポケは2011年にリニューアルを行い、現在のカイポケとしての運用を開始しました。 当時作成された一部のテーブルでは2011年から現在までデータの蓄積が続いており、今回対応を行った利用者の請求明細に関するテーブルは、INT UNSIGNEDの上限である約42億レコードに近々到達することが
Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました - クラウドワークス エンジニアブログ
Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載します。 aws.amazon.com 2024年7月時点での検証結果ですので、時間経過によって内容が変わっている可能性があります。その点は十分ご注意ください。 背景 まず、ゼロETL統合の検証しようと考えた背景について軽く説明したいと思います。クラウドワークスでは、MySQLのテーブルをDMS経由でRedshiftにニアリアルタイムで同期し、データ分析を行なっています。3年前は約30億レコードでしたが、現在では古いレコードの削減を行なったため、約25億レコードになりました
多くのデータベースに対応したマイグレーションツール migrate を MySQL で試した - kakakakakku blog
データベースのマイグレーションを行うツール migrate を試した．migrate は MySQL / MariaDB / PostgreSQL / Amazon Redshift / MongoDB / Cassandra など，多くのデータベースに対応している．GitHub リポジトリを見るともっと多くのデータベースに対応していることがわかる．他にも GitHub や Amazon S3 に置かれたマイグレーションファイルを直接読み込む機能や Go ライブラリとしてアプリケーションに組み込める機能などもある．今回は MySQL を使ってマイグレーションの基本的な機能を試す❗️ github.com インストール macOS だと Homebrew を使って簡単に migrate CLI をインストールできる．今回は v4.15.2 を使う． $ brew install golang
※は十分に大きいため省略しています。また、どちらの表も各整数値型はsignedを想定しています。 データ挿入量が相当大きくない限りは、INTEGER型で足りるのであればINTEGER型で作ってしまって問題ないかもしれません。しかし、あとから足りなくなってデータ型の変更が必要になる可能性があるのであれば、最初からBIGINT型で作ってしまうことも検討したいところです。たしかにALTER TABLEでデータ型の変更は可能ではありますが、データ量の規模によっては時間がかかってしまうためです。だからといって、すべてをBIGINT型のカラムで作ってしまうのも無駄にデータ量が増えてしまうので、きちんと検討して決めることをおすすめします。 また、JOINに利用するカラムの場合は、データ型が違うと型変換が実行されるために実行が遅くなるので、極力データ型を合わせて利用したいところです。 BIGINTじゃ足り
8.x マイグレーション Laravel
イントロダクションIntroduction マイグレーションはデータベースのバージョン管理のようなもので、チームがアプリケーションのデータベーススキーマを定義および共有できるようにします。ソース管理から変更を取得した後に、ローカルデータベーススキーマにカラムを手動で追加するようにチームメートに指示する必要があったことを経験していれば、データベースのマイグレーションにより解決される問題に直面していたのです。Migrations are like version control for your database, allowing your team to define and share the application's database schema definition. If you have ever had to tell a teammate to manually add
MySQLのシノニム - tmtms のメモ
sakaik さんが MySQL: desc は explain ！？ - sakaikの日々雑感～(T)編 という記事を上げてたのを見て、そういや最近はほかにどんなのがあるんだっけ…と思って調べてみた。 以下はMySQL 8.0.29 の sql/lex.h から抽出したもの。字句解析上のシノニム。 <> != ANY SOME BIGINT INT8 CHAR CHARACTER COLUMNS FIELDS CURDATE* CURRENT_DATE CURTIME* CURRENT_TIME DATABASE SCHEMA DATABASES SCHEMAS DAY SQL_TSI_DAY DECIMAL DEC DESCRIBE EXPLAIN DISTINCT DISTINCTROW DOUBLE FLOAT8 FLOAT FLOAT4 GEOMETRYCOLLECTION G
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第178回 MySQLのAUTO_INCREMENTなINTEGERってどのくらいで使い切るの？ | gihyo.jp