RDSスナップショットを、テスト用にマスクする、CodeBuildとdbtestdataで - Qiita
本番RDSスナップショットをそのままテスト用に使うわけにいかない。個人情報とか業務上の機密とか。マスクします。みなさんどうやってるんですかね。 全体像 こんな流れで作ります。 create RDS Instance Data masking RDS create snapshot RDS instance shutdown この記事では 2. のところを扱います。ほかは手作業。そのうちawscliとCodeBuildで自動化する。 マスク設定ファイルをつくるのに必要な情報を用意する information_schema.tables, columnsを漁る テーブルそのものの要否をふりわける 必要なテーブルについて、マスクすべきカラムを選別する カラムごとに、どんなデータパターンでマスクするか決める マスク設定ファイルをつくる マスクツールは dbtestdata を使います。dbtest
AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO
こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！ 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da
第129回 Internal Temporary Table（内部テンポラリテーブル）について［その1］ | gihyo.jp
MySQLはステートメントの処理中にInternal Temporary Table（以降、内部テンポラリテーブル）を作成することがあります。 内部テンポラリテーブルは、ステートメントを処理するための最適化や結果を保持しておくために用いられる内部的に作成されるテーブルです。よって、ユーザーがこれを直接制御することはできません。内部テンポラリテーブルを使用するステートメントを実行すると内部で自動的に作成され、それが正常終了またはキャンセルされると自動的に削除されます。 内部テンポラリテーブルを必要とするステートメントの処理中の動作としては、まずメモリ内でテーブル（インメモリテンポラリテーブル）を作成します。それが大きくなりメモリ内に収まらないと自動的にディスク上のテーブル（ディスクテンポラリテーブル）に変換します。 また、以前の記事（第107回 CREATE TEMPORARY TABLEに
Rails 5.2 開発環境を Docker で構築する - Feedforce Developer Blog
どうも、バックエンドエンジニアのサトウリョウスケです ✌︎('ω')✌︎ 僕が所属している ソーシャルPLUS チームでは Rails の開発環境を Docker で構築しています。 自分も日々お世話になっている Docker ですが、イチから Dockerfile 書いた事が無かったので、やってみました。 こちらのチュートリアルを参考にしています。 クイックスタート・ガイド：Docker Compose と Rails — Docker-docs-ja 17.06.Beta ドキュメント やってみた✨ 早速ですがこちらが完成品の GitHub リポジトリになります。 github.com この記事は v1.0.0 時点で書いていますが、リポジトリは今後も更新されていく可能性があります。 環境 Debian Stretch Ruby 2.5.0 Rails 5.2.0.rc1 MySQL
MySQL：文字コードについて - St_Hakky’s blog
こんにちは。 MySQLで取り扱う文字コードについて色々調べたこととかについてまとめたので、以下備忘録として残しておきたいと思います。 ○文字コードの変更 以下の様な感じのエラーが出た時の対処方法 sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1366, "Incorrect string value: '\\xE9\\x98\\xBF\\xE4\\xBA\\x95...' for column 'name' at row 1") <|| まず、何の文字コードを使っているかどうかを確認する。 >|| show variables like "chara%";ちなみに、使用可能な文字コードは以下のコマンドで確認することができる。 show character set;次に、文字コードを全てutf-8にするために、以下のコ
Rails5 - utf8mb4（主にiOSの絵文字）に対応する - 22時に寝ようと思って2時に寝る。
実行環境 CentOS release 6.9 (Final) ruby 2.4.1 Rails 5.0.3 10.0.31-MariaDB 文字コードのutf8mb4に対応する 今回、主にiOSの絵文字に対応するためにutf8mb4に変更する必要がありました。MySQLであればバージョン5.5以降でutf8mb4をサポートしています。 以下がそのために行った設定です。 config/database.ymlを設定する default: &default adapter: mysql2 pool: 5 timeout: 5000 encoding: utf8mb4 collation: utf8mb4_general_ci socket: /var/lib/mysql/mysql.sock 今回、重要なのはencodingとcollationです。それぞれの大まかな意味としては、以下のとお
クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ
DockerでサクッとDBからER図を作成する - Qiita
このコマンドを実行するとカレントディレクトリのschemaディレクトリに解析結果のHTMLが出力されます。 （コンテナは自動的に終了します） docker run のオプション -vオプションで指定したoutputのマウント先が出力先になります。 複数ファイル出力されるので、既存フォルダに出力しないことをオススメします。 また、--net="host"オプションを指定することで、ホストマシンと同じようにDBに接続できるようになります。 注意点 2017/07/28現在、DockerHubにsnapshotタグのイメージしか上がっていないため、 イメージ名は明示的にschemaspy/schemaspy:snapshotと指定しましょう。 （省略すると自動でlatestになる） SchemaSpyのオプション -tで指定できるDBの種類は、デフォルトだと以下の4つになります。 mysql m
AWS Solution Days 2017「第2回 Aurora 事例祭り」で発表をしてきた - kakakakakku blog
今日は「AWS Solution Days 2017 ~ AWS DB Day ~」に参加をして「第2回 Aurora 事例祭り」で発表もしてきた．すぐに資料公開をして良いとのことだったので，参加レポートをまとめる． AWS Solution Days 2017 ～AWS DB Day～（2017 年 7 月 5 日開催） | AWS 第2回 Aurora 事例祭り 今回は「Makuake の急成長を支える Aurora 移行事例」というタイトルで発表をした．特に MySQL 5.5 on EC2 から Aurora に移行したフェージングと，その効果を中心に話した．他の発表であったような，オンプレからの移行ほど複雑度は高くはないけど，全体感をギュッと凝縮した，良い発表ができたのではないかなと個人的には思っている． 今日の会場風景はこんな感じだった！運営側からの依頼もあり，今回は珍しく発表
AnsibleでRPMのMySQL5.7のインストール・初期設定を自動化してみた · DQNEO日記
MySQL v5.7ではrootの初期設定まわりがいろいろ変わっており、 v5.6をベースにした記事を見てもそのままでは使えなかったりします。 Ansibleを使ってMySQL 5.7をインストール・初期設定するところまでできたのでやり方を紹介します。 注意 これはあくまで簡易版で、Vagrantのような開発環境構築を想定しています。 本番サーバに適用する場合はもっとセキュリティを重視する必要があるでしょう。 自分はMySQLに関しては初級者なので、ツッコミ歓迎です。もっといいやり方があれば教えてください。 手順 RPMを使ってMySQL5.7をインストールする ログファイルを解析してrootのパスワードを得る rootのパスワードを /root/.tmp.my.cnf に記述する /root/.tmp.my.cnf を使ってrootログインし、rootのパスワードを変更する と同時に新パ
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
mysqldiff を使って継続的に MySQL のデータベーススキーマの差分をチェックする - kakakakakku blog
最近，環境ごとのデータベーススキーマの差分をチェックする機会があった．プロダクション環境とステージング環境ならまだしも，開発環境だと検証のために追加したインデックスがそのままになっていたり，開発が途中で止まってしまって日の目を見ることがなかったテーブルが残っていたり，そういうことって比較的あるのではないかなと思う．特に今の環境だと，マイグレーションの仕組みが整っていないという課題もあり，より一層，データベーススキーマに差分が出やすくなってしまっている． 今回は MySQL から公式に提供されている mysqldiff というツールを使ってデータベーススキーマの差分をチェックした． mysqldiff をインストールする mysqldiff は MySQL Utilities という MySQL の管理ツールパッケージの中に同梱されている．現在だと v1.6 が最新になっている． MySQL
Laravel + MySQL5.7 で日本語全文検索をする方法とちょっとした注意点 - Qiita
皆さんこんにちは ちょっとしたアプリケーションを作っていると、キーワードやフリーワードを利用した検索が必要になったりします。 でも、そのときにLIKE検索なんてやっていると、全データを走査する可能性があり、あまり気分の良いものではありません。 そこで、適当な全文検索エンジンを使ってインデックスを張っておきたいなと思うわけですが...MySQLの場合、5.6まではデフォルトで(InnoDBに)日本語全文検索エンジンを入れていなかったりと、少々ハードルが高かったのです。 今回はMySQL5.7でデフォルトでNgramが搭載されているようなので、Laravelで全文検索を実装してみましょう。 例によって今回もLaradockを使用して即席環境を構築しています。 MySQLに全文検索が来た！ 大昔のtritton, ちょい昔のgroongaのように、外部のプラグインを導入することなく、裸のMySQ
MySQL 5.7 をインストールしたら最初に行うセットアップ |
前稿では「MySQL 5.7 を CentOS 7 に yum インストールする手順」について解説しました。 本稿では、MySQL 5.7 をインストール後に行うべきセットアップについて解説します。 MySQL 5.7 の root ユーザーの初期パスワードを知る MySQL 5.7 では、初回起動と同時に root ユーザーにランダムな文字列がパスワードとして設定されます。 設定されるパスワードはインストールを行う度に全く違うものです。 それでは設定されたパスワードは何なのでしょうか？ 初期パスワードは MySQL のログファイルに出力されています。 ログファイルは、CentOS だと /var/log/mysqld.log です。 ログを開くと次のようにパスワードが記載されています。 [Note] A temporary password is generated for root@l
MySQL 5.7 を CentOS 7 に yum インストールする手順 |
本稿では、データベースサーバー MySQL Community Server 5.7 を yum を利用して CentOS 7 にインストールする手順について解説します。 事前準備 CentOS 7 には mariaDB という MySQL 互換のデータベースサーバーがデフォルトでインストールされている場合がありますので、これからインストールする MySQL と競合を起こさないように削除しておきましょう。 つぎのコマンドのように mariaDB ライブラリとデータフォルダを削除しておきます。 # yum remove mariadb-libs # rm -rf /var/lib/mysql/ MySQL 公式 yum リポジトリの追加 CentOS 7 に yum で MySQL をインストールするためには、MySQL 公式の yum リポジトリを利用します。 まずは CentOS 7 に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sequel AceでMySQLに接続する(Sequel Proの後継) - Qiita
MySQLを割と一人で300台管理する技術
Run a single MySQL query from the command line | The Electric Toolbox Blog
GitHub - cytopia-deprecated/docker-mysql-5.7: MySQL 5.7 on CentOS 7
麻豆影视文化传媒app下载tⅴ 官网进入_麻豆影视文化传媒官网进入_麻豆影视下载_麻豆影院
