データベース事始め - Qiita
TensorFlowのような機械学習にはデータベースは必要不可欠です。ただ、このデータベースについての知識がゼロでしたので、まずはRDBMSからNewSQLまでの初心者向けの知識を簡単にまとめてみました。データベースに関わっている人からすれば当たり前の内容です RDBMS RDBMS(リレーショナルデータベース管理システム)は、下記のMySQLなどに代表されるRDB管理のための専用ソフトウェアです。RDBは、データを「行」と「列」からなる２次元の表（テーブル）形式で表し、複数の表と表の間でデータ同士を関連付け（リレーションシップ）を行うことができます。 MySQL PostgreSQL MariaDB Oracle Databasr SQL Server DB2 また、汎用的かつ高機能なSQLと呼ばれる言語が使用でき、ACIDなトランザクションが行えることが特徴です。ACIDとは、次の４つ
MySQLのテーブルの更新履歴を履歴テーブルに残す方法 - Qiita
CREATE TRIGGER orders_insert_trigger AFTER INSERT ON orders FOR EACH ROW insert into orders_log ( id,memo,customer_id,canceled_at,applied_at,log_time,ins_flag ) VALUES (NEW.id,NEW.memo,NEW.customer_id,NEW.canceled_at,NEW.applied_at,now(),1); CREATE TRIGGER orders_update_trigger AFTER UPDATE ON orders FOR EACH ROW insert into orders_log ( id,memo,customer_id,canceled_at,applied_at,log_time,ins_flag
ネットワーク構成図の自動作成を目指す！（3） - Qiita
Fate/StayNight Heaven's Feel見てきました。桜可愛いよ、桜。 その話はさておき、引き続きその3に話を進めていきたいと思います。この章では、前回MySQLに得られた情報をもとに、VLAN配下のホストの検出、ホスト名の取得、MySQLへの格納をどのように実装していくかを実験することを記載していきたいと思います。 この章で書きたいこと VLAN配下の全IPアドレスに対してPingを打ち、応答のあるIPアドレスを検索する 応答のあるIPアドレスに対し、snmpwalkでホスト情報を得る 上記2つの情報をMySQLに格納する 前回までのあらすじ 前回まででMySQLにCiscoスイッチのconfigから必要な情報をMySQLに格納しました。 今考えたら、VLANとNW_ADDRESSは別テーブルにした方が使いやすかったですね。。 mysql> select * from c
【注意】Amazon Aurora(MySQL)でZero Downtime Patch実行時に不具合が発生するケースがある【AWS】 - Qiita
はじめに 先日、Amazon Aurora(MySQL)の必須アップデートの案内が来たのでアップデートの検証作業を実施しておりました。 Zero Downtime Patch(以下、ZDP)が実行され、ダウンタイム無しでアップデートが行われるはずが、不具合が発生してしまいました。 ググっても関連する情報が見つからなかったので、取り急ぎ分かっている情報について記録しておきます。 なお、対象のアップデートは下記のものになります。（Cluster Version 1.14） Database Engine Updates 2017-08-07 http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Aurora.DatabaseEngineUpdates.20170807.html ポイント(TL;DR) 重要なポイントは下記のとおりです。 A
SQLで大量のテストデータ作成 - Qiita
以前に SQLでテーブルデータの一括作成、複製 という記事を書いたのですがもう少しかみ砕いて、かつPostgreSQLにも対応した内容で書き直してみます。 RDBMSを利用したアプリケーションを開発していて数千件を超える大量のデータを作成する必要が発生した場合に知っておくと便利なテクニックの紹介です。なお、以下のようなケースを想定しています。 SQLのパフォーマンス検証のために大量のレコードが必要 1テーブルに100万件以上 動作検証・評価作業のためにテスト内容に準じたデータが一定数必要 1セット100件を100セット 事前準備 SELECT文の 直積(CROSS JOIN) を利用します。 事前に一定数のレコードを保持するテーブルが必要です。 ここでは sample というテーブルを作成して 直積(CROSS JOIN) のSELECT文に利用します。 MySQLとPostgreSQLで
GoでMySQLに接続する - Qiita
Go言語にはデフォルトでSQLやSQLライクなデータベースに接続するための インターフェースがデフォルトで用意されている。 それに各DB用のドライバーを追加して、データベースに接続する go-sql-driver/mysql のインストール package main import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" ) func main() { db, err := sql.Open("mysql", "root:@/my_database") if err != nil { panic(err.Error()) } defer db.Close() // 関数がリターンする直前に呼び出される rows, err := db.Query("SELECT * FROM users") // if err !=
PostgreSQLでヒストグラムっぽいのを作る - Qiita
はじめに 数ヶ月に一回、ラーメンデータベースのスクレイピングをやっているんだけど、その集計のためにPostgreSQLを使っている。 で、スクレイピング結果を使って、PostgreSQL上でヒストグラムっぽいのを作っているんだけど、毎回そのやり方を忘れちゃうので、ここに書いておくことにした。 witdh_bucket関数 ヒストグラムっぽいのを作成するのに、PostgreSQLの算術演算関数 width_bucket(operand numeric, b1 numeric, b2 numeric, count int) を使う。 PostgreSQL文書だと、あんまり親切な説明がない。この素っ気なさはPostgreSQLクオリティだよなあｗ b1からb2までの範囲に広がる等幅でバケット数countのヒストグラムにおいて、operandが割り当てられるバケット番号を返す。 範囲の外側の入力値
AWS Lambda(Node.js)からAmazon RDSへIAM認証で接続する - Qiita
概要 現在開発しているburariというおでかけアプリでは、APIGatewayからLambdaを実行し、RDSのデータを取得している。 以前まで、LambdaからRDSへの安全な接続にはVPCが必須となっており、AWS Lambdaの定期実行をSAMを使って実装するにも書いたとおり、コールドスタート問題が懸念になっていたが、IAM認証でLambdaからRDSに接続できるようになったため、ついにVPCから解放される日がきた。VPCから解放されることにより、LambdaからSNSやKMSへの接続にNATが不要になるため、お財布にも優しいサービス運営が待ち受けている。 今回は接続まわりを実装してみる 💪💪 環境 Amazon RDS (MySQL v5.7.17, t2.micro) AWS Lambda (Node.js v8.10) Sequelize (ORM for Node.js
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
Vagrant上にRails + PostgreSQLの開発環境を構築する - Qiita
docker-composeを使って、Vagrant上に開発環境を構築してみたいと思い、 環境構築を作成しました。 備忘録的な感じでメモベースな投稿になっています。 ゴール Vagrant上に、RailsとPostgreSQLのDocker環境を用意して、 ScaffoldしたRailsアプリでCRUDができるようにする。 バージョン Mac OS 10.12.5 Vagrant 1.9.2 Ruby 2.4.1 Rails 5.1.3 PostgreSQL 9.6.3 手順 Vagrantによるローカル開発環境を構築する Docker開発環境を作成する DBと接続する 1. Vagrantによるローカル開発環境を構築する Vagrantをインストール 開発スペースに移動して、以下のコマンドを実施してください。 // Vagrantfileを作成 OSX $ vagrant init //
[MySQL]巨大なCSVをインポートする - Qiita
MySQLで巨大なCSVをインポートする方法をいくつか試してみました。 MySQLのバージョンは5.6.30でテストしています。 mysql> select version(); +-----------+ | version() | +-----------+ | 5.6.30 | +-----------+ 1 row in set (0.00 sec) $ wget http://www.post.japanpost.jp/zipcode/dl/kogaki/zip/ken_all.zip --2016-09-17 14:40:05-- http://www.post.japanpost.jp/zipcode/dl/kogaki/zip/ken_all.zip www.post.japanpost.jp (www.post.japanpost.jp) をDNSに問いあわせています..
![[MySQL]巨大なCSVをインポートする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9e8870cef92ef79b9500f81281720e3786ddcf2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTXlTUUwlNUQlRTUlQjclQTglRTUlQTQlQTclRTMlODElQUFDU1YlRTMlODIlOTIlRTMlODIlQTQlRTMlODMlQjMlRTMlODMlOUQlRTMlODMlQkMlRTMlODMlODglRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTBjNmFkMjdiYzYxOTBmZjBmNzYyYzRjNTdlNzFkYzU5%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2FveWFnaTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgzZDc3NmJlZDE0NGUyOGYxNzVmMDVhMTI2OGU3YmJk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Da8ddb46c9d577817d35e7ab7527a4746)
Aurora小ネタ／MySQLレプリケーションでのしくじりポイント - Qiita
先に、オンプレMySQL～RDS for MySQL／Aurora間のレプリケーションにおけるタイムゾーン設定という記事を書きましたが、それ以外にもAuroraでのMySQLレプリケーションでいくつか問題に遭遇しましたので、書き残しておきます。 しくじり1. そもそもレプリケーションが開始できない Auroraがマスターになるケースで、 バイナリログの出力をON（MIXEDまたはROW）にした バイナリログの保存期間も設定した（mysql.rds_set_configurationプロシージャで） スレーブに対してREPLICATION SLAVE・REPLICATION CLIENT権限を付与した スレーブ側でCHANGE MASTER TOコマンドはエラーにならずに通った にもかかわらず、スレーブ側でSTART SLAVE後にレプリケーションが開始されない場合、セキュリティグループやN
Postgresql サーバを移行したらAUTO VACUUM が実行されず、データベースが肥大化した時の話 - Qiita
Postgresqlデータベースの引越しを検討されている方や、引越し後にデータベースの肥大化に悩まされている方の参考になればと。 What happened Live環境のPostgresqlデータベースの引越しを行って数週間後、Postgresqlのdata volumeがこれまでにない異常なペースで消費されていることに気付く。 Drill down record数の増加状況は移行前後で特に大きな違いはない。 Liveのデータベースを定期的にstaging環境にrestore (+ データのクレンジング) しているが、staging環境と比較しても明らかに大きなサイズになっている。stagingにrestoreすると15GB程度のテーブルが、liveでは100GB以上。。 以上の２つから、vacuum周りに何か問題があるのでは？とあたりをつける。 Check auto-vacuum ex
運用中のシステムにも導入可なGo製のマイグレーションツール「mattes/migrate」 - Qiita
データベースマイグレーションツールでフレームワーク非依存のもので有名所といえばflywayだが、Java製のツールであるためJVMを入れておく必要がある。JVMを入れるというのが意外とハードルで、稼働中の環境に入れる場合は影響範囲が怖かったり、CIのたびに容量が小さくないJVMを入れるのはちょっと・・・というケースもある。 そんなときにオススメしたいのがGo製のマイグレーションツールmattes/migrateだ。flywayと同じくCLIツールだが、JVMのようなランタイムは不要だ。ビルド済みのバイナリがGitHubで提供されていて、インストールはcurlやwgetですぐにできる。容量も7.1Mと小さい。MySQLやPostgreSQLなど主要なデータベースに対応している。Go製であるが、マイグレーションファイルは素のSQLで書くから、ユーザにはGo言語の知識は必要ない。 mattes/
Microsoft AzureでMySQLが利用できるようになった - Qiita
概要 Microsoft Build 2017のキーノートでMySQLのフルマネージドサービスの発表がありました。 2017/5/13現在preview版ですが、一通り触ってみた所感と利用時の注意事項などについて書いていきたいと思います。 メリット 🍣 フルマネージドでサイジングが簡単 Azureでは今までMySQLのマネージドサービスは提供されてきませんでした。 そのため、インスタンスを立ててMySQLをインストールして利用するしかありません。 もちろんクラスターやレプリケーション、シャーディングといった冗長化や負荷分散には自前でその台数分のインスタンスを作成し、 それらを自分でプロビジョニング・管理する必要があります。 発表されたAzure Database for MySQLでは、コンピューティングユニットと、ストレージの容量がダウンタイムを(ほぼ)挟むことなく操作できます。 これ
MySQLパフォーマンスチューニング -クエリキャッシュ適用状況の確認- - Qiita
花粉真っ盛り。 もれなく花粉症MAXな日々を過ごしております。 まみーです。 前回のエントリーからの続きになります。 MySQLパフォーマンスチューニング -my.cnfの見直し- 今回は、前回の設定結果の中から、クエリキャッシュの効き具合を測定・検証していきます。 概要 my.cnf に設定した内容のうち、クエリキャッシュについて検証します。 前回の設定変更から1週間経過した時点での値の比較となります。 目的 設定されていなかったクエリキャッシュが適切に効いているのかを検証し、設定が妥当かどうか判断します。 問題点 サービスの運用上、以下の問題点があります。 変更できない テーブル構成 リクエストごとに増え続ける ログレコード 必要な リアルタイム検索機能 状況 クエリキャッシュ設定前の状況は以下でした。 リアルタイム検索を 複数実行するとサーバーが落ちる 1プロセスでも 応答に30秒
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSHトンネルを使ってAWS上のPostgreSQLに接続する - Qiita
tcpdump と pt-query-digest でクエリ分析 - Qiita
Rails+PostgreSQLでprimary keyにUUIDを使うための設定をするgemを作った - Qiita
MySQLでcount(*)の結果がある一定数以下である場合にのみカウントしたい - Qiita
