zabbix ログ検知が遅れる原因と対処 - Qiita
Zabbixから、数時間前のログアラートが届いたことがありました。ログ検知が遅延してしまっていたようです。障害に気付くのが数時間遅れることを意味するので、実はかなり致命的です。 原因は、ログ出力量が急激に増えたことで、Zabbix agentの処理量＜ログの増加量、になってしまっていたことでした。対処方法は、ログ出力を減らすこと、Zabbix agentの設定変更、が挙げられますが、対処方法よりも、本当にログの読み込みが遅れているのか、遅れているならばどの程度なのか、を調べる方が難しかったので、それをメインに書いています。 前提条件 Zabbix ver4.0系で記載しています Zabbix データベースはmysql前提で記載しています ログの読み込みが遅れているかを確認してみる Zabbix データベースでは、各host・各itemごとにlastlogsizeという、対象ログファイルのど
【MySQL】バイナリログを自動削除したい（mysql-bin.******） at softelメモ
問題 /var/lib/mysql ディレクトリの中に、 バイナリログ（mysql-bin.******）がどんどんたまっていく。 バックアップを取ったらバイナリログは消えていって欲しい。 手動でやらないとだめ？ 答え こんなオプションがある。 [mysqld] expire_logs_days = 30 デフォルトは0で、自動削除しない。 上のように設定をすると、バイナリログをフラッシュしたときや再起動のときに古いバイナリログを削除する。 http://dev.mysql.com/doc/refman/5.1/ja/server-system-variables.html なお、この設定が利用できるようになったのはMySQL4.1.0から。 http://dev.mysql.com/doc/refman/4.1/en/server-system-variables.html#sysvar
MariaDB(MySQL)：バイナリログの削除(パージ)方法 - よしまさのブログ
MariaDB(MySQL)バイナリログの削除は「rm」コマンドファイルで削除せず、専用のバイナリログのpurge(パージ)コマンドを使用します。(2017/06/03作成) CristianFerronato / Pixabay 0.環境 $ cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) $ mysql --version mysql Ver 15.1 Distrib 10.1.23-MariaDB, for Linux (x86_64) using readline 5.1 ※レプリケーションを使用している場合は、スレーブ側にてどこまで伝搬しているかを「 show slave status \G 」コマンドで確認します。 1.バイナリログの確認 MariaDB [(none)]> show master log
PostgreSQLのbackup, restore方法まとめ - Qiita
(1) PostgreSQLのダンプツールを利用したバックアップ pg_dumpコマンド DBを運用しながらでも使えるbackupコマンド 中ではトランザクションブロック内でSELECT文を発行し、取得したデータを出力形式に合わせて整形した腕標準出力に出力 するらしい。 pg_dumpの出力形式 スクリプト形式(デフォルト) アーカイブ形式 が選択できる。 スクリプト形式 スクリプト形式の出力は、リストアに必要なSQL文の羅列が出る。 ので、psqlコマンドでリストアする。 スクリプト形式の場合はプレーンテキストなので、リストアの際にエラーが出たら、中を見れるという利点がある。 アーカイブ形式 バイナリの形で出力される。リストアはpsqlコマンドでなくpg_restoreコマンドで行う。 アーカイブ形式の利点は、 ｢指定したtableのみを選択してリストアできる｣ことらしい。 また、アーカ
［制約だらけのプロジェクト編］第4回：履き違えた目的と手段
ちょっと待てよ。そもそも今回の要件は，レプリケーションの実現ではない。新国際システムのデータを情報系システムに提供できればよいのだ。極端に言えば，新国際システムの該当DB（20種類）のデータを，毎日全件アンロード（エクスポート）し，それを情報系側で全件ロード（インポート）する方式でもよいのである。 もっとも，この方式では毎日500Gバイトのデータ送信と，情報系側でのロード処理が発生する。そう考えると，あまり現実的ではないのかもしれない。できればレプリケーションと同様に，情報系には差分のみを送信して更新したい。この考えを原点にしつつ，なおかつ脱レプリケーション方式の検討をする必要があった。 解決策は必ずあるはず！ 情報系側で差分データの更新を行うプログラムを開発するのは，それほど難しくはない。なんとか基幹系のデータから差分データを作り出す方法さえ見つけられればよい。そこで私は以下のような過程
インフラエンジニアがいざという時に抑えておきたい postgresql コマンド · GitHub
postgresql.md 一旦テーブルの中身を把握したい時に使える一括CSV形式での出力 psql DATABASE_URL -c "select id,title from articles" -A -F, | pbcopy -A 位置揃えなし -F, カンマ区切り DATABASE_URL は postgres://user:password@host:port/database DB が重くてレスポンス返ってこない時に対処する流れ めちゃくちゃ時間がかかるクエリが走っていて、問題が起こっている場合の対処。 問い合わせを行っているWebサーバー側で対応が出来ると良いけど、DBサーバー側で対応の必要がある時。 pg_stat_activity で統計情報を取得する 現在実行中のクエリはpg_stat_activityテーブルが管理しているため確認できる。 https://www.pos
PostgreSQL VACUUM で年末大掃除 | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2018 の18日目の記事です。 今回はPostgreSQLを運用する上で絶対に無視できない「VACUUM」について、その機能と役割を確認していきたいと思います。 VACUUMとは VACUUMは、テーブルの実体となるファイルの中から、不要領域を探索し、再利用可能な状態にしていくものです。VACUUMを全く実行しない場合、ファイルサイズが増え続け、パフォーマンスの低下、ディスクスペースの圧迫へとつながります。 AUTO VACUUM機能 PostgreSQLには「AUTO VACUUM」機能が搭載されており、自動で随時VACUUMが実行されるため、多くの場合問題となりません。しかし、AUTO VACUUMも万能ではありません。テーブルによって追加・更新・削除の頻度、規模は様々であるため、AUTO VACUUM機能によるVACUUM
PostgreSQLのIOにまつわるエトセトラ | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは。寺岡です。 これは TECHSCORE Advent Calendar 2017 の14日目の記事です。 PostgreSQLのIO問題を調査する機会があり、RDBMSのIO問題を取り巻く状況についてまとめてみました。 本記事は一般的なLinux+PostgreSQL環境を対象としています。 RDBMSとACID PostgreSQLをはじめとした多くのRDBMSはトランザクションの信頼性を強く保証するシステムです。 この特性は原子性(Atomicity) 一貫性(Consistency) 独立性(Isolation) 永続性(Durability) の頭文字を取りACIDと呼ばれています。 RDBMSにおけるACIDとは、全利用者（クライアント）が実施した操作（クエリ）が、実施された順番で完了することが保証（トランザクション、レプリケーション）されることを表します。 トランザ
DB論理設計のノウハウ - Qiita
DB設計の概要を簡単におさらいした後、論理設計について主にまとめていきます。 DB設計の全体手順のおさらい DB設計は、大きく論理設計と物理設計に分けられます。 概念スキーマを定義します。 エンティティの抽出 エンティティの定義 正規化 ER図の作成 物理設計 論理設計の結果を受けて、データを格納するための物理的な領域や格納方法を決めます。 テーブル定義 インデックス定義 ハードウェアのサイジング ストレージの冗長構成決定 ファイルの物理配置決定 テーブルの構成要素のおさらい 行と列 行(レコード)：横のデータの組 列(カラム)：縦のデータの組 キー キーとは、DBのテーブルから特定のデータを引き出すための鍵です。 主キー：その値を指定すれば、必ず一行のレコードを特定できるような列の組み合わせのこと。一意にレコードを識別するためにある 外部キー：2つのデーブル間の列同士で設定するもの。参照
DockerでサクッとDBからER図を作成する - Qiita
SchemaSpyというDBのスキーマを解析してテーブルの一覧やER図を出力してくれるツールがあります。 このツールの公式Dockerイメージが公開されており、非常に使いやすいので紹介させて頂きます。 https://hub.docker.com/r/schemaspy/schemaspy/ コマンド docker run -v "$PWD/schema:/output" --net="host" schemaspy/schemaspy:snapshot \ -t <DB種類> -host <DBホスト名/IP>:<ポート> -db <DB名> -u <DBユーザー名> -p <DBパスワード> このコマンドを実行するとカレントディレクトリのschemaディレクトリに解析結果のHTMLが出力されます。 （コンテナは自動的に終了します） docker run のオプション -vオプションで指
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
オンプレからAWS環境にデータベース移行するのに役立つ情報まとめ | DevelopersIO
西澤です。先日"AWS環境へのデータ移行"をテーマに社内で営業向け勉強会を行ったのですが、自分が1から資料を作るよりもずっと有用な公開資料がたくさんあったので、それらを使って説明をさせてもらいました。当日メンバーから出た質問等も補足しながら、今回はその情報をこちらにまとめておきたいと思います。 前提 タイトルではデータベース移行としていますが、こちらではRDBの移行のみを対象とします。AWSの各種サービスの詳しい説明は行いません。それらを組み合わせて利用する際に必要となる情報をまとめたいと思います。また、これからご紹介する資料の中には重複する部分も含まれるのですが、私が個人的によくまとまっているというところをピックアップしてご紹介して行こうと思います。 AWSへのデータ転送方法のまとめ まずは、データファイルの転送方法のまとめです。いつの間にかできていた下記ページが非常にわかりやすくまとま
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLのチューニング技法 -しくみを知って賢く使う- PostgreSQL Conference 2009 Japan
https://downloads.mysql.com/presentations/20151208_01_MySQL_Backup_for_Beginners.pdf
PostgreSQL: 集合を返すGENERATE_SERIES関数で大量データを生成して集計する | TECHSCORE BLOG | TECHSCORE BLOG
MySQLを割と一人で300台管理する技術
hatebu.me
