社内のZabbixを4.0系から6.0系にアップグレードした - 仮想化通信
CentOS 7上で動かしていたZabbix 4.0を、Ubuntu 22.04に移行しつつZabbix 6.0系にアップグレードしました。Zabbixのインストール自体はなんてことはないのですが、データベースのアップグレードですこし難儀したため、その記録です。 移行元のLAMP環境 OS: CentOS 7.9.2009 Webサーバー: 2.4.6 DB: MariaDB 5.5.68 PHP: 5.4.16 Zabbix: 4.0.42 CentOS 7自体はまだサポート中ですが、新しいZabbixでは新しめのPHPを要求されるため、Ubuntu 22.04で再構築してDBを移行することとしました。 DBは、文字コードがlatin1で作られていたため、今回を期にUTF-8に移行します。これが今回の罠ポイントです。 移行先のLAMP環境 OS: Ubuntu 22.04 Webサーバー
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化 代表的なNoSQLデータベースの1つであるMongoDBの最新バージョン「MongoDB 6.0」がリリースされました。 MongoDB 6.0 is now available! More support for time series data Build better event-driven architectures Deeper insights from enriched queries More operators, less work More resilient operations Smoother search & seamless data synchttps://t.co/PvF17HXMI7 pic.twitter.com/GOW
SQLアンチパターン簡単まとめ
「SQLアンチパターン」について、自分の勉強がてら内容を簡単にまとめました。 「とりあえずSQLは触れてWebアプリが作れる」「シンプルなアプリを実務で作ったことがある」くらいの人が読むととても勉強になると思います。 また、「現場での良くない設計」が詳細に言語化されているので、経験豊富な人でも新たな発見があると思います。 詳しく知りたい方は是非本を買って実際に読んでみて欲しいです。 第一章 ジェイウォーク パターン 1カラムにコンマ区切りで値を入れて複数の紐付きを表現しようとする なぜダメか 検索しづらい 文字列カラムの文字数制限という暗黙の制約を受ける バリデーションかけられない 解決策 交差テーブルの作成 第二章 ナイーブツリー パターン 木構造を表現するとき、常に親のみに依存する(parent_idだけ持ってしまう) 隣接リスト なぜダメか 階層を深く掘ろうとするとそのぶんSQLをか
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
Redshiftのnode毎のデータ量の偏りを調べる - Qiita
はじめに Redshiftのデータはnode毎に分散されており、distkeyが不適切だとnode間でデータ量が偏ることがある。 データが偏るとディスクを圧迫するだけでなくパフォーマンスにも影響する。 nodeとslice データはnode毎に分散して保存されている。 さらにnode内で複数のsliceに分かれて保存されている。 node情報取得 以下のテーブルを使ってrowsの偏りを求める事ができる。 ディスク使用量(byte)は取ることはできない。 stv_tbl_perm slice毎のテーブルのrows数を取得できる。 stv_slices nodeとsliceのマッピング情報を取得できる。 調査クエリ node毎の使用量を取得 select node, sum(rows) from stv_slices m join stv_tbl_perm s on s.slice = m.s
テーブルを分析する - Amazon Redshift
ANALYZE オペレーションは、クエリプランナーで最適な計画の選択に使用される統計メタデータを更新します。 多くの場合、ANALYZE コマンドを明示的に実行する必要はありません。Amazon Redshift は、ワークロードの変更をモニタリングし、統計をバックグラウンドで自動的に更新します。さらに、COPY コマンドは空のテーブルにデータをロードした際に分析を自動で実行します。 テーブルまたはデータベース全体を明示的に分析するには、ANALYZE コマンドを実行します。 自動分析 Amazon Redshift はデータベースを継続的にモニタリングし、バックグラウンドで自動的に分析オペレーションを実行します。システムパフォーマンスへの影響を最小限にするために、自動分析はワークロードが軽い期間に実行されます。 自動分析はデフォルトで有効になっています。自動分析を無効にするには、クラスタ
Amazon Redshift 統計情報を自動更新する『Auto Analyze』の動きを確認してみました | DevelopersIO
はじめに Auto Analyzeは統計情報の更新（ANALYZE）がバックグラウンドで自動実行するサービスです。本日は実際の動作を確認してみました。 Auto Analyzeとは Amazon Redshiftは、テーブル内で、どのような値が、どのような頻度で出現するのかの情報である「統計情報」を事前に取得しておき、この情報を基に効率的にレコード操作を行う計画「実行計画」を立てて実行します。つまり最適なパフォーマンスを得るには、正確な「統計情報」が必要となります。 これまでテーブルのデータは日々更新に応じて、ANALYZEコマンドを実行する必要がありましたが、これをバックグラウンドで自動実行する機能が、『Auto Analyze』です。この機能は、クエリの負荷に基づいてスケジュール実行されるため、アドホッククエリやバッチクエリの妨げにならないので安心してご利用いただけます。 参考：テーブ
Amazon Redshift: 『パフォーマンスチューニングテクニック Top 10』手順の実践(4).統計情報が無い表、もしくはVACCUMが必要な表 | DevelopersIO
当エントリは先日投稿したシリーズ『『Amazon Redshiftのパフォーマンスチューニングテクニック Top 10』手順実践』の第4弾です。課題#4の『統計情報が無い表、もしくはVACCUMが必要な表』について内容を見て行きたいと思います。 AWS Solutions Architect ブログ: Amazon Redshiftのパフォーマンスチューニングテクニック Top 10 『課題 #4: 統計情報が無い表、もしくはVACCUMが必要な表』を実践してみる amazon-redshift-utils/missing_table_stats.sql at master · awslabs/amazon-redshift-utils a stats_offの項目説明には『テーブルの統計情報の古さを示す数。0 は最新で、100 は最新でないことを示します。』とあります。また、表示条件を『
【BigQuery】FIRST_VALUE関数，LAST_VALUE関数の使い方とその違い - Qiita
概要 本記事では，BigQueryのFIRST_VALUE関数とLAST_VALUE関数を紹介します。 以下公式ドキュメントより引用： https://cloud.google.com/bigquery/docs/reference/standard-sql/analytic-function-concepts?hl=ja#navigation-functions ナビゲーション関数は現在の行からウィンドウ フレーム内の別の行に対して，いくつかの value_expression を計算します。OVER 句の構文は，ナビゲーション関数によって異なります。 ※value_expressionは，式から返すことができる任意のデータ型を指定できます。 ・FIRST_VALUE関数：指定カラムの先頭の行を持ってくる関数 ・LAST_VALUE関数：指定カラムの末尾の行を持ってくる関数 同じような事
[Redshift] ウィンドウ関数：FIRST_VALUE、LAST_VALUEで文字列の最小値・最大値を取得 | DevelopersIO
[Redshift] ウィンドウ関数：FIRST_VALUE、LAST_VALUEで文字列の最小値・最大値を取得 はじめに 最小値と最大値を取得する関数にはMINとMAXが存在しますが、文字列で実現するにはFIRST_VALUEとLAST_VALUEを使用します。 環境 MacOSX 10.10.5 Yosemite Redshift 1.0.1125 テーブルの準備 ミュージシャンのツアースケジュール：tour_schedule CREATE SCHEMA IF NOT EXISTS blog; CREATE TABLE IF NOT EXISTS blog.tour_schedule ( id INTEGER , artist VARCHAR(32) , day DATE , Country VARCHAR(16) , City VARCHAR(16) , Venue VARCHAR(
セキュリティ対策されていないデータベースを「ニャー」に書き換えるニャー攻撃が相次ぐ | スラド セキュリティ
セキュリティ研究者の報告によれば、ここ2週間ほどの間に、インターネット上に保護されずに公開されている脆弱なデータベースに対して、ほぼ全てのデータが削除された上に「Meow (ニャー)」という猫の鳴き声だけが書き残される「Meow Attack (ニャー攻撃)」が相次いでいるという（GIGAZINE、Slashdot）。 最初に発見されたのは香港のVPN業者UFO VPNのDBへの犯行で、研究者がDBがインターネット上に公開されている旨を企業とやり取りしていたところ、7月21日にDBのデータが削除され、「meow」の文字が残されているのを発見したという。ニャー攻撃はその後も拡大を続けており、27日現在までに、ElasticsearchやMongoDB、Apache Cassandraも含めて4000件以上が被害を受けたとのこと。 当然ながら、インターネット上に保護なく公開されたDBは以前から
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ | アシスト
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ 企業の情報システムで利用されているRDBMSでは、近年は商用データベースだけでなくオープンソース・データベースを併用するケースも増えており、選択肢は多様化しています。ご存じの通り、SQLはRDBMS共通の言語ですが、実際は細かな記述の違いやRDBMS独自の機能が多数存在します。そのため、例えば商用データベースからオープンソース・データベースに移行したり併用したりすると、アプリケーションの改修コストや、意図した通りに動作しないといった問題が発生する場合があります。本記事では、SQLの視点からRDBMSの主な差異を紹介し、異なるRDBMSに移行する際の注意点やRDBMS選定のポイントに迫ります。
主なRDB（Oracle, MySQL, PostgreSQL）の機能比較 - Qiita
全国で利用されているDBの分布は以下のようになっているらしいです。 この中でも特に、Oracle, MySQL, PostgreSQLに焦点をあててそれぞれの機能を簡単に比較したので、それをまとめました。 Oracleの主な特徴 Oracle社が開発・販売する商用RDBMS 行レベルロック 複数のユーザーが同一の表の別の行に同時にアクセスするのでパフォーマンスが高い 読み取り一貫性 ダーティ・リード（更新前の情報と更新後の情報の両方を取得）が発生しないように、更新前データのみを取得する 堅牢性 Oracle Data Guardと呼ばれる、災害時やデータ破損時などあらゆる障害からデータベースを保護し、サービスの継続を可能にするシステムが存在している 移植性 Oracle Databaseは全てC言語で書かれいているので、幅広い運用が可能 管理や開発の効率化のための様々なツールが利用できる
Amazon Redshift クラスターの作成手順 | DevelopersIO
AWS上でデータ分析基盤を構築するのに欠かせないサービスのひとつ、Amazon Redshift。弊社ブログでもAmazon Redshiftに関する数々のノウハウが公開されていますが、今回は主にこれからAmazon Redshiftを使ってみようという方向けに、Amazon Redshift クラスターのベーシックな作成手順をご紹介します。 Amazon Redshift "クラスター" とは？ 冒頭でさらりとAmazon Redshift クラスターという言葉を使いましたが、Amazon Redshiftの環境を構築する前提知識としてこのクラスターについて簡単に触れておきたいと思います。 Amazon Redshiftの大きな特徴の1つとして、「分散並列データベース」であることが挙げられます。Amazon Redshiftでは複数のノード(コンピューティングリソース)に処理を分配しそれ
Windows OS起動時、Oracle DBインスタンスが立ち上がらない時の対処法 - SEブログ
■ OS起動時にORACLEインスタンスが立ち上がらない！ OracleのDB接続には製品認証とOS認証があるが、OS認証を可の設定にしていると、OS起動時にDBインスタンスが立ち上がらないことがある。 原因は下記のようになっている。 OS起動→Windowsログインに時間がかかる→→→→→→→→↓ ↓→Oracleサービス起動→認証したいが間に合わない →→DB起動してない！OS認証可能かどうかは%ORACLE_HOME%\network\admin\sqlnet.oraの下記の項目から参照できる。SQLNET.AUTHENTICATION_SERVICES= (NTS)・・・ windows認証可能 SQLNET.AUTHENTICATION_SERVICES= (NONE)・・・windows認証不可能※OSにログインしているユーザーがグループ「ora_dba」に所属しているNTSと
PostgreSQL 9.2 でタイムゾーンのデフォルト値が変わった話 - mallowlabsの備忘録
PostgreSQL 9.1 から 9.2 にバージョンアップすると postgresql.conf に timezone の設定を書かなかった場合のデフォルトが「ローカルタイムゾーン」から「GMT」に変わってて命を落とした… 2014-03-31 18:36:12 via web PostgreSQL のタイムゾーンをローカル時間に合わせるために、postgresql.conf の timezone の設定を 設定しない（デフォルト）運用にしていた。 今回、PostgreSQL 9.0 → 9.3 にバージョンアップをする際に、タイムゾーンの設定のデフォルト値が変更されていて、大変な目にあったのでメモしておく。 PostgreSQL 9.1 以前 postgresql.conf を以下のように設定すると、PostgreSQL のタイムゾーンは サーバのタイムゾーンと同じ になる。（tim
「Google Cloud Platform」の3つのデータベースサービスが一般提供開始
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間8月16日、数カ月前の予告通り「Google Cloud Platform」の3つのデータベースサービスをベータ版から正式サービスに移行したと発表した。同時に、「Google Compute Engine」（GCE）でデータベースを利用するユーザーにとって役立つ、いくつかの機能強化も行っている。 一般提供が開始されたのは、「Cloud SQL Second Generation」「Cloud Bigtable」「Cloud Datastore」だ。 Cloud SQL Second GenerationはフルマネージドのMySQLデータベースだ。今回の一般提供開始にあたって、「MySQL 5.7」のサポート、ポイン
クックパッドにおける最近のActiveRecord運用事情 - クックパッド開発者ブログ
インフラストラクチャー部の成田（@mirakui）です。 Rails の OR マッパーである ActiveRecord ですが、みなさんどのように運用していますか？ ActiveRecord を使うと、 SQL を直接扱うことなく、抽象化された表現で RDB にアクセスできるので、アプリケーションの開発効率という観点ではメリットが大きいです。 一方で、 ActiveRecord が駆使されているアプリケーションをサーバに配置してプロダクションとして運用する立場からすると、いくつかの問題に突き当たります。 まずはクックパッド本体アプリケーションにおける、最新の rake stats をご覧ください。 +----------------------+-------+-------+---------+---------+-----+-------+ | Name | Lines | LOC
プライマリキーを使った1:1関連でカラム数の多いテーブルを分割する - Hidden in Plain Sight
おそらく多くのソーシャル系アプリにあてはまるRailsのプチ・デザインパターン的な話。 ぼくが今やっているEast Meet Eastには、ユーザごとに数多くのプロフィール属性があります。名前、性別、生年月日、郵便番号、職業などなど、カラム数にしてざっと25個。これを、全部ひとつのusersテーブルに詰め込むのは、コードの見通しという観点からも性能の観点からも、あまりよろしくありません。 なぜならば、ユーザ関連の情報を扱う局面としては主に メールアドレスとパスワードなどを使ってログインする（アカウント情報） プロフィール情報で条件を指定してユーザを検索・推薦する（プロフィール情報） という２つの独立性の高いユースケースにわかれるため、ログイン処理をやってるときにはプロフィール情報はいらないし、プロフィールを検索してるときにはメールアドレスやパスワードをロードするのは無駄です。また、開発やデ
プライマリキーを使った1:1関連のテーブル分割で自動採番をしないようにする - かみぽわーる
プライマリキーを使った1:1関連でカラム数の多いテーブルを分割する - Hidden in Plain Sight プチ・デザインパターン的なやつ、僕もよくやってます。 で、運用エンジニア的にはデータの不整合を起こしうる要因はできる限りDB側の制約でも防ぎたいので、このusersとprofilesの場合だと、usersで自動採番されたidをprofilesでも使うのでprofilesの自動採番する機能は残しておくと事故るリスクがあるので落としたいわけです。 なので、僕はいつもこんな感じでmigrationを書いてます。 class CreateUsers < ActiveRecord::Migration def change create_table :users do |t| t.string :email, charset: 'ascii', collation: 'ascii_bi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
