Go製マイグレーションツールまとめ - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
データベース列名の名前付け（英単語での）採用例を集めてみた - Qiita
データベースのテーブルやビューなどに指定する列名（カラム名、フィールド名）の例を集めてみました。 各データベースの、予約語や使える文字種の制限は、ご自身にてご確認ください。 国際感覚的にかなりあっていない（ただし本稿は国内利用を主として書いています）、スペル間違いや明らかな採用間違い、などがありましたら、是非ご指摘くださいませ。。 住所 (county, district, prefecture, province, region, state) の扱いなど、国際的な利用が前提でしたらWeblioさんを参照してみましょう。 ※私は記法の宗教戦争をしたくありませんので、ご自身のお好みにあわせて変換をしてください（キャメル記法が...スネーク記法が...単数形・複数形など、各チーム・各プロジェクトの規約に合わせてくださいね） こんなことが大切かと （テーブルやビューの名前と組み合わせれば）その
Amazon DynamoDBの応答時間をミリ秒からマイクロ秒へ、インメモリキャッシュのDynamoDB Accelerator（DAX）が正式版としてリリース
AWS上でNoSQLデータベースとして提供されているDynamoDBを高速化する「DynamoDB Accelerator」（以下DAX）が、正式サービスとなったことが、AWSブログの記事「DynamoDB Accelerator (DAX) Now Generally Available」で発表されました。 Amazon DynamoDBはマネージドサービスで提供されているNoSQLデータベースす。非常に高いスケーラビリティと安定した高性能が特徴です。高速なレスポンスやスケーラビリティを重視するようなゲームや広告配信、コンテンツ配信サービス、モバイルアプリケーションなどのバックエンドなどによく使われています。 このDynamoDBにインメモリキャッシュを追加することで高速化するのが、今回正式サービスとなったDAXです。Webサイトからの説明を引用します。 Amazon DynamoDB
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
運用中のシステムにも導入可なGo製のマイグレーションツール「mattes/migrate」 - Qiita
データベースマイグレーションツールでフレームワーク非依存のもので有名所といえばflywayだが、Java製のツールであるためJVMを入れておく必要がある。JVMを入れるというのが意外とハードルで、稼働中の環境に入れる場合は影響範囲が怖かったり、CIのたびに容量が小さくないJVMを入れるのはちょっと・・・というケースもある。 そんなときにオススメしたいのがGo製のマイグレーションツールmattes/migrateだ。flywayと同じくCLIツールだが、JVMのようなランタイムは不要だ。ビルド済みのバイナリがGitHubで提供されていて、インストールはcurlやwgetですぐにできる。容量も7.1Mと小さい。MySQLやPostgreSQLなど主要なデータベースに対応している。Go製であるが、マイグレーションファイルは素のSQLで書くから、ユーザにはGo言語の知識は必要ない。 mattes/
Rails開発者のためのPostgreSQLの便利技（翻訳）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。 今回は、PostgreSQLのスケーリングソリューションで知られるCitus Data社のブログ記事の翻訳をお送りいたします。 概要 元記事: Postgres tips for Rails developers（Apr 28, 2017） 著者: Lukas Fittl ブログ: Citus Data Blog 原著者の許諾をいただいて翻訳・公開します。 今週のRailsConfで、私たちはRailsでPostgreSQLを使ううえでの多くの知見を共有しました。有用な情報なので、その多くを広く公開したいと思います。Railsアプリでのデバッグやデータベースのパフォーマンス改善にお役立ていただければと思います。 また、フェニックスで開催されたRailsConfに惜しくも出席できなかったRailsコミュニティメンバーの皆さまにも、私たちがRailsCon
DBeaver - 多彩なデータベースに対応した管理UI
データベースを使った開発や運用時においてGUIの管理インタフェースが欲しいと思うことは多々あります。特にプロジェクトによってデータベースの種類が違ったり、接続先があちこちに存在するとそう感じるはずです。 そこで使ってみたいのがDBeaverです。多彩なデータベースに対応した管理UIです。 DBeaverの使い方 接続先の選択画面です。PostgreSQL/MySQL/MariaDB/DB2/Oracle/SQL Serverなどの基本に加えてMS Access、infomix、MongoDB、Firebirdなども選択できます。 SSHトンネルに対応しているので本番環境のデータベースも確認できるでしょう。 接続しました。 テーブルの一覧です。 データも確認できます。 ダイアグラムはリレーションなどの関係が分かるようになっています。 DBeaverを入れておけば、大抵のデータベースには接続で
Cloud SQL for PostgreSQL : モバイル / 地理空間アプリに最適なマネージド PostgreSQL | Google Cloud 公式ブログ
Cloud SQL for PostgreSQL : モバイル / 地理空間アプリに最適なマネージド PostgreSQL 私たち Google は先日開催した Google Cloud Next '17 で、マネージド データベース サービスである Google Cloud SQL において PostgreSQL をサポートすることを発表しました。 PostgreSQL は、高い拡張性や強力な標準準拠、活気のあるオープンソース コミュニティのサポートで知られるデータベースです。多くの開発者により、特に地理空間およびモバイル アプリケーションで使用されています。 Cloud SQL はすでに MySQL をサポートしており、PostgreSQL ユーザーも同様のメリットを享受できるようになります。たとえば、パッチの適用や、バックアップおよびストレージ容量の管理といった日常的なデータベース管
【PostgreSQL】本番稼働中のPostgreSQLシステムで押さえておくべき「3つ」の監視項目
【PostgreSQL】本番稼働中のPostgreSQLシステムで押さえておくべき「3つ」の監視項目：データベースサポート最前線の現場から（10）（1/2 ページ） データベース管理システムの運用でトラブルが発生したらどうするか。データベースサポートスペシャリストが現場目線の解決Tipsをお届けします。今回は、監視ツールを活用してPostgreSQLを監視する際に最低限押さえておくべき「監視項目」を紹介します。 連載バックナンバー アシストのサポートセンターには、「“本番稼働中”のデータベースの監視」に関する問い合わせがよくあります。そこで今回は、監視ツールを活用してPostgreSQLを監視する際に最低限押さえておくべき3つの「監視項目」を紹介します。 「プロセス」の監視 「ログファイル」の監視 「ディスク空き容量」の監視 この3つの情報を適切に採取し、監視ツールで監視するようにしておく
超高速のPostgreSQLとしてGreenplumを気軽に使う
はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム
怒りを通り越してあきれるOracleユーザー
「Oracle Database（DB）は信頼性や可用性が高く、当社のシステムには欠かせない。しかしここ数年、保守料が右肩上がり。IT予算に占めるOracle DBの保守料金の割合が増えて困っている」。 製造業A社のシステム部長は悩んでいた。会計や販売管理、生産管理など社内の主要なシステムは全てOracle DBを利用している。しかし開発時期はバラバラで、システム構築を依頼したITベンダーもシステムごとに異なっていた。Oracle DBのライセンスはシステム構築に合わせて、その都度購入している。システムごとに同じOracle DBとはいえ、バージョンは異なり、システム部門の保守作業も手間になっていた。 「Oracle DBを使っているシステムの維持費用を削減したい」。こう考えたシステム部長は、安定稼働していて、今後も大きな業務機能の変更もないと想定できるシステムのデータベースの保守契約を止
「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現
「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を発表しました。 Google Cloud Spannerは、地球規模の大規模分散処理データベースとして、NoSQL並の非常に高いスケーラビリティと高い可用性、そして高速な処理を実現しつつ、SQLに対応。強い一貫性を持つトランザクション処理も実現。企業のミッションクリティカルな業務にも使えると説明されています。 地球規模に分散したリレーショナルデータベース 一般に、ミッションクリティカルな業務に対応したリレーショナルデ
「もう従来DBかNoSQLか悩まずに済む」、Googleが基幹用RDB「Cloud Spanner」を発表
「もう従来DBかNoSQLか悩まずに済む」、Googleが基幹用RDB「Cloud Spanner」を発表 米Googleは現地時間2017年2月14日、ミッションクリティカルなアプリケーション向けの分散リレーショナルデータベース（RDB）「Cloud Spanner」を発表した。現在、公開ベータ版を提供している。 Googleによると、Cloud SpannerはACIDトランザクションとSQLセマンティックをサポートし、トランザクションの一貫性を保証する一方、水平スケーリングと高可用性を実現する。「一貫したトランザクションの従来データベースか、拡張性とデータ分散のNoSQLかで悩む必要がなくなる」とGoogleは述べている。 GoogleはCloud Spannerの利点として、シャーディングやクラスタリングを行わずにRDB管理システムをスケールアウトし、NoSQLデータベースに移行す
【PostgreSQL】最低限設定しておくべきログ関連パラメータ3選
連載バックナンバー 今回は、PostgreSQLの障害発生に備えて設定しておくべき3つのログ関連パラメータを紹介します。これらのパラメータを設定しておくことで、障害発生時にその状況を詳細に把握できます。逆に、設定しておかないと障害の原因や対策が困難になります。ぜひ忘れずに設定しておきましょう。 PostgreSQLのログ出力には、Linux系システムならばsyslog、Windows系システムならばeventlogのログ機能なども選択できますが、今回はPostgreSQL独自のログ機能を活用してみましょう。 3つのログ関連パラメータを設定しておく 設定しておくべきログ関連パラメータの設定は以下の3つです。 1：logging_collector=on 2：log_line_prefix='[%t]%u %d %p[%l]' 3：log_min_duration_statement=<許容で
AuroraのALTER TABLE性能検証とRDS比較 | 外道父の匠
よく、Auroraを採用しました、安定しています、移行してよかったです！とか見かけますけど、 なんで快適なのかをちゃんとわかって使ってんのかこの野郎ッp(｀･ω･´ﾒ)q 俺も全然わかってねぇッ( ･`ω･´) ということで、今回もいい感じに飽きてきたAuroraです。Aurora。少々気になっていた、ALTER TABLE周りについて興味深い数値が取れたので、その共有で御座います候。 MySQL5.6互換 AuroraはMySQL5.6互換というけれど・・・ Q:「MySQL と互換性がある」とはどういう意味ですか? これは、現在お客様が MySQL データベースで使用しているほとんどのコード、アプリケーション、ドライバー、ツールをほとんど、またはまったく変更を加えなくても Aurora で使用できることを意味します。Amazon Aurora データベースエンジンは InnoDB スト
MySQLの文字コード事情 2017版
シリコンバレーのスタートアップを数多く取材する中で気付いた「シリコンバレーにおけるディシプリン（規律）の存在」や「General Electric（GE）やIBM、SAPといった老舗企業が必死になってシリコンバレーのスタートアップを真似している理由」、そして「日本企業がイノベーションを実現するための処方箋」について解説します 詳しく知りたい場合は「GE 巨人の復活」をご覧下さい。 http://www.nikkeibp.co.jp/atclpubmkt/book/17/P55110/ 今後の記事は「シリコンバレーNext」をご覧下さい。 http://itpro.nikkeibp.co.jp/siliconvalley/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL 10の新機能のプレビュー
