AWS Blackbelt 2015年9月16日 Amazon Elastic MapReduceの資料です。今後の予定は以下をご覧ください。 http://aws.amazon.com/jp/about-aws/events/#webinar
![[AWSマイスターシリーズ]Amazon Relational Database Service (RDS)](https://cdn-ak-scissors.b.st-hatena.com/image/square/a4a2244ffdc6d34d6bce9e9e5d4bf4d90953dea0/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20130410aws-meister-regenerate-rdspublic-130411023817-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
RDSのMySQLでオンラインメンテ、つまり無停止でのスキーマ変更などをどうやれば良いか、という話。 今までは色々小細工をして生のALTER文を発行していたけど、さすがにロック時間とかが気になり始めたので調べた次第。 ざっとググると、pt-online-schema-changeというツールを使うと良さそうだったので、ここにその作業ログを残す。 以下は参考にしたブログ記事など。 pt-online-schema-changeを利用して無停止でスキーマ変更 @frsyukiさんのツイート Can I CREATE TRIGGER in an rds DB? なお、別のツールでoak-online-alter-tableというものがある。oak-online-alter-tableに関する記事は以下が参考になる。 MySQLでサービス停止のないALTER TABLEの検討 事前準備 pt-on
5 時過ぎに目が覚めて眠れなくなったので気になっていたことを考えてみた。 はじめに RDS のリードレプリカを HAProxy で振り分ける方法については... blog.cloudpack.jp 上記の記事を参考にしつつ... blog.cloudpack.jp 上記のようなことをやってみたりした。 RDS のリードレプリカ(RR)接続を HAProxy で振り分ける 一応、構成図 基本的には... HAProxy で RDS への分散アクセスを行う場合には、以下のように設定すれば RDS への接続をチェックして接続出来なければ HAProxy がよしなに切り離してくれる。 (略) listen mysql bind 0.0.0.0:3306 mode tcp option mysql-check user user_name balance leastconn server read0
AWS Summit Tokyo 2015 www.awssummit.tokyo アマゾンデータサービスジャパン様 主催のAWS Summit Tokyo 2015 で、 freeeの急成長とAWS というタイトルで発表しました。 発表させていただいたプレゼンテーションの内容は、 「創業期から現在に至るまでのインフラの変化、AWSさんの各種クラウドサービスを利用しつつ、会社の急成長と共にどのような形に変わっていったのか」 となっています。 AWS Summit Tokyo 2015 freee // Speaker Deck プレゼンテーション資料の作成には、弊社CTO 横路を始め、 インフラチームによるレビュー、及び 弊社マーケティングチームによるヘルプなどがあり、 作成することができました。 無事、発表が時間内に収まる形でできたのでとても良かったです。 私が入社したのは2014年6月
Auroraは2014年のre:Invent2014で発表された、AWSがクラウドネイティブ時代に、再考したMySQL5.6と互換性を持った作った新しいデータベースです。Auroraの特徴は既に情報も出来てきていて、どんな特徴を持ったデータベースかご存知の方も多かと思いますが、Auroraの概要は以下のスライドと発表Blogをご覧ください。 スライド / 英語Blog / 日本語Blog Parameter Groupsを一言で言うと、MySQLでいうmy.cnfです。RDSでは直接ホストサーバにログインすることが出来ないので、Parameter Groupsを使ってMySQLに与えるパラメータを変更します。全てのパラメータが変更可能というわけではなく、一部変更不可能なものも存在します。 Auroraのlimited previewで既にAurora環境をテスト出来る方も増えてきているので
こんにちは、cloudpack の 今岡 です。 Amazon RDS はインスタンスのスペックに応じて、自動でDBパラメータを調整してくれるのが売りでもありますが、どうしても変更したいパラメータがあったりします。有名なところでは max_allowed_packet character_set_xxx 系 この辺りのパラメータや、もっと重いパラメータ(クエリキャッシュの有効化等) 変更時に、DBリブートはかかるのか、かけなくていいのかを検証します。今回はとりあえずMySQLです。 リブートが掛かっていないかの確認 スクリプトを用意しました。しょうもないスクリプトですが、使ってください。 #!/bin/bash while : do dt=$(date) state=$(timeout 5 mysqladmin ping -u -p -h) echo $dt-$state sleep 1
cloudpackエバンジェリストの吉田真吾(@yoshidashingo)です。 Amazon RDSにAWS独自のエンジン「Amazon Aurora | MySQL PostgreSQL Relational Database | Amazon Web Services」が追加になりました。ただし、開始20分前ですら大行列で、ギリギリに行った自分などは立ち見にすら入ることができなかったので、サービスの詳細を聞き逃してしまいました。 といってもすでにさまざまな資料が公開されているので、これをちょっと読み込んでみて、気になる点はあるか、つまりずばり「今すぐ本番投入すべきか」ちょっと考えてみようと思います。 ちなみに合間合間に質問を書いてますが、回答があれば随時記入していこうと思います。 ※2014.11.17 以下のとおりスライドが公開になりましたので、回答にあたる部分を追記してあります
Amazonは、なぜ、Aurora(オーロラ)という名前をつけたのだろう? 僕は、どこかで見かけた、「それは、オーロラは雲(Cloud)の上にあるからさ」という一節が、とても気に入っている。 まさに、Auroraの最大の特徴は、Amazonのクラウド・サービスの上に構築されたデータベースであるというところにある。小論では、クラウド上(「雲の上」)のデータベースであるAuroraが、どのようにクラウドの機能を利用しているのかを、そのScalabilityとAvailabilityに焦点を合わせて紹介しようと思う。 AuroraのScalabilityとAvailability まず最初に、Auroraの主要なScalabilityとAvailabilityを確認しておこう。 Push-button Compute Scaling:コンソール画面で数クリックするだけで、CPU数・メモリーサイズ
この記事はPostgreSQL Advent Calendar 2014の12/15のエントリです。 今日15日目は、PostgreSQLといっても特にRDS for PostgreSQLをターゲットに、運用では欠かせない”監視”に焦点を当ててみます。 通常のサーバーで動作するPostgreSQLでは、サーバーのOSレベルの死活・パフォーマンスの監視に加え、RDBMSサービスとしての正常性の監視をするのが一般的かと思われます。 一方、RDS for PostgreSQLではサーバーのOSレベルのアクセスは制限されているため、RDSならではのちょっとしたコツが必要になります。 今回は、RDS for PostgreSQLならではの監視について考えていきます。 RDS for PostgreSQLの監視 RDS for PostgreSQLの監視では、次の2層の監視がポイントです。 DBインス
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
本日はCDP Advent Calendar 2013 on Zusaarの7日目のエントリを書きます 毎年AWSは相も変わらず、新機能ラッシュですね。今年は個人的にRDS関連の新機能が目立った気がします。Read ReplicaのMaster昇格やリージョン間スナップショットコピー、PostgreSQL対応など盛りだくさんでした。 今日は、RDSを使ってCDPの新提案してみます。 ここからは、CDPのテンプレートに則って書いて行きます。 CDPの内容 解決したい課題 「世界でもっとも普及している、オープン ソース データベース」であるMySQLは、本来様々なストレージ・エンジンを使用でき、様々な検索特性に変更できる。しかし、クラウド環境でサービスとして提供している物では、ほとんどの場合MyISAMはInnnoDBしか使用できない。 好きなストレージエンジンを使用する場合は、自前でMySQ
$ date 2014年 5月30日 金曜日 20時56分02秒 JST $ echo 'select now()' | mysql -h mysql.foobar.ap-northeast-1.rds.amazonaws.com -u admin -p Enter password: now() 2014-05-30 11:56:20 アンチパターン init_connect に "SET SESSION time_zone = 'Asia/Tokyo';"と書く →フェイルオーバー時にハマる (rdsadminユーザなどではTimezoneがUTCでないとダメ) ストアドプロシージャを入れて init_connect から呼ぶ 例)
2014年01月07日13:52 AWS Ruby RDSのデータをmysqldumpしてS3に保存する 弊社ではデータを AWS の RDS を使って管理しています。バックアップは自動で取ってくれるんですが、RDS では残せるバックアップのスナップショット数が決まっているのでもう少し過去のバックアップも取りたい。気軽にバックアップを S3 に保存することは出来ないものか。 追記:14:12 RDS のスナップショットを手動で取ったりすれば良いんですけど、アカウントが悪用されたりして全部消えちゃったら怖いなぁと。そういう背景もあって念のため S3 上にも置いておきたいなぁと思った次第です(*゚∀゚) 追記:14:17 バックアップのスナップショット数増やすことも可能みたいですね。 @sasata299 あとAmazonに申請すればRDSのスナップショットの上限値を増やせるらしいので参考にど
ども、大瀧です。 RDSにするか、DB on EC2にするかを検討する際によく挙がるのが、Timezoneをどうするかという話。AWSのサービスは基本的にはUTC(世界標準時)で提供され、RDSも例外ではありません。 「世界展開を狙うサービスであれば当然UTCで!」となるのですが、既存システムをAWSに移行する案件などでは「アプリの改修ができないので、移行前とTimezoneを合わせたい」ケースが多いと思います。 EC2であれば、OSのTimezone設定をちょちょいと変えるだけで対応できるのですが、RDSは直接インスタンスにログインできないため、ちょっとした工夫と注意が必要です。 概要 今回はRDS MySQLを対象に、Timezoneを変更する方法をご紹介します。 RDSでユーザーに提供される"Masterユーザー"は、MySQLのrootユーザーとは異なりSUPER権限(管理者権限)
皆さんお待ちかねの、RDS for PostgreSQLが昨日リリースされました。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS for PostgreSQLがご利用可能になりました! http://aws.typepad.com/aws_japan/2013/11/amazon-rds-for-postgresql-now-available.html 既にインスタンスを立ち上げてみた方もいるようです。 Amazon RDS for PostgreSQLがやってきた!! | Developers.IO http://dev.classmethod.jp/cloud/amazon-rds-for-postgresql-now-on-sale/ cloudpackブログ: Amazon RDS で PostgreSQL が利用可能に http://bl
4/25追記: innodb_support_xa=0 はクラッシュ時以外にも binlog と innodb の整合性が取れなくなる問題がありました。 innodb_support_xa と binlog の危ない関係 もご覧ください。 KLab でも最近は AWS を使ったプロジェクトがかなり増えてきました。 AWS で問題になりがちなのが、 RDB の性能が DSAS 環境に比べて低いことです。 DSAS ではバッテリーバックアップ付きのRAID + 非同期レプリケーションを使っているのですが、 RDS では Multi-AZ を使って耐障害性を確保しています。 この違いによって書き込み性能のチューニングのポイントが変わってきます。RAIDカードはデータが書き込みバッファに乗っている間は fsync が高速なのに対して、 Multi-AZ では別のAZにあるブロックデバイスに対して同
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く