Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ | DevelopersIO
Amazon RDSをAuroraにできるだけ簡単に移行&メジャーアップグレードしてみた ~RDS MySQL 5.7からAurora MySQL 8.0への移行を例に~ Amazon RDS のMySQL 5.7やPostgreSQl 11が2024年2月末に標準サポートを終了するのに伴い、RDS延長サポート費用を支払って継続利用するか、メジャーアップグレードする選択が迫られています。 今回の標準サポートを終了を期に、メジャーアップグレードだけでなくRDSからAuroraへの移行、具体的には、RDS MySQL 5.7から Aurora MySQL 8.0への移行を支援する機会がありましたので、共有します。 PostgreSQLでも同様のことが成り立つかと思います。 なお、本記事では、RDSとAuroraの対比がわかりやすいように "Amazon RDS for MySQL 5.7"を"
【レポート】これから機械学習を学びたい方向け『AWSで始める機械学習』 #AWSSummit | DevelopersIO
2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！ 本エントリでは、ライブセッション「AWS-42：AWS で始める機械学習」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 西日本ソリューション部 ソリューションアーキテクト 桶谷 拓也氏 セッション概要 機械学習（ML）は、デジタルトランスフォーメーションでますます普及しています。ほとんどの皆さんは AI / ML を活用して競争上の優位性を獲得することの重要性を理解していますが、必ずしもどこから始めればよいかを理解できているわけではありません。本セッションでは AWS を使うことでどのように機械学習を学べるのか、どのように機械学習を始めれるのかをご紹介します。 動画・資料 アーカイブ動画と資
【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
サーバーレスパターン
やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう! チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -
AWS 認定ソリューションアーキテクト アソシエイトに合格した話 - critical alertのブログ
先日 AWS 認定ソリューションアーキテクト アソシエイト を受けてきました。結果は無事に合格することができました！ AWS 認定ソリューションアーキテクト – アソシエイト リザルトはこんな感じでした。 総合評点： 85% トピックレベルスコアリング： 1.0 Designing highly available, cost-efficient, fault-tolerant, scalable systems: 84% 2.0 Implementation/Deployment: 66% 3.0 Data Security: 90% 4.0 Troubleshooting: 100% 65% 以上で合格という噂があるので余裕を持って合格できたかなと思います。 (模擬試験では総合評点 70% だった) 少し苦手意識があった Data Security が 90% 取れたのでよかっ
AWS CLIのS3コマンドまとめ - TASK NOTES
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
Amazon AWSでユーザ数1100万以上にスケーリングするためのビギナーズ・ガイド | POSTD
あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か
Amazon Auroraを真に理解するための性能検証 | 外道父の匠
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
【社内資料公開】AWSトラブルシューティングページまとめ／より早い原因把握のために心がけること | DevelopersIO
はじめに こんにちは植木和樹です。オンプレで10年近くサーバーの保守運用をやっていた経験からいいますと、AWSの障害発生率は非常に低くて驚きます。数百台規模のサーバーを扱ってますと、毎日どこかでのサーバーでディスク、CPUファン、メモリーパリティエラーなんかの故障が起きていて日々対応に駆けまわってた覚えがあります。 さてAWSの障害発生率が低いといってもゼロというわけではありません。仮に0.1%だとしても1000日つまり3年運用していれば1回くらい障害に遭遇するものです。0.01%だったとしてもサーバーが1万台あれば1日1回なにかしらのトラブルに遭遇しても不思議ではありません。 トラブルに遭遇すると、当然サービスや処理に影響をきたしてしまうわけで早期の暫定処置と、その後に恒久的な対策が求められます。その時に重要なのは早く正しく原因を特定することです。トラブルシューティング力が重要です。 A
Amazon SESとSNSを利用してバウンスメールを自動的にハンドリングする - $shibayu36->blog;
メールを送るアプリケーションを作成していると、使われていないメールアドレスで登録された時や、携帯のメールアドレス変更によって登録されているメールアドレスが使えない状態になって、メール送信時にバウンスメールとして返ってくることがある。この時バウンスメールとして返ってくるメールアドレスをアプリケーション側で無効にするなどしておかないと、メール送信の無駄が発生する。また、AWS SESを使っている場合、バウンス率が高くなった場合、規制されることもある( https://docs.aws.amazon.com/ja_jp/ses/latest/DeveloperGuide/e-faq-bn.html )。 今回は、AWSを利用してバウンスメールとして返ってきたメールアドレスを自動的にハンドリングするというのをやってみたので、それを書いてみる。 前提 今回はAWS SESを利用して、メールを送信して
VPC初心者がハマりやすいポイントをまとめてみた - サーバーワークスエンジニアブログ
皆さんこんにちは。テクニカルグループの山田です。 今回、社内の研修で初めてVPCに触れたのですが、VPCを構築する際にハマった部分が何箇所かあったので他にもいるであろう、迷える子羊のためにハマリやすいポイントを初心者の目線から解説していきます。 そんな事も知らないのかと思われる方もいらっしゃると思いますが、どうか温かい目で見てくだされば嬉しく思います！ なお、VPCの基本的な構築手順については、ググればたくさん出てくると思うのでそちらをご覧下さい。 VPCの構築で気になった・ハマったポイント VPCのサイズは変更不可！ VPCを作成する際に、CIDR形式でVPCのサイズを決めると思うのですがこれは一度決めたらもう変えられません！ アドレス範囲を変えたい場合は、もう一度作りなおすしか方法はありません。 どうせ後で変えられるんでしょ？と、たかをくくって適当に指定すると後で泣きを見ることになるの
「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン
Amazon Redshiftへのデータ投入からBIツールによる可視化までの手順
データの入手、整形 Amazon S3へのデータのアップロード Amazon Redshift：テーブルの作成 Amazon Redshift：データの投入 Amazon Redshift：SQLによるバッチ処理（ETL） BIツールからの接続確認 また、利用するBIツールはTableau社が提供している『Tableau Desktop』というデスクトップツールを利用したいと思います。文中『Tableau』という言葉が出て来た際はこの『Tableau Desktop』のことを示しているとご理解ください。 データの入手・整形 では分析を行いたいデータを準備するところから見ていきましょう。Tableau社では各種デモで用いることができるようなサンプルデータを公開していますが、今回はそのサンプルデータを利用したいと思います。 以下のリンクで公開されているものは、架空の店舗別・地域別売り上げデータ
「Amazon Web Services パターン別構築・運用ガイド」の執筆環境 - プログラマでありたい
Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (2件) を見る 今回の「Amazon Web Services パターン別構築・運用ガイド」は、会社の同僚たち4人で書き上げました。会社の同僚といっても、東京と大阪に別れていたり、日中に打ち合わせをする時間もないので、ほぼリモートのやり取りだけで完結させました。かなりスムーズにいったのですが、幾つか課題もあるので、忘れないうちにメモです。 執筆を支えるシステムの全体像 リモートでやり取りをする為に、幾つかのツールを組み合わせて簡単な環境を作りました。方針としては、執筆に集中するために出来るだけSaaSを利用し、余計な時間を取られないようにしまし
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
AWS ELBの社内向け構成ガイドを公開してみる 負荷分散編 – Cross-Zone Routingを踏まえて ｜ DevelopersIO
ども、大瀧です。 最近、お客さまからの問い合わせからElastic Load Balancing(ELB)の負荷分散について調べ社内資料としてまとめる機会がありました。せっかくなので、ブログ記事として公開してみます。内容は随時アップデートしますので、ツッコミ・ご指摘があればぜひお願いします！ 負荷分散の仕組み ELBは、クライアントのリクエストを受け付けEC2インスタンスにトラフィックを転送するために、2種類の負荷分散を組み合わせて動作します。 スケーラビリティと冗長性のために、ELBはロードバランサの機能を提供するノードを複数動作させるはたらきがあり、クライアントから複数のノードへアクセスを分散させるためにDNSラウンドロビン、ノードからEC2インスタンスへのトラフィック転送を分散させるためにLeast Connsという手法を用いています。 DNSラウンドロビン DNSラウンドロビンはそ
AWS東京リージョンとBGPピアを確立するとレイテンシはどう変わるか＋α - 元RX-7乗りの適当な日々
参考までに、AWS(Amazon Web Services)までの通信経路上のASパスの数が短くなったら、どれくらいレイテンシが変わるのか計測してみました。 注意事項として、この手の話は、もちろん環境によって結果が大きく変わるので、参考程度にしかならないかもしれませんが、軽く読んでみてください。 ※ 少々長いので、時間がない方は、最後の"考察・まとめ"だけを読んでもらえればOKですｗ BGPピアを確立する？ 通常、インターネットで目的のホストと通信を行うと、途中途中で多くのネットワーク機器を通過することになります。選択される経路は、接続するネットワークによって大きく異なりますが、(もちろん)そのネットワークからの最適な経路が選択されることにはなります。(ルーターで設定されている) で、当然そのルートは短ければ短いほど、ネットワーク距離が小さくなり経由する機器の数も減るので、レイテンシ(遅延
ELB + PostfixでElasticなMTA(メール受信)システムの構築 – ELB Proxy Protocol Supportの活用 | DevelopersIO
AWSでメールシステムというと、メールを送信するためのAmazon SESという機能(関連記事 : Amazon SESでSPFとDKIMを用いて高信頼なメールを送る)がありますが、メールを受信する仕組みはMTA on EC2で構築することになります。 一般的なMTAの可用性確保および負荷分散はDNSラウンドロビンで行うことが多いですが、ロードバランサを用いたインテリジェントな負荷分散の構成もレシピとして欲しいところですよね。 そこで今回は、ELB + Postfix on EC2の構成をご紹介します。ポイントは、ELBに"Proxy Protocol Support"を追加する点です。 ELBの新機能として注目されているProxy Protocol Supportですが、アプリケーション側の対応が必要なため具体的な構成例がなかなか出てこない状況なので、ELB Proxy Protocol
AWSの上位ネットワークまわりについて - 元RX-7乗りの適当な日々
昨日から、色々調べ始めています。今日はAWSの上位ネットワークまわり。特に東京リージョン(Asia Pacific (Tokyo) Region)。 現時点の情報のスナップショットとしてログがわりに残しておきます。 ASN (AS番号) まず、以下のサイトで調べてみると、、、 http://bgp.he.net/search?search[search]=Amazon&commit=Search この通り、Amazonが取得しているASNは10個ほど見受けられますが、中身を見ていくと、このうちAS16509にほぼ集約されていることがわかります。 AS16509に接続されているBGPのPeerの数は現時点で、v4が158、v6が10となっています。(公開情報のみ) Peerの内訳は以下のリンク先から確認できます。 http://bgp.he.net/AS16509#_peers ざっくり確認
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第64回、第65回 NHK紅白歌合戦 | クラスメソッド株式会社
