RDSのGeneralLogをパケットキャプチャに切り替える | 外道父の匠
三年以上前に サービス品質の改善効率を高める仕組み | 外道父の匠 の一部にて、GeneralLog と EXPLAIN を使って、クエリ品質を自動算出していることを書きました。 この仕組みは2011年に開発して以降、言語変更や新環境に適応させたりしつつも、ほぼそのまま稼働し続けていて、最近はRDSが対象になることが多いのですが、RDSだとGeneralLogの採取に問題が発生したので、DBサーバーではなく、ClientでのPythonを使った採取に切り替えてみました、という話になります。 RDSのGeneralLogは高QPSでは非推奨 RDSで GeneralLog を採取するには、パラメータグループで general_log を ON にするしかないのですが、数百qps 程度なら問題なく動いても、数千～万qps となると、ほぼ期待通りに切り替わってくれなくなります。 それまでは、AP
スポットインスタンスを効率的に管理するSpotinstを使おう - ABEJA Tech Blog
みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか？ どのリソース同士がつながっているのか？ アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか？ このアカウントはいくつのリージョンを利用しているか？ どれだけ大きないシステムを運用しているか？ CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン
AWS EC2のインスタンスが新年早々各地で起動しなくなる可能性がある件で踊らされている件 | ロードバランスすだちくん
シンジです。株式会社アクシア代表取締役。中堅ソフトウエア、フリーランスを経て株式会社アクシアを設立。２０１２年まではアクシアでも長時間労働が常態化していたが、２０１２年１０月から残業ゼロを継続中。２０１７年３月にはホワイト企業アワードの労働時間削減部門で大賞受賞。の、米村 歩さんの記事でAWSユーザーが混乱しているので感想を書こうと思いました。 ソースはこちら AWS EC2のインスタンスが新年早々各地で起動しなくなる可能性がある件 https://axia.co.jp/2017-12-27 つまりまとめると 発注しろってことみたいなので記事を引用しながら感想を述べます。 「AWSのことがわかる技術者の方以外には何言ってるか全く意味不明の内容だと思いますのでスルーしてください。ｗ」 AWS「も」分かるのでスルーしません。 「PV方式と呼ばれる旧世代インスタンスを使用している場合に発生する可
AWS EC2のインスタンスが新年早々各地で起動しなくなる可能性がある件 | 株式会社アクシア
先日弊社で保守契約を締結しているとあるクライアントから突然システムが動作しなくなってしまったとご連絡がありました。クライアントの方でサーバーのメンテナンス作業をしていたところ、動作しなくなってしまったとのことでした。 保守対象のシステムであったため、早速原因の調査を行いまして、そのクライアントが使用しているAWSのEC2インスタンスに起因する問題であることが判明しました。AWSを使っているシステムで同様の条件の場合に、システムが稼働できなくなってしまう可能性があります。 しかもこれは2018年新年早々に各地で問題発生する可能性がありますので、今回弊社で実施した対応について詳細を記載したいと思います。AWSのことがわかる技術者の方以外には何言ってるか全く意味不明の内容だと思いますのでスルーしてください。ｗ あるいは自社で使用しているサーバーがAWSということがわかっている場合には、念のため担
サーバーレス・アプリケーションの開発ツールチェーンとして AWS SAM まわりがいい感じに成長してきているのであらためて紹介します
サーバーレス・アプリケーションの開発ツールチェーンとして AWS SAM まわりがいい感じに成長してきているのであらためて紹介します Serverless Advent Calendar 2017 の 15 日目です. 本記事ではサーバーレス・アプリケーションの開発ツールチェーンとして最近なかなかいい感じになりつつある AWS SAM (AWS Serverless Application Model) とその周辺を紹介しようと思います. 本記事は AWS 上でサーバーレスなアプリケーションを動かしたい オープンソースとしての公開も考えてたりする サーバーレスなアプリケーションも CI/CD に組み込んで継続的に開発・デプロイしていきたい 過去に CloudFormation で Lambda をデプロイしようとして血を吐きかけた というわけで CloudFormation は生理的にちょ
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon Aurora Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適
AWSの次世代JavaScriptライブラリ「AWS Amplify」の概要とReactアプリに導入する手順 #serverless #adventcalendar | DevelopersIO
AWS Amplifyとは？ 本記事はServerless Advent Calendar 2017の13日目の記事です。よろしくお願いします。 AWS Amplifyは、2017年11月に公開されたAWSを利用するWebアプリケーション向けのJavaScriptライブラリです。サインアップやサインイン、MFA、追跡またはメトリクスの分析、コンテンツ管理、またはサーバーレスAPI統合などの実装が容易にできるように設計されています。 AWS Amplify は、クラウドサービスをスケーラブルかつ保護された方法で使用して一般的なアクションを実行するクライアント開発者に、宣言型インターフェイスを提供するように設計されています。これらの新機能を使用して、開発者は JavaScript アプリケーションを作成して一般的な抽象化を使用したベストプラクティスをプログラムによって適用し、最終的に開発サイク
英語が聞き取れなくても大丈夫！？AWS re:Invent 2017のセッション動画を自動翻訳付きで聴講しよう #reinvent | DevelopersIO
AWS re:Invent 2017のセッション動画が続々と公開中 AWS re:Invent 2017では、ブレイクアウトセッションがあります。そのいくつかはYouTubeで徐々に公開されていっています。しかしもちろんセッションは全て英語です。セッションの内容を完璧に理解するには、英語のリスニングスキルが必要になります。 ここで役に立つのがYouTubeの 英語の字幕（自動文字起こし） および 日本語の字幕（自動翻訳） の機能です。この機能を使うと、英語のリスニングが全然できなくても、セッションでどのようなことが話されているか分かるようになります。 どのように見るか、簡単ではありますがご紹介します。 気になるセッション動画を見つける まずAWS re:Invent 2017のポータルサイトを開きます。 https://www.portal.reinvent.awsevents.com/c
（続）AWSの新サービス群に対する一行所感 - プログラマでありたい
昨日のAWSの新サービス群に対する一行所感に続き、二回目です。タイトル通り一行じゃないのは、書いてる時の気分の問題です。 AWS Serverless Application Repository Serverlessアプリケーション版のGithub。SAM形式で作ってたら公開可能。限定公開とか一般公開とか出来る 。とりあえず9割の人が利用者側にまわるサービスかな。 aws.amazon.com AWS Cloud9 2016年にAWSに買収されたオンラインIDEのCloud9。１年の雌伏の時を経てAWSのサービスとして登場。ペアプロとかも出来る。ちなみにCloud nineというのは、至福という意味 aws.amazon.com Amazon EC2用スプレッドプレイスメントグループ 従来のプレイスメントグループに、機能拡張。今までは、ネットワーク的に近くという目的だったが、今度は物理的
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
【速報】AWS re:Invent 2017 Keynote 1日目で発表された新サービスまとめ #reinvent | DevelopersIO
今からキャッチアップしたい人のために！ AWS re:Invent 2017のKeynote 1日目で発表された新サービスの速報記事をまとめました。ついでに、Keynote前日までに発表されている新サービスもまとめています。 Keynote Day 1での発表 AWS Elastic Container Service for Kubernetes(EKS) AWS Fargate Amazon Aurora Multi-Master Amazon Aurora Serverless Amazon DynamoDB Global Table Amazon DynamoDB Backup and Restore Amazon Neptune Amazon S3 Select Amazon Glacier Select Amazon SageMaker AWS DeepLens Amazon
［速報］AWS Lambdaが機能強化。.NETとGo言語をサポート、サーバレスアプリケーションのリポジトリも登場。AWS re:Invent 2017
Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2017」で、サーバレスコンピューティングを提供するAWS Lambdaの機能強化を発表しました。 API GatewayとVPCとの統合機能、3GBメモリサポート、コンカレンシー制御の強化などに加え、.NET Core 2.0のサポートおよびGo言語のサポートが発表されました。 Amazon.com CTOのWerner Vogels氏がGo言語のサポートを発表すると、会場からは大きな拍手があがりました。「たくさんの人から、Go言語はサポートしないのかと聞かれた」（同氏） さらにサーバレスアプリケーションを再利用可能にする公開リポジトリの「AWS Serverless Application Repository」が登場。 AWS コンソールからサーバレスアプリケーションの登録
AWS Cloud9 – クラウド開発環境 | Amazon Web Services
Amazon Web Services ブログ AWS Cloud9 – クラウド開発環境 プログラミングを始める時に最初に学ぶことは、どんな職人でも同様ですが、道具についてです。メモ帳は役に立たないでしょう。強力なエディタとテスティング パイプラインがあなたの生産性に大きく貢献します。私はまだ最初にVimの使い方を学んだ時のことを覚えています。それを使ってシステムと複雑なプログラムをZip化しました。すべてのコンパイラと依存関係を新しいマシンにセットアップすることが、どれほど大変だったか覚えていますか？新しいデベロッパーをプロジェクトに参加させるためにバージョンをマッチさせ、構成ファイルを取り繕い、ドキュメントを書くのに、どれほどのサイクルを浪費したことか。 本日（11/30）コーディング、実行、デバッグを可能にする統合開発環境（IDE）をWebブラウザ上で実現するのAWS Cloud9
AWS Media Services – クラウドベースの映像処理、保存、収益化 | Amazon Web Services
Amazon Web Services ブログ AWS Media Services – クラウドベースの映像処理、保存、収益化 初期のWebビデオがどんなものだったのか覚えていますか？ スタンドアローンのプレーヤー、低速で不安定な接続、過負荷なサーバー、そして今まで存在していたバッファリングメッセージは、20年も前に標準策定されたものでした。 今日、技術の進歩と幅広い標準のおかげで、物事はずっと改善されています。 視聴者は現在様々な操作が可能で、様々な形、サイズのデバイスを使用して、ブロードキャスト、ストリーミング、またはOTTで送信されたライブおよび録画コンテンツを楽しむことができ、それらコンテンツへの即時アクセスが期待できます。 これらの期待に応えることは、コンテンツクリエイターとディストリビューターにとってのチャレンジです。 ワンサイズのすべての形式でビデオを生成する代わりに、メデ
AWS Batchでシェルスクリプトを実行する典型的パターンのご紹介 ｜ Developers.IO
去年のre:Invent 2016で発表された、AWS Batch。みなさん、お使いでしょうか？ え、名前はシンプルなのに、案外むずかしい？ であれば、自分とまったく同じ印象です。 今回は、AWS Batchを利用して、シェルスクリプトを実行するための典型的パターンをご紹介。シェルスクリプトからは、任意のスクリプト（Pythonとか、Node.js）も呼び出すことができ汎用性が高いので、AWS Batchにおけるアプリケーション処理の実装方式として、参考にしていただければと思います。 ほな、いってみよ！ 構成図 今回構築する環境の概要は以下の通り。シェルは大きく２つに別れます。AWSの構成要素は非常にシンプルです。 myjob.sh ユーザーが作成するシェル。アプリケーション処理の本体はこちらに記述し、事前に任意のS3バケットにアップロードしておく。 fetch_and_run.sh my
【祝Alexa日本上陸】とりあえず日本語でスキルを作ってみる #alexa #aws #amazon #ask | DevelopersIO
惜秋の候, 小春日和の穏やかな日が続いていますが、お変わりなくお過ごしでしょうか、せーのです。 今日は待ちに待ったAlexaの日本上陸を記念して「とりあえずなんか作ってみたい」という方むけに、簡単なスキルを一つ作ってみたいと思います。 スキルの種類 スキルは現在 カスタムスキル: 標準のスキル。Alexaとのやり取りを「カスタム対話モデル」を使用して行う スマートホームスキル: 電球やエアコン等スマートホームデバイスをAlexaから操作することに特化したスキル フラッシュブリーフィングスキル: RSSフィードやニュース等の読み上げに特化したスキル の3種類があります。基本的には欧米でリリースされているAlexa Skill Kitと変わりません。ですので細かい説明は英語版を解説した 【Alexa初心者向け】Alexa Skill Kitを噛み砕いて解説してみる｜クラスメソッドブログ こちら
EC2Schedulerをつかってみる - かべぎわブログ
今回はEC2SchedulerというAWS公式が提供しているEC2インスタンスの起動停止をスケジューリングできるツールを利用してみたいと思います。 EC2Schedulerとは? EC2Schedulerをつかってみる CloudFormationテンプレートのダウンロード CloudFormationスタックをつくる インスタンスにEC2Schedulerのタグをつける EC2Schedulerのタグの例 EC2Schedulerが実行されたか確認する まとめ EC2Schedulerとは? AWS公式が提供しているEC2インスタンスの起動停止をスケジューリングできるツールです。 EC2に起動停止の時間などを記載したタグをつけることで、インスタンスを毎日自動的に起動/停止してくれます。 EC2Schedulerをつかってみる 実際にEC2Schedulerを使ってみたいと思います。 Cl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
“Amazon S3”プロトコルに対応した「WinSCP」v5.13が正式公開／オープンソースで開発されている無償のFTP/SFTP/SCPクライアントソフト
https://dev.classmethod.jp/articles/aws-business-system-book/
