RDS (MySQL) で大規模テーブルを運用する際の注意点 | Hack
この投稿は AWS Advent Calendar 2014 の 22日目の記事です。 RDS で MySQL を運用中に、想定外の CPU スパイクに悩まされたことがありましたので纏めておきます。 まずは、CloudWatch のグラフを見てみましょう。 所々で CPU スパイクが発生しているのがわかるかと思います。一見すると法則性がないようにも見えます。一般的には CPU リソースを消費する要因としては、アクセス過多やバッチ処理などで負荷をかけたケースが殆どです。しかし、今回のケースはユーザー側では何も負荷をかけておらず、RDS へのアクセスがゼロのサーバーでも同様の CPU スパイクが発生することがわかりました。 CPU スパイクの原因は？ では、CPU スパイクの原因は何だったのでしょう？その後の調査で「RDS の定期メンテナンスジョブ」が原因であることがわかりました。 以下、メン
AWS Lambda Meetup #0 に参加してきた #LambdaMeetup | DevelopersIO
AWS Lambda Meetup #0 - connpass 2014/12/22 AWS Lambda Meetup #0 #LambdaMeetup #aws_geinin - Togetterまとめ 先日行われた『AWS re:Invent 2014』での発表以降、至る所でAWSエンジニアの興味関心を惹き付けて来ている新サービス『AWS Lambda』。12月からはアドベントカレンダーの季節と言う事もあって『AWS Lambda Advent Calendar 2014』も開催されており、日々新しく投下されるエントリを楽しみに過ごしている事と思われます。 AWS Lambda Advent Calendar 2014 - Qiita そんな年の瀬も押し迫った12月22日(月)に、このAWS Lambdaにちなんだイベントが開催されるという事で参加して来ました！開催場所はAWS@目黒
Riak Meetup Tokyo ＃4 その後の運用の話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog データソリューション本部の名嘉 真之介です。 現在は入社二年目で、レコメンデーションシステムの開発と運用周りを担当しています。 仕事内容に関しては期ごとに変化が多かったのですが、その中でRiakの運用を1年間続けています。 その結果、少しずつ運用のノウハウがたまってきており、今回のAdventCalendarがアウトプットの良い機会と考えて参加しています。 この記事の対象者 細かい説明を省くため、ある程度のRiakの知識があることを前提にしています。 主な対象者としては、Riakの運用に興味が有る方や実際に運用に携わっている方を想定しています。 Riak Meetup Tokyo ＃04 （2014/06/04） まず、本題に入る
サイボウズさんとSelenium勉強会を開催しました - CAMPHOR- Blog
こんにちは、むらまつです。 2014年もあとわずかですが、「テストを身につけてから2015年を迎えよう」という事で12/14にサイボウズさんとSelenium勉強会を開催しました。 京都IT系学生コミュニティCAMPHOR-様 と、合同勉強会を開催いたします。【CAMPHOR- × サイボウズ】Selenium 勉強会 12/14 17:00 https://t.co/hZbF5S8m81 #atnd #cybozu — Cybozu Inside Out (@CybozuInsideOut) December 1, 2014 今までテストに気を配らず、手動でやっていた僕ですが、大規模なテストになるとそうもいきません。やはりテストは大切です。 今回はハンズオン形式での勉強会となりました。「ハンズオン形式で着いていけなかったらどうしよう？」と思っていた僕ですが、スピーカーさんの気配りや、隣の
MySQL 5.6でバイナリログへの書き込み失敗時にサーバを停止できるオプション | Yakst
マスタでバイナリログの書き込みに失敗した場合、手動でスレーブを切り離しマスタスレーブ間の整合性をとる必要があったが、MySQL 5.6.20で登場したbinlog\_error\_action変数の設定によって、バイナリログ書き込みと同時にサーバを停止できるようになった。この機能についての概要と、挙動について解説する。 免責事項 この記事はMySQL Server Blogの投稿をユーザが翻訳したものであり、Oracle公式の文書ではありません。 この記事では新しくMySQLサーバのオプションになったbinlog_error_actionについて説明しようと思う。このオプションは、MySQL 5.6.22以降で使用可能だ。 背景 MySQLのレプリケーション機能の一部として、マスタ上で実行されたデータの変更は全てバイナリログに記録され、それをスレーブに送る事でスレーブで処理が再生される。m
シンプルなVPC設計を考える - Around the World
この記事はAWS Advent Calendar 2014の24日目の記事です。メリークリスマス！ 今日は、最近イチから構成を考える機会があったVPCの設計について、その一部を晒してみたいと思います。 前提 以前からAWSは運用していましたが、今後複数アカウントが乱立したり、利用する人がより増えることが想定されたため、以下のような要件を前提に見直しました。 Web/Appサーバとデータベースで構成されるWebサービスがメイン 複数アカウントで汎用的に利用できること なるべくNWレベルの意識をしなくても良いこと 運用の発生する部分を減らすこと シンプルでわかりやすいこと 基本構成 Functional Firewallパターンをベースにしました。Functional Firewallパターンは、各レイヤーのセキュリティルールをグループ化して適用することで煩雑になりにくく、シンプルに管理するこ
Ansibleのassertモジュールでインテグレーションテスト - GMOインターネットグループ グループ研究開発本部
こんにちは N.Oです。Ansibleにはassertモジュールというものがあり、Factsやregisterを利用する事でテストに活用する事ができます。 今回はvagrantを利用して使い方を試してみます。 事前準備 Vagrantfile、site.yml、integration.ymlの3ファイルを用意します。 Vagrantfile # -*- mode: ruby -*- # vi: set ft=ruby : VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config.vm.box = "chef/centos-6.5" config.vm.provision "ansible" do |ansible| ansible.sudo = true ansib
タスク自動化ツール「gulp」 を使って制作時間を短縮しよう
2014年12月24日 Webサイト制作, 便利ツール みなさん、タスクランナーを使っていますか？タスクランナーとはファイルの圧縮やSassのコンパイルなんかを、ファイルを保存したと同時に自動で行なってくれる素敵ツールです。制作のスピードアップも間違いなし！今回はそんなタスク自動化ツールのひとつ、gulpを紹介します。 ↑私が10年以上利用している会計ソフト！ gulpとは gulpとは、Node.jsを使ったタスク自動化ツールです。CSSやJavaScriptファイルの圧縮や結合、Sassのコンパイルなんかも自動化できるので、「フロントエンドしかいじらないよ！」というWebデザイナーさんでも、使えるようになると作業がかなりはかどりますよ。一度gulpでプロジェクトファイルを作成しておくと、自動化の手順を他の人と共有できるので、チームで開発する時にも力を発揮してくれます！ Gruntとの違
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目）
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目） この記事はPython Advent Calendar 2014 – Qiita 23日目 兼 アライドアーキテクツ Advent Calendar 23日目の記事です。 こんにちは。関根です。 最近は社内の有志でPythonの勉強会を開いたり、 また定期的にPythonもくもく会などを開催したりしています。 Pythonもくもく会はおかげさまで順調に回を重ねており、つい先日３回目が終了しました。 また来月も開催予定ですので、お時間の合う方のご参加をお待ちしています。 Web業界をはじめとして他の業種の方や、専門分野の異なる方も参加するゆるい会になっていますので、気兼ねなく参加できると思います。（初心者の方も大歓迎です！） はじめに PythonでWe
AWS Lambda Meetup #0 で Lambda × Mobile の話をしてきた | DevelopersIO
AWS Lambda Meetup #0 2014年12月22日、アマゾンデータサービスジャパンにて開催された AWS Lambda Meetup にスピーカーとして参加してきました。 今回は「Lambda × Mobile の可能性」というタイトルで、Lambda をモバイルアプリで活用する取り組みについて発表しました。 このブログでは、発表した内容について簡単にお話しします。 mBaaS としての AWS AWS は、最近の傾向としてモバイルアプリから直接呼び出すことができるサービスを展開しています。例えばデータストアに DynamoDB、クラウドストレージに S3、認証に Cognito...といった具合です。 モバイルアプリに必要そうな機能は一通り揃ってはいますが、各サービスは疎結合であり、連係させるにはサーバーが必要だったり、モバイルアプリ側でガリガリ実装する必要がありました。
[AWS] CloudWatch でロードアベレージとかメモリ使用量とか監視 - Qiita
CloudWatchで監視！ そもそも CloudWatch って何よ AWS には CloudWatch と呼ばれる監視サービスがあります。 CloudWatch内では、「メトリクス」と呼ばれるグラフを使ってアラートメールを飛ばしたりEC2のオートスケール管理ができたりします。 EC2インスタンスを立てると、標準でいくつかのメトリクスが用意されているのですが、 その中には Load Average とかメモリ使用量とか、色々足りていないものが多いので、自前で用意する（カスタムメトリクスを作成する）必要があります。 AWS側でツール提供してたよね？ http://aws.amazon.com/code/8720044071969977 上記の見て頂ければわかるのですが、、、まさかの Load Average がないっていう・・・＼(^o^)／ LAだけ専用のツール使うのは嫌なので、一つにま
![[AWS] CloudWatch でロードアベレージとかメモリ使用量とか監視 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/35ab086ab0eb587bea571f0bd0bfa7cdcf92d594/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQVdTJTVEJTIwQ2xvdWRXYXRjaCUyMCVFMyU4MSVBNyVFMyU4MyVBRCVFMyU4MyVCQyVFMyU4MyU4OSVFMyU4MiVBMiVFMyU4MyU5OSVFMyU4MyVBQyVFMyU4MyVCQyVFMyU4MiVCOCVFMyU4MSVBOCVFMyU4MSU4QiVFMyU4MyVBMSVFMyU4MyVBMiVFMyU4MyVBQSVFNCVCRCVCRiVFNyU5NCVBOCVFOSU4NyU4RiVFMyU4MSVBOCVFMyU4MSU4QiVFNyU5QiVBMyVFOCVBNiU5NiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZWVkODBlMTVlYjA2NzM0Njg4ZTJiZDkyMjIwOGJkYWM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwd2hpdGVfYXNwYXJhMjUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWQ1YWE3ZTdhMWUwZWFiYTRiNTU0ZTc2MzkyNjM3ZGI0%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D48a3781ba0c4c50b8bd6ae9a45a602e3)
opsworksでDjangoをデプロイ - Qiita
この記事はAWS Advent Calendar 2014の23日目の記事です。 はじめに みなさんopsworks使っていますか？ サポートされているアプリ（railsだとかnode.jsだとか）のデプロイは割と簡単ですが、 サポートされていないアプリ（今回はdjango）をどうやってソレっぽくデプロイするか、の奮闘記を。 opsworks今北産業 AWS公式 chef-zero pull型プロビジョニング/デプロイ 画面ポチポチ 下調べ （※community cookbook使わない方針です） なるべくopsworksの元々のCookbookに助けてもらう（&壊さない）形で、 Custom Cookbookを作ってDjangoをデプロイしたい 基本的にrails/unicornのデプロイレシピを丸パk... 真似するのは下記のレシピです（attributes抜いちゃいました） dep
『NewSQLのCockroachDBについて調べてみた』
CyberAgent エンジニア Advent Calendar 2014の23日目の記事です。 秋葉原ラボの、鈴木(@brfrn169 )、Shtykh Roman、柿島大貴です。 普段は、分散DB(主にHBase)やストリーミング処理基盤の開発・運用などをやっています。 今回は、NewSQLの1つであるCockroachDBについて紹介します。 NewSQLとは CockroachDBについて紹介する前に、NewSQLについて簡単に説明します。 NewSQLとは、一言で言うとNoSQL+SQL機能(トランザクション)です。 RDBMSとNoSQLの良いとこどりをしているともいえるでしょう。 従来、RDBはスケールアウトのしづらいモノリシックな作りになっていました。 しかし、RDBでは、昨今のビックデータの潮流に対応できず、NoSQLの技術が登場します。 NoSQLは、スケールアウトが容
「Webサーバーを構築しよう(1)」～初心者でもよくわかる！VPSによるWebサーバー構築講座(3) | さくらのナレッジ
各ツールの使い方や接続手順については割愛しますが、うまくログインできれば /home/vpsuser の場所に接続できると思います。 接続できたら、これからindex.htmlを作ってファイルをアップロードするわけですが、サーバーのどこにファイルをアップロードすれば良いでしょう？ 先ほどは、 http://xxx.xxx.xxx.xxx にブラウザでアクセスした時に「Apache 2 Test Page」が表示されましたが、自作のindex.htmlが代わりに表示されるようにしてみます。 http://xxx.xxx.xxx.xxx にアクセスされたときに対応するディレクトリは、サーバーのドキュメントのトップの位置に相当するので、ドキュメントルートと言います。 これは、デフォルトでは /var/www/html です。 SFTPツールでログインした最初の位置は/home/vpsuserです
MySQL/MariaDBとTransactdのInnoDBロック制御詳細 その1 - BizStationブログ
今回から数回にわたり、TransactdのオペレーションとInnoDBにおけるロックについて解説します。 ロックについてはあまり良くわからなくてもとりあえずそれなりに動くアプリケーションは作れてしまいます。ですが、マルチユーザー環境でミッションクリティカルなアプリケーションを書くには、ロックの理解が不可欠です。ロックをうまく使って、矛盾や間違いのない読み書きをしつつ同時実行性も高いアプリケーションにしましょう。 その1では、Transactdを実装する上でMySQLのソースやドキュメントから得た知見を基に、InnoDBのロックの種類と分離レベルに応じてそれをどのように使うかをまとめてみます。 Index MySQLのトランザクション関連用語 MySQLのREPEATABLE-READ InnoDBのロック 行ロック (row-level locking) GAPロック GAPロック単体 ネ
『Rails4へのアップグレードを行ったお話』
この記事は、CyberAgent エンジニア Advent Calendar 2014 の24日目の記事です。 コミュニティ事業本部の後藤(@shiro166)です。 パシャっとmyペット(以下パシャペ)というサービスのシステム責任者をやっています。 パシャペでは今年の2月にPHP(CodeIgniter)からRuby(Ruby on Rails)へのリプレースを行いました。 リプレースを行った当初はRuby2.0系最新とRails3.2系最新を使用していたのですが、 6月にRubyを2.1へ10月にRailsを4.1へのアップグレードを行いました。 今回はリプレースの際のお話ではなく、 Railsを3.2から4.1へアップグレードした際に行った作業の一部の話になります。 構成サイバーエージェントでのRailsアプリケーションの基本的な構成は大崎さんが 以前このブログに書いたこちらの記事を
グリーを支える通知システム | GREE Engineering
はじめに このエントリは GREE Advent Calendar 2014 24日目の記事です。 こんにちは、インフラストラクチャ本部の高野(@takano32)です。 いつも社内では GitHub:Enterprise の運用、 デプロイの改善、 大規模なインフラを操作するためのツール作成、 レガシーなサーバのセキュリティ対策、 コミュニケーションツール向けシステムの構築・運用、 などの仕事をしています。節操がありませんね。はい。 そのうち、今回は「コミュニケーションツール向けシステムの構築・運用」のうち「グリーを支える通知システム」という題目について書きたいと思います。 グリーとリアルタイムコミュニケーションツール まず、通知システムについてお話する前に、グリーでどのようなリアルタイムコミュニケーションツールが利用されてきたかを簡単に説明したいと思います。 リアルタイムコミュニケーシ
AWSでデプロイとスケーリングを自動化する方法まとめ - Qiita
概要 AWSではアプリケーションのデプロイや、システムのスケーリングを自動化することができます。 しかしそれらを実現しようとすると、似たようなサービスの中から用途に合ったものを選ぶ事になると思います。 今回は選択肢となり得るサービスを挙げて、それぞれの出来る事、出来ない事をベースに比較していこうと思います。 比較の軸 以下のように、評価軸を設けました。 サービスの機構として提供されているものは◯とします。 機構として提供されているが、使い難いものは△とします。(例: AWS CLIを利用した場合のみ利用可能など) 機構としては提供されていないが、別の機構などを組み合わせることで容易に実現可能なら△とします。 別の機構などを組み合わせても辛い場合や、実現不可能なら×とします。 デプロイ自動化 まずはアプリケーションのデプロイを自動化するサービスの比較を行います。 以下の4つの選択肢があります
インフラエンジニア向けシステム系論文 - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2014の23日目とシステム系論文紹介 Advent Calendar 2014の23日目を兼ねています。 今回は、インフラエンジニア向けにシステム系論文を読むということについて書きます。 ここでいうインフラエンジニアは、Webサービスを作る会社のサーバ・ネットワーク基盤を構築・運用するエンジニアを指しており、はてなではWebオペレーションエンジニアと呼んでいます。 人が足りなくて普通に困っているので採用にご興味のある方はぜひこちらまで。 SRE (Site Reliability Engineer) 職 - 株式会社はてな はてなでは、id:tarao さんを中心に有志で論文輪読会を定期的に開催しており、システム系論文にかぎらず、言語処理系、機械学習についての論文などが読まれています。 だいたい１人でインフラまわりの論文を読んでいて、インフラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
