【AWS】AutoScalingを使う際の注意点についてまとめてみました | DevelopersIO
はじめに こんにちは植木和樹です。既存システムのAWS移行の仕事などをやっていると、移行時にAutoScaling構成にすべきかどうか？という検討をする機会があります。AutoScalingにしておくと高負荷や障害にも強いシステムが構成できるのですが、システム移行となると色々と既存構成を変更しなければならないことが多いです。 そこで今回はこれまで関わった案件でAutoScaling化する上で検討しなければならなかった点を、頭の中の整理を兼ねてまとめてみました。 AutoScalingとはなにか？ 「Auto Scaling （仮想サーバーAmazon EC2 の処理能力の自動拡張・縮小機能）| アマゾン ウェブ サービス（AWS 日本語）」では3つのユースケースが紹介されています。 Amazon EC2 群を自動的に縮小・拡張 規模を固定して Amazon EC2 群を管理 Elastic
【JavaScript】デザインパターンを知ってみる。ファクトリ編 | バシャログ。
つい最近、横山光輝『三国志』を全60巻読破したminamiです。 今回はJavaScriptで書くファクトリ（Factory）について調べてみました。Factoryはそのまま「工場」の意味です。 なぜ使うのか？ ファクトリの目的はその名の通り、オブジェクトを作成することです。 ポイントとは、共通の親オブジェクトを継承し、個別の機能を専門の静的メソッドに実装する点です。 言葉ではわかりにくいので車のオブジェクトをを作るファクトリを実装してみます。 // 親オブジェクトのコンストラクタ var CarMaker = function() { }; // 親オブジェクトのメソッド CarMaker.prototype.drive = function() { // 走るとガソリンが減る this.gas = this.gas - 20; if(this.gas > 0) { console.lo
GASでSpreadsheetを操作する自分的ベストプラクティス - Qiita
ここ１月ほど、google spreadsheetを用いた案件管理シートを効率化するために、google app scriptを使って処理の自動化を行いました。その中で、google spreadsheetに対してgoogle app scriptを書く際の基本的な処理コードを、気をつけるポイント・高速化のコツと共にまとめます。 基本の操作 シートの取得 シートのデータを取得する場合、最初はシートを取得するのが基本かと思います。 //シートの名前で呼ぶ場合 var sheet = SpreadsheetApp.getActive().getSheetByName('シート1'); //今開いているシートを呼ぶ場合 var sheet = SpreadsheetApp.getActiveSheet(); SpreadSheetクラスとSheetクラスがありますが、SpreadSheetがシー
AWSでFluentdを導入してS3にログアップロード - Qiita
AWSで運用されている方がよくやるfluentdを使ったログのS3アップロードです。 手順ではApacheが動いているサーバと仮定して、以下ログをアップロードします。 /var/log/httpd/access_log /var/log/httpd/error_log /var/log/messages 前提条件 OS:AmazonLinux 2017-09 IAM Role設定済みであること。IAM Roleはインスタンスに割り当てるといいです。 バケット名:logs IAM Role設定例 S3の特定バケット（ログ保管）へアクセスする為のポリシー。 ※ バケット名は適宜書き換えのこと。 ※ Sidも適当な文字列へ書き換えること。（日時などへ） { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt201803121612", "
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
Ansibleを使用してJenkinsをインストールする方法
はじめに Ansibleを使用してJenkinsをインストールする方法を記載します。 JenkinsはAWS EC2に作成した仮想マシンにインストールしました。 スペックは下記の通りです。 ・OS：CentOS 7 ・インスタンスタイプ：t2.micro ・rootデバイスサイズ：8GB 参考情報 Ansible Install 1.AnsibleサーバにYAMLを作成する 1.1.PlayBookを作成する [root@ip-172-31-28-88 ansible]# cat site.yml --- - name: Install Jenkins hosts: jenkins gather_facts: false become: true tasks: - import_role: name: jenkins 1.2.ロールを作成する [root@ip-172-31-28-88 a
Jenkins Pipelineのハマりどころ（僕がハマったところ） - Qiita
最近はCIといえばConcourseとかが流行っていますがJenkinsもpipelineがデフォルトで入るようになって昔とは変わってきました。 昔は「GUIついてるだけのcron」とか「結局Jenkins内のshellスクリプトが秘伝のタレになる」とか言われていました。 今はJenkinsfileというスクリプト(GroovyによるDSL)をプロジェクトのルートに置いておけばそこに対する手順の更新もgit等のvcsからバージョン管理できます。 更にはJenkinsfileの中で適切な記述をすることで操作を並列化できるのでビルド時間の短縮もできます。 そしてビルドの様子が（プラグインを設定すれば）いい感じに可視化されるので使っていて楽しいです。 簡単な使い方に関してはこのスライドとかこのスライドとかを見てもらうとして、この記事では実際に使い込んでみて僕がハマった内容と対策を共有します。 p
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
Least Recently Used - Wikipedia
Least Recently Used (LRU) とは、データが最後に使われたのはいつであるかを記録し、最近最も使われなかったデータをキャッシュから削除するキャッシュアルゴリズムのこと。CPUのキャッシュメモリや仮想メモリが扱うデータのリソースへの割り当てなどにも使われる。対義語はMost Recently Used (MRU)。 和訳すると「最近最も使われなかったもの」つまり「使われてから最も長い時間が経ったもの」「参照される頻度が最も低いもの」である。 小容量で高速な記憶装置（例えば、CPUのキャッシュメモリ）がいっぱいになったとき、その中にあるデータのうち、未使用の時間が最も長いデータを大容量で低速な記憶装置（例えば、主記憶装置）に保存する、というのが基本のアルゴリズムである。 なお、上の括弧内の例はCPUのキャッシュメモリの場合である。仮想メモリの場合は、小容量で高速な記憶装置を
AWSとGCPの料金体系を1ページで纏める2018版 | keywalker
参考リンク：AWS料金体系を1ページで纏める2017版 1. はじめに 有名なクラウドコンピューティングサービスとして Amazon Web Service（以下AWS）とGoogle Cloud Platform（以下GCP）があります。ここでは主にクラウドコンピューティングプラットフォームであるAmazon Elastic Compute Cloud（Amazon EC2、以下 EC2）とGoogle Compute Engine（以下GCE）に関連する料金の簡単な比較を行います。前提条件は以下の通りです。 全ての情報は2018/08時点のものです。 分かり易くするために金額を日本円で表記することがありますが、ドル/円レートは111円として換算します。 1か月は30日として計算します。 OSはLinuxとします。 AWSやGCPについての ご相談はこちら 2. EC2とGCE 今回比較
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
Linux標準教科書｜無償でダウンロードできる初学者向けLinux学習教材 | Linux技術者認定試験 リナック | LPI-Japan
20万ダウンロード突破！ 初心者の方が基礎からLinuxを学習するために最適な教科書 LPI-Japanは、Linux/OSS技術者教育に利用していただくことを目的とした教材「Linux標準教科書」を開発し、無償にて公開しています。 基本的なコマンド、正規表現、シェルスクリプト、ファイル管理など、Linuxの基礎知識を系統立てて学べるように構成されており、初心者の方が基礎からLinuxを学ぶために最適な内容となっています。操作手順をひとつずつ説明している本教材はすでに20万回以上ダウンロードされ、「授業でも自習でも使える実践的な教科書」として学校教育、若手エンジニア教育、個人学習などに広くご利用いただいています。 Linux標準教科書で学習する内容は、LinuCレベル1の101試験と102試験の受験にも役立つ内容となっています。 本教材は試験対策教材ではありません LinuCの試験対策には
ファイルディスクリプタとかulimitとか/proc/sys/fsとかめも - tweeeetyのぶろぐ的めも
はじめに ファイルディスクリプタについては理解も薄かったのでこの機会にメモ 参考 主にこちらのサイトを参考にさせて頂きました →絵で見てわかるファイルディスクリプタ・パイプ・リダイレクト →Linuxのファイルディスクリプタ数を変更・確認する方法 →180style wiki>ファイルディスクリプタを確認する →ファイルディスクリプタ数の上限変更とlimits.confの罠 補足 こんなのもあります →ファイルディスクリプタをperlで見てみたいときメモ ついでに td-agent(fluentd)を使うにあたってファイルディスクリプタについてこんな表記がある ファイルディスクリプタの最大数を増やしてください。現在の数値は ulimit -n コマンドで確認できます。 →treasure dataさんの「Fluentdインストールの前に」ページです ファイルディスクリプタについて ファイル
3分でEFK(ElasticSearch+Fluentd+Kibana)を構築する - Qiita
はじめに 今更ながらかもしれませんが、EFK(ElasticSearch+Fluentd+Kibana)を試してみてます。 ちょっと試したいだけなのに一杯インストールせねばならんのですね。。。ということでEFK構成を構築するansibleのplaybookを作ってみました。良ければ使ってください。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分で構築する前提事項 ansibleが使えること gitが使えること(yum -y install gitとかで突っ込んでおいてください） サーバを2台（sshで接続できればなんでもいいです） こんな環境を作ります。 左側はfluentdのforwarder。右側はログを集積するag
AnsibleのRole入門 | DevelopersIO
Ansibleは選れた構成管理ツールですが、構成する内容が複雑になればなるほど辛くなります。 これはプログラム（ソースコード）と同じです。 複雑になった構成を整理し、可読性と再利用性を高めることが求められてきます。 今回はplaybookを整理する時に、最初に覚えなければならないRoleについてまとめます。 Roleとは？ Roleは、一言で言えばplaybookで読み込むモジュールです。 playbookは複数のRoleを読み込むことができるため、構成する内容を適切な粒度のRoleに分割し、それをインクルードする形でplaybookを構成するのです。 言い換えれば、Roleはクラス・モジュール・ソースファイルと言った概念と変わりません。 肥大化する構成を適切な粒度で分割するための道具です。 Roleの単位 Roleをどのような単位で作成するかは、ケースバイケースです。 詰め込みすぎたロー
Amazon Linuxでサーバを作成 (Apache2.4 + PHP7.2 + MySQL5.7) - Qiita
概要 EC2インスタンスを起動して、Apache2.4とPHP7.2とMySQL5.7をインストールしてみたのでメモしておく。 インスタンス起動 学習用の起動なので、スタンドアロンで起動してすべてインストールするので、インスタンスを１つ起動。 EC2 -> インスタンス -> インスタンスの作成 ※ Amazon Linux AMIを選択 ※ セキュリティグループは、80ポートと22ポートを解放する。 （22ポートは不要だが学習用なので簡略化のため設定） サーバへ接続する ターミナルを使って起動したEC2インスタンスに接続する。 ※ IAMユーザーにてssh接続。 ※ アカウントは、多要素認証 (MFA) を設定し、利用しない。 $ ssh aws __| __|_ ) _| ( / Amazon Linux AMI ___|\___|___| https://aws.amazon.com
CPU / メモリ / ディスクに負荷をかける stress コマンド - kakakakakku blog
最近 stress コマンドを使って，サーバに負荷をかける方法を紹介する機会があり，よく使っているのに今までブログに書いていなかったなと気付き，今回まとめることにした．CPU に負荷をかけるだけなら yes > /dev/null をコア数に合わせて並列実行すれば良いけど，stress コマンドならメモリとディスクにも負荷をかけることができるので，シナリオのバリエーションを増やすことができる． stress project page インストール 検証環境として CentOS を使った． $ sudo yum install stress $ stress --version stress 1.0.4 共通オプション 以下のような共通オプションが用意されている．よく使うのは --timeout で，秒数を指定して負荷をかけることができる．他はあまり使ったことがないかも． -t, --tim
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A selection of Progressive Web Apps
Cloud OnAir | Google Cloud 放送番組