AWS CLIでよく使いそうなコマンド – OpenGroove
「よく使いそうな」と言っても、当然自分基準。ちなみにjqは使ってない。--filtersと--queryがあればjqいらないんじゃないかと思い始めた。 ec2インスタンスの操作 インスタンスのステータス取得。--output textオプション付与すると純粋に値のみ取得可能。 $ aws ec2 describe-instances ¥ --instance-ids i-xxxxxxxx ¥ --query 'Reservations[].Instances[].[State.Name]' 特定のNameタグを持つインスタンスのインスタンスIDを取得。 describe-instancesでOKだがdescribe-tagsからでも可。 describe-tagsで取得。 $ aws ec2 describe-tags \ --filters "Name=tag:Name, Values=
AWSのIAM Roleはやはり便利だねという話 – OpenGroove
パンク特集第3弾だぜ！！といきたいところだが、パンク聞いてばっかりいたら脳みそ単純化が異常に加速してやばくなってきたので、技術ネタ復活します。とはいえ、すみません、コネタです。って、謝ることないよね、別に…。 さて表題のネタ、知っている人には「何を今さら」的な話ではあるし、IAMロール使うとセキュアで便利だよというのも知ってはいたが、昔ちょっといじったときにかなり面倒くさいことをやったので拒絶反応があり、放置していた。が、最近Managed Policyという機能が追加され、設定方法が簡単になった様子なのでやってみた。 Managed Policyについては以下 [AWS IAM] 経験者向けManaged Policy対応ガイド AWSのIAM(Identity & Access Management)サービスは一言でいうと、ユーザ、グループ、ロール毎にポリシーを適用して実行できる権限を
Elasticsearch config description – OpenGroove
cluster.name オートディスカバリ機能で識別するクラスタ名。デフォルトはelasticsearch。 また、このクラスタ名がそのままデータパスのディレクトリ名になる。 node.name ノード名指定。指定しておかないと、起動の都度ノード名が変わる。 node.master ノードをマスタとして起動するかどうか。デフォルト true。 node.data ノードでデータを保持するか。デフォルト true。 node.rack キーバリューの属性。例：rack314 node.max_local_storage_nodes 同一サーバで複数ノードの起動を許可するか。デフォルトは許可。無効にするには1をセット。 index.number_of_shards インデックスのシャード数。デフォルト 5。 index.number_of_replicas インデックスのレプリカ数。デフォル
Elasticsearch + Kibanaで日本語検索の続き – OpenGroove
前回投稿で未解決だった問題、簡単に解決したので書いておく。 前回投稿でkuromojiがどうのこうのとやったが、今回の目的には必要なかった。目的は、前回投稿にも載せているが、以下のまぬけなグラフをなんとかしたいだけである。 つまり「キリン／一／番／絞り」を、普通に「キリン一番絞り」と表示できればよいのだ。要するに「分かち書き」が回避できればいい。で、この目的のためにはElasticsearchでmappingの定義をしてやればいいだけだった。 参考 fluentdからElasticSearch+kibana3に転送した文字列が分かち書きされるのを回避する 参考ページではmappingの定義をcurlリクエストで行っているが、今回は設定でやってみた。/etc/elasticsearch 配下にtemplatesディレクトリを作成し、そこにmappingを定義した適当な名前のjsonファイルを
Python(boto)からAWSの操作をやってみる – OpenGroove
AWSの操作はAnsibleでも可能ではあるが、現状操作内容が限定されていたりするし、Ansibleは構築向きであって、定常運用は別のソリューションにする方がいい気がする。で、今回直接Pythonでやってみた。実行環境はMacOS 9。（ちなみにAnsibleを利用したインスタンス起動は過去記事に） PythonからAWSを扱うためのライブラリである botoを導入する。 pipがまだ入っていない場合は、$ sudo easy_install pip を実行。 $ sudo pip install boto RedHat系ならpython-botoをyumで入れれば良い。epelリポジトリを有効にしておく。 参考にしたのはこちら。ほぼそのまんまです。 [AWS]第2回 botoからEC2を操作しよう [AWS]第3回 botoからS3を操作しよう 何はなくても、まずはEC2インスタンスの起
InnoDBデータファイルの仕様 – OpenGroove
InnoDBデータファイルの仕様について、覚え書き。 MySQLデータディレクトリ配下に生成される、ibdata1、ibdata2…といったファイル名 のデータファイルが、InnoDBデータファイルである。このInnoDBデータファイルに 格納されるものは、というと。 ・InnoDBテーブル ・インデックスデータ ・データディクショナリ（テーブルのレコード数などの統計情報） ・トランザクションのロールバックのためのデータ領域 （ロールバックセグメント） ・・・といったところである。 InnoDBデータファイルは複数作成することが可能で、それらをまとめて「システム表領域」と呼ぶ。 ちなみに「Oracleで言えば、SYSTEM表領域だけでデータベースを構築するようなイメージである」 ということだそうだ。、、、と聞いても、自分はよく分からないが（汗） データベース領域上には、ただ１つのシステム表
mysqlbinlogについて覚え書き – OpenGroove
mysqlbinlogは、MySQLでバイナリログをテキストで参照するためのユーティリティ。 単にバイナリログの中身を確認したい時は、以下のように。 # mysqlbinlog -D bin-log.000012 バイナリログをテキストにしてからmysqlクライアントに渡すには、例えば以下のようにする。 バイナリログには実行したSQL文その他が記録されているので、リカバリに利用することができる。 # mysqlbinlog bin-log.000012 | mysql -u root -pxxxxxx 以下でも。 # mysqlbinlog -D -u root -pxxxxxxx /backup/mybin-log.000006 > /backup/recover.sql # mysql -u root -pxxxxxxx < /backup/recover.sql my.cnfにおいて
ModSecurityのAuditLog覚え書き - OpenGroove
AuditLogはModSecurityでコア要素となる重要なログなので、この項目だけで 専用に記事をまとめておく。以下はAuditLogに関する基本設定例。 SecAuditEngine RelevantOnly SecAuditLogRelevantStatus ^(?:5|4\d[^4]) SecAuditLog logs/audit.log SecAuditLogType Serial SecAuditLogParts ABCFHKZ SecAuditEngineはOn/Off/RelevantOnlyから選択。 インストールの記事では動作確認のためにOnにしておいたが、稼働時は必要なものだけ ロギングさせるためRelevantOnlyにしておく。 これにより、SecAuditLogRelevantStatusにマッチしたステータスコードの トランザクションだけが
ModSecurityのベーシックルール - OpenGroove
ModSecurityのフィルタルールはかなり細かい話になるので、後回し。 まずは基本中の基本部分の設定から見て行ってみようと思う。 ModSecurityのバージョンは2.5.〜である。また名数値はほぼデフォルト値。 ModSecurityオフィシャルハンドブックと以下リファレンスマニュアルを参考にした。 ↓ ↓ ↓ ModSecurity® Reference Manual ※現時点での最新版である。 SecRequestBodyAccess On/Off ←リクエストボディのバッファリング指示 SecRequestBodyLimit 1310720 ←最大リクエストボディサイズを指定 SecRequestBodyNoFilesLimit 131072 ←アップロードファイルサイズを除いた最大リクエストボディサイズ SecRequestBodyInMemoryLim
LinuxでIPv6を無効化する（意外と苦戦） – OpenGroove
Linuxカーネル2.6は、デフォルトでIPv6が有効となっている。（IPv6を）利用していないのにマシン上でIPv6が有効な状態になっていると、DNS絡みで余計な問合せを行ってしまうため、通信速度が低下する場合があるらしい。 ちなみにOSインストール時にIPv6オフを選択していると、 /etc/sysconfig/networkにその設定が入っているが、/etc/modprobe.confでは無効化されていないものらしい。以下コマンドを実行してIPv6の有効／無効状態を確認できる。 # lsmod | grep ipv6 ipv6モジュールが表示される→有効 # netstat -an :ffff:で始まるIPアドレスがある→有効 # ifconfig inet6 addrで始まる箇所がある→有効 # modprobe -c | grep net-pf-10 net-pf-10 offが
jqに痺れた … AWS CLIで演習など – OpenGroove
jsonドキュメントをパースするツールでjqというのがあり、大分前にとりあえず導入だけしたものの、使い方がよく分からないしまだネット上にも情報が殆どなかったし、しばらく放置していた。数ヶ月ぶりにちょっと調べたら、出てきた、便利情報が沢山！！自分が放置している間に記事を書いて下さった皆さまに感謝。で、見よう見まねでちょっといじくってみたらこれヤバいかも、とプチ衝撃受けたので早速ここにも記録する。 ネタとして身近なaws cliを使う（ 参考までに過去記事 AWSのNew CLI導入）。 以下はインスタンスIDだけ取得しているのだが… $ aws ec2 describe-instances | jq '.Reservations[] .Instances[] .InstanceId' "i-xxxxxxxx" "i-yyyyyyyy" "i-zzzzzzzz" ダブルクォーテーションを削除し
MySQLのメモリ設定を追求してみよう – OpenGroove
（2015年1月追記：これは現時点で約5年前に書いた記事です。各種パラメータは名称や仕様が変更されている可能性があるため、最新の情報を参考にしてください） MySQLのメモリの話を考えていたら何が何だか分からなくなってきたので、my.cnfでの設定に絡めてまとめてみようと思う。そもそも、MySQLサーバにおいてMySQLのプロセスがトータルで使用するメモリは、どれくらいに見積もっておけばいいだろうか。参考書やネット上では以下のような計算式が紹介されている。 max_connections x [スレッド領域用メモリ合計値] に、以下をプラス。 [グローバル領域用メモリ合計値] DB専用サーバの場合だとこの値をマシン搭載メモリの8〜9割くらいにする、と想定するのがひとつの指針となるようだ。しかし32bit版Linux OSの場合は2〜3GBまでの制限があるため、搭載メモリがそれ以上あったとし
nginxのログをfluentdからDynamoDBに送る – OpenGroove
fluentdはプラグインが充実しているおかげで、ログの格納先はよりどりみどり状態。前回のS3に続き、今回はAmazon DyammoDBに突っ込んでみる。DynamoDBは使ったことがなかったので、最初にちょっとだけいじってみた。無料枠でストレージ100MB、読み込みユニット10/秒、書き込みユニット5/秒まで利用できる。 以下入門用スライドのリンクを参考までに。 http://sssslide.com/www.slideshare.net/shimy_net/amazon-dynamodb-23315068 一応正式な資料も載せておく。 http://awsdocs.s3.amazonaws.com/dynamodb/latest/dynamodb-dg-ja_jp.pdf 実行環境はAWSマシンのCentOS 6系。 ログ収集対象としてnginxを使うのでインストール。 # mkdi
vmstatでCPU使用状況やI/Oの確認 – OpenGroove
サーバーリソースを観察するコマンドは多々あるのだが、基本的な見方がよくわかっていなかったりもする。今さらだがこの機会にまとめておこう、と（実はJMeterによる負荷テスト時にリソースモニタリングが必要になったから）。まずはvmstatから。 vmstatコマンドはメモリの空き容量やCPUの動作状況などを表示する。システムのボトルネックがDisk or CPU or Memoryなのかを判断するのに有用。オプションなしで実行すると現在のプロセス、メモリ、スワップ、デバイス、割り込み、CPUの情報が表示される。 -dや-pオプションをつけると、パーティションやディスクへの読み書き状況などが表示される。また、秒単位で時間間隔を指定すると指定した時間ごとにシステムの状況が表示される。回数を指定すれば指定した分だけその回数ごとに情報が表示される。 容量に関しては、-Sオプションで単位指定が可能。例え
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Search Results for “ModSecurity” – OpenGroove
ModSecurity2リビルドにはまった | OpenGroove