サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
iPhone 16
s-tajima.hateblo.jp
※ 2016/08/18追記 0.9.0 (2014-03-10) にて -G オプションが追加されたので本記事の対応は不要になりました。 docker/CHANGELOG.md at master · docker/docker · GitHub Add a -G option to specify the group which unix sockets belong to. 追記終わり。 Dockerのsocketファイルは/var/run/docker.sockに配置されている。 [root@c7-client01 system]# ll /var/run/docker.sock srw-rw---- 1 root contentsuser 0 Jan 10 18:06 /var/run/docker.sock このsocketのOwner, Permissionを変更することで、
本日、AWSがSSL/TLS証明書のマネージドサービスをリリースしたので早速使ってみました。 New – AWS Certificate Manager – Deploy SSL/TLS-Based Apps on AWS | AWS Official Blog リリース情報、ドキュメントより ACM takes care of the complexity surrounding the provisioning, deployment, and renewal of digital certificates 証明書のプロビジョニング, デプロイ, 更新を管理してくれるとのこと。 Certificates provided by ACM are verified by Amazon’s certificate authority (CA) AmazonのCAによってベリファイされた証明書
fluent-plugin-bigqueryを使ってBigQueryにStreaming Insertでログを書き込む時に、 痕跡なくログが欠損するケースがあるのでは? という話です。 fluent-plugin-bigqueryでのログの書き込み処理/エラー処理はこのようになっています。 res.success? がtrueであればエラーはなく書き込みが成功しているという想定。 falseの時にはレスポンスのjsonのerrorエラーの中身を見て、ログを吐くなどのエラー処理をするようです。 res = client().execute( api_method: @bq.tabledata.insert_all, parameters: { 'projectId' => @project, 'datasetId' => @dataset, 'tableId' => table_id, },
前回の記事でOpenSCAPの概要と、簡単な使い方については理解できたので、 今回は実用的な使い方について調査してみました。 SCAPを利用する上で最も重要なのが、どんなSCAP content(スキャンのポリシ)を利用するかだと思います。 SCAP contentは自分で構築することもできますが、 効果的/網羅的なポリシを自分で作り、メンテナンスし続けるのはなかなか骨の折れる作業だと思います。 ということで、今回はThe SCAP Security Guide project(以下SSG, https://fedorahosted.org/scap-security-guide/)で提供されている SCAP contentを使ってスキャンするときの手順をまとめます。 SCAP contentの取得 SSGが提供するSCAP contentは、RPMでインストールもしくはGitHubから取
SCAPとは SCAP(Security Content Automation Protocol)とはNISTによって管理されている規格。 エンタープライズシステムのセキュリティメンテナンスの標準化のためにつくられたもの。 パッチの存在確認の自動化 システムのセキュリティ設定の確認 不正アクセスの痕跡の調査 ...等 OpenSCAPとは SCAPの構成要素は脆弱性や設定等のセキュリティデータを伝えるための、複数の複雑なデータ変換フォーマットを含む。 歴史的な理由から、これらの情報に適切なフォーマットで問い合わせをするツールはほとんどなかった。 そのようなツールの欠落は、SCAPを使ってもらうことの障壁になっていた。 OpenSCAPプロジェクトは、SCAPへのアクセシビリティを向上させることを目的としている。 OpenSCAPは、以下のコンポーネントで構成される。 Library - S
概要 CentOS7の検証をしていると、ca-bundle.crtがシンボリックリンクになっていることに気がついた。 $ ll /etc/pki/tls/certs/ca-bundle.crt lrwxrwxrwx 1 root root 49 7月 16 17:04 /etc/pki/tls/certs/ca-bundle.crt -> /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem/etc/pki/ca-trust/という見覚えのないディレクトリがある。 /etc/pki/ca-trust/READMEを見ると This directory /etc/pki/ca-trust is used by a system of consolidated CA certificates. Please refer to the update-
"お前もう新卒じゃねーだろ"とマサカリがとんできたのでタイトル変えました。 サバを読んでてごめんなさい。今3年目です。 これからもよろしくおねがいします。 新卒ではないですがいつまでも若手です。
問題 アプリケーション内でhttpsによる外部APIを叩いているサーバのメモリ使用量が増加し続ける件について調べた。 該当のサーバでは、以下のようにメモリの使用率が徐々に上昇していく。 また、アプリケーションのプロセス自体がメモリを消費しているわけではない状態。 原因 調査すると、このバグ仕様を踏んでいるのではないかと思われるページを見つけた。 https://bugzilla.redhat.com/show_bug.cgi?id=1044666 内容としては、curlを実行した際に /etc/pki/nssdb/以下の存在しないファイル(毎回違うパス)に対してaccessシステムコールが大量にコールされ、 negative dentry cacheが溜まっていき、メモリ使用量が圧迫されるというもの。 実際、この状況が起きているサーバを調べるとメモリ使用率のうち多くを占めているのはnega
やりたいこと 以下のような図で表されるような構成をとっている場合に、 aggregator A -> aggregator Bへのforward先切り替えを、名前解決によって行いたい。 検証 以下の様な設定でテスト この設定をした上で名前解決されるIPを変更してみる。 結果は失敗。しばらく待ってみてもaggregator Aにforwardされ続けてしまう。 この辺りの実装を追うためにソースを確認。 処理を追っていくと怪しそうなのは以下のあたり fluentd-0.10.39/lib/fluent/plugin/out_forward.rb @expire_dns_cacheによってキャッシュの挙動がかわりそう。 肝心のexpire_dns_cacheの初期値は... config_param :expire_dns_cache, :time, :default => nil # 0 me
Kibana3でログを解析する環境を構築する際、 ElasticSearch上にいつまでもログを残しておけないので定期的にIndexを削除するスクリプトを作成。 仕様としては以下のような感じ。 ElasitcSearch上にあるIndex名を最初に取得 [PREFIX]-[YYYY].[MM] もしくは [PREFIX]-[YYYY].[MM].[DD]というフォーマットのIndexを対象とする 対象のIndexのうち、expire_days以上の日数が経過([PREFIX]-[YYYY].[MM]の場合は月末からの経過日数を計算)している場合はIndexを削除 Remove old indices on ElasticSearch
前回の記事で作成したMHA + HAproxyのMySQLクラスタで、フェイルオーバーの実験をしてみた。 MySQL Cluster of MHA + HAproxy (FAILOVER) from Satoshi Tajima 想定する状況 フェイルオーバー時のレプリケーションの状態は、上のスライドの図1のような状態を想定。 master(mysqlserver-a), slave*2台の構成。 slv1(mysqlserver-b)はt1までをDBに反映済み。t3までのrelay-logを受信済み。 slv2(mysqlserver-c)はt0までをDBに反映済み。t2までのrelay-logを受信済み。 この状況でmasterが(物理障害などで)OSごと停止した状況を想定。 MHAがどのようにリカバリを行うかを調査する。 検証環境構築の準備 MySQLのレプリケーション構成、MHAの
ElasticSearchのmappingの設定で、 compressに関する設定がindexのサイズ、応答性能にどう影響するかのベンチマークを取った。 テスト環境 ベンチマークは以下のような構成で実施。 上記のような構成で、①indexサイズ, ②応答性能(httpdの%Drequesttime_microsecで計測)を計測。 各種バージョン ElasticSearch: v1.0.0 Kibana: v3.0.0-milestone5 登録データは実サービスのアクセスログ(ltsv) 応答性能はkibanaが実際に投げる//_searchに対するPOSTを集計 Kibanaでの定期的なアクセス それぞれのindexにAuto-Refresh 1mでアクセスするDashBoardを作成 手元のMacのChromeでそれらをtabで1枚ずつ開いて放置 それぞれのIndex(test01,
現在運用中の、Heartbeat + DRBDによるMySQLクラスタ環境の改善を試みるために、 MHA + HAproxyによるMySQLクラスタ環境をテスト中。 今回は環境を整えるところまで。 環境構築 AWS上に以下の図と文章で示すような環境を構築。 MySQL Cluster of MHA + HAproxy from Satoshi Tajima webserver, manageserver, mysqlserver * 3台(master, slave, slave) (今回はwebserverとmanageserverを同じインスタンスに同居させた) webserverは同ホスト上で稼働しているHAproxy経由でMySQLサーバーにアクセス 初期状態 127.0.0.1:3310でmysqlserver-aのmysql(master)に接続。WRITE処理を行う想定。 1
概要 fluentdによるログの回収の構成を広げていくと、 多くのインスタンスにfluentdがインストールされることになるため、 全体に影響するような設定変更が面倒になりそうである。 そこで、fluentdの設定ファイルの中で include http://config-server/path/このようにinclude対象にhttp(s)でのリソース取得ができることに注目し、 この仕組を利用した構成を組むことで設定変更時の手間を減らす工夫をした。 構成 CONTROLLERと呼ばれるサーバーにfluentdの設定を配布するためのWebサーバー(config-server)を立てる。 config-serverは、GETパラメータによって返す内容(設定)を変更するようなものとする。 大した処理をしないので、今回はsinatraで実装。 今回実装した例で言えばGETパラメータにはホスト名を指
Elasticsearch + Kibana3でログ解析環境を構築する際、アクセスコントロールの設定に困ったのでそれを解決したというメモ 通常Kibana3は、以下の図のようにブラウザが直接ElasticSearchにリクエストをかけている。 ただし、この状態ではKibana3の利用者が自由にElasticSearchにクエリをなげられてしまうし、利用者自体の制限もできない。 ということでElasticSearchの前段にReverseProxyをはさむことで、クエリの制限とユーザ認証をかけたい。 今回やりたかったのはReverseProxyとしてhttpdをはさんでBASIC認証(+LDAPによるユーザの制御)を入れるということ。 素直にやると以下のようになる。 しかしこれだと問題が発生。 "httpd: VH2" にBASIC認証をかけると、アクセス時には リクエストヘッダにAutho
こんにちは、 VOYAGE GROUP エンジニアブログ Advent Calendar 2013 の2日目担当の @s_tajima です。 僕は今インフラエンジニアとして働いているのですが、 障害が発生すると携帯にアラートメールや電話がとんできて対応を迫られます。 そして障害というのはたいてい楽しいイベントが行われているときに発生するものです。 そういうものと割り切ってせっせと対応をするのもよいのですが、 僕は年末の楽しいイベントを邪魔されたくありません。 それはもちろんAWSの東京リージョンのデータセンターがすべて同時に火事でなくなってしまうような非常事態でもです。 ということで今日はAWSのリージョン間自動DR構成をつくってみた話をしようと思います。 今回のDR構成を構築する上で、カギとなるAWSの機能は以下の3つです。 Route53のELBに対するDNS FailOver ht
このページを最初にブックマークしてみませんか?
『s-tajima.hateblo.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く