ミドルウェア性能検証の手引き | 外道父の匠
インフラエンジニアの多分、華形のお仕事の１つであるミドルウェアの性能検証を久々にガッツリやる機会がありましたので、検証作業の基本的な項目について初心から振り返っておきたいと思います。読みやすさ度外視の詰め込み記事注意警報です。 世の中、雑な検証結果もちょいちょい散乱していて、私自身もそうならないよう注意を払っているわけですが、ガチでやると気をつける項目が多くて、自分で忘れたりしないようにと、誰かにやってもらいたい時に基本を抑えてから取り掛かってもらうために、形にして残しておこうと思った次第であります。 目次 なぜ性能検証をするのか 環境の準備 インスタンスの用意 クライアントの用意 サーバーの用意 ボトルネックになりうる項目 CPU Utilization Memory Network Bandwidth Disk Bandwidth Disk IOPS Disk Latency Disk
ドリコムを退職しました……弟子が | 外道父の匠
世間の流れに沿って、一度、退職エントリを書いてみたかったんですけど、まだちょっと退職しそうにないんで、倒置法で我慢してみました。 本人には「退職エントリ書くね！」と去り際に伝えてありますが、センシティブなカテゴリですから、企業・個人事情に基づくものというよりは、身近な人間が退職したという出来事に対する感想的なものとなります。 ザッと振り返って 前に書いた、「新卒インフラエンジニアを育成した話」で地獄を見せようと試みて、いまいち業火で焼き尽くせず耐え切ったアノ弟子です。二年が経過し、中小規模のサービスを専任で4～5個担当するまで至っていたので、当人の努力と成果は十分であったのかと思います。 他にも、AWS関連や、インフラのアーキテクチャなどは、私と共に進めたり、時には率先して案を出したりもしてくれていたので、中盤からは弟子というよりは普通に共同作業者という立ち位置でした。例えば「現代ITイン
systemd時代に困らないためのlimits設定 | 外道父の匠
数年前に、こういう記事「ulimitが効かない不安を無くす設定」を書きました。しかし、ディストリビューションのバージョンが上がり、デーモン管理が systemd に変わったことで、インターネットのゴミとなりつつあります。 そのため今回は、その次世代バージョン的な内容ということで、systemd の場合はこうしておけば見えない敵と闘うこともなくなるはずです、というものになります。例によって、抑えきれていないパターンがあったら御免なさいです、押忍。 limits設定で目指す所 復習になりますが、limits の設定で困るのはだいたいこういうパターンでしょう。 作業中ユーザーのシェルのlimits設定が思い通りにならない コンソール／SSHログインしてデーモンを再起動したら、limits設定が戻っていた su/sudoを使ってデーモンを再起動したら同上 デーモンをシステムに自動再起動させたら同上
NetworkManager＋dnsmasqで名前解決の耐障害性を向上 | 外道父の匠
クラウド・インスタンスにおけるDNSサーバーの指定は、DHCPサーバーから情報を取得して利用するようになっています。具体的には dhclient が resolv.conf を上書きする感じですが、最近は NetworkManager さんがこの辺の面倒を見てくれるので、まともな構成 ってやつを考えてみました。 ドンピシャで正着に至ったというわけではないですが、ひとつの有効な手段として扱うことはできそうです。 目次 概要 NetworkManagerがない場合 NetworkManagerのデフォルトの挙動 dnsmasqを利用する 任意のDNSサーバーを追加する 起動時の設定として組み込む dnsmasqのForward方式 DNSキャッシュ 耐障害性 理想の挙動 概要 NetworkManager は必ずしも必要なわけではないですが、CentOS7 など新し目のディストリビューションで
OpenStack Folsom構築 on Wheezy (7) 簡単イメージ起動 | 外道父の匠
ネットワークもできたので、そろそろ仮想環境を扱う喜びに触れたいと思います。 ここでは、既存のVMイメージを利用して、SSHログインするとこまでとします。 前準備 まず、Glanceのイメージリストが、空表示で正常終了することを確認します。
CDH4 Configurations with YARN, Capacity Scheduler and Hive | 外道父の匠
CDH4 Configurations with YARN, Capacity Scheduler and Hive 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。 はじめに 言うまでもなく、参考・利用においては自己責任でお願いします ホスト名・ファイルパスは適当に変換してください descriptionの日本語は私のメモですので怪しかったらググってください 英文のみの場合はまだ未検証だったり説明するまでもないものになっています 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます ファイルはUTF-8です Hadoop設定 CDH3からCDH4への設定変更リスト core 公式 core-def
新卒インフラエンジニアを育成した話 | 外道父の匠
お久しぶりでございます。諸事情によって半年近くも息を潜めていましたが、また継続的なアウトプットをしていきたいと思います。あうとぷっとあうとぷっと。 昨年からAWSに触り始めて、少しずつ研究して、今年から本番運用を開始できています。なので、そっち方面が多くなりそうなのですが、その一発目として昨年にAWSを軸に新卒インフラエンジニアを育成してみた話を書いてみます。 経緯 ウチでは一般的な新卒採用を行っています。内定が出て、入社後はエンジニアも一定期間の研修を受けて、そして配属されることになっています。 私は稀に、キャリアプランによっては内定した段階の子との面談を組まされるのですが、その時点でインフラエンジニアになるという断固たる決意を持っていて、研修の段階に入っても意志は変わらなかった野郎がいたのでインフラ部隊に入れることにしました。しましたといっても普通は、配属は本人の希望以外に人事部判断や
OpenStack Grizzlyを1年運用して起きた認証システム障害 | 外道父の匠
とてもツマらない障害対応のメモとなります。 が、英語圏には多少の情報はあったけど日本語になかったので、書き留めておきます。 障害内容 ある日、突然、OpenStack Grizzlyの管理画面からインスタンス作成などの操作が全てできなくなりました。 既存のインスタンスには特に影響なく稼働していました。 原因 動作的には、認証システムであるKeystoneと、それ以外の全てのコンポーネントとの認証が失敗することが原因となりました。 nova list や glance image-list などが Unauthorized 401 になる状態です。 根本的な原因は、Keystone管理のSSL証明書の期限が切れたことによるものでした。 調査内容 初めはトークンデータが溢れて記録できなくなったのかと思いましたが、keystone-manage token-flush を実行しても特に解決できず
Percona Server 5.5にて10秒間隔でDisk I/Oが重くなる問題 | 外道父の匠
久しぶりにDBAとしてお手伝いした時の汚いメモになります。 Percona Server5.5＋ioDriveのMySQLで、イベント時やピークタイムにアプリケーションからのDB利用が重くなる、ということで調査から対応方法まで考えてみました。 問題点の大雑把な特定 高トラフィック時に、RubyからMySQLの接続やクエリがちょこちょこ重くなり、レスポンス速度に影響が出る、とのこと。で調査開始。今回のPercona Serverのバージョンは 5.5.34 でした。 top -d1 で触診してみると、謎の10秒間隔でiowaitが5～10％に上がることを確認 5分平均のiowaitグラフを見ても、ピーク時は50～60％であることを確認。ioDriveでこれはイカン dstat で見ると、平時はwrite数MB/s～十数MB/sのところが、やはり10秒間隔でwrite 数百MBを確認。ピーク時
OpenStack Folsom構築 on Wheezy (8) 独自イメージ作成 | 外道父の匠
次は、配布されているイメージファイルを利用するのではなく、自分でイメージファイルを作ってみます。 要はisoインストールイメージさえあればなんでもできる、ということなので、例はDebianにしますが、Ubuntu, CentOS, Fedora, Scientific Linux となんでも作ることができます。 インストールイメージの入手 Debianのisoファイルはこの辺にありますが、 Stable(Squeeze) インターネット経由のDebianのインストール Testing(Wheezy) Debian-Installer を使ったインストール 今回はどうせtestingならということで、最新を落として来ました。 mkdir /data/vmimage cd /data/vmimage wget http://cdimage.debian.org/cdimage/daily-bu
OpenStackのDHCP問題まとめ | 外道父の匠
先日、１つの問題に１週間以上ハマって悶絶するも、絞りだすような勘と数えきれない再構築によって、命からがら解決することができました。 その問題とは、２台目以降のホストであるComputeNodeのVMがDHCPからアドレスを取得できない というもので、これについて多くの情報を仕入れたのでまとめておきます。 DHCPからIPアドレスが取得できない現象 ControllerNode１台で構築し（NetworkNodeは分けていない）、VMを作成する分には問題なくDHCPからアドレスがリースされるのに、ComputeNode単体ホストで作ったVMはアドレスを取得できない、という問題でした。 その時どうなるかというと、VMからQuantumネットワークのDHCPサーバにリクエストは飛ぶものの、レスポンスが返せずにレスポンスパケットが永久に垂れ流され続ける状態になりました。 しかも、Quantumネッ
OpenStack Folsom構築 on Wheezy (2) Open vSwitch | 外道父の匠
パッケージリポジトリなどの前準備が終わったので、次は準備運動に入ります。 仮想ネットワークを扱うために、EthernetをOpen vSwitch化します。 ネットワーク構成 Ethernetのクチは一本でも複数でもOpenStackを構築できますし、実際の開発環境用（予定）でも１本にする可能性はありますが、知見を積むために複数Ethernetを利用して構成します。 ネットワークの大まかな分類としては、 管理用ネットワーク（親OSへの接続） VM専用ネットワーク（fixed ip） 外部接続用ネットワーク（floating ip） と３つあり、１つのEthernetで構築するもよし、プロジェクト（テナント）ごとにEthernetを分けるもよし、じゃなくてリンクアグリゲーションするもよし。このネットワーク構成がOpenStackにおいて最も個々に異なる部分になると思われますが、今回はこんな感
OpenStack Folsom構築 on Wheezy (4-1) コンポーネント設定① | 外道父の匠
ここまででパッケージによる基盤が整いました。 が、そのままではいまいち動かないので、確認を含め各種コンポーネントの設定を行います。 長くなるので、２ページに分けて投稿します。 このページでは、環境変数設定／RabbitMQ／Memcached／Keystone／Nova を記載します。 おことわり ここは今後も微調整をしていくところですので、まだ変わる可能性があります（というかそもそも個別に違うし） 長くなるのでCinderとSwiftは別途記事を分けることにします 記載順序は本来の構築手順とは異なりますが、重要な共有物を先に記載したためです ControllerNodeの指定はテストなのでIPアドレス直書きです 環境変数設定 この環境変数を設定しておくと、Openstack services (keystone, nova, glance, cinder, quantum, etc..)
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
