Charming Python: Functional programming in Python, Part 3IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
Fluentdでsyslogを取り込むための権限設定（CentOS 5&6両対応） - Y-Ken Studio
syslog経由で出力される次のようなログファイルを、Fluentdに取り込む場合に便利なTIPSを紹介します。 /var/log/messages /var/log/secure 今回はこれらのsyslogを一般ユーザでも読み込みは出来るよう、権限を少し緩める設定を紹介したいと思います。 設定例 素の状態でsyslogをtd-agent(fluentd)から取り込もうとすると、権限エラーが発生します。 Fluentdから読み出せるよう、rsyslog(syslog)の設定を変更していきます。 # サンプルのためsourceブロックのみ記述します $ cat /etc/td-agent/td-agent.conf <source> type tail path /var/log/messages format syslog tag td.syslog.messages pos_file /
EC2でkeepalived+LVS(DSR)
9. 動作確認 基本情報 ● クライアント - curl ○ dagon - 10.0.214.215 ● keepalived+LVS ○ cthulhu(MASTER) - 10.0.214.216 ○ hastur(BACKUP) - 10.0.214.217 ● バックエンド - httpd ○ nyar - 10.0.214.218 ○ yog - 10.0.214.219 ● VIP ○ 192.168.200.16 10. 動作確認 事前準備 ● LVS・バックエンドのENIのSource/Dest Check をdisabledにする ● バックエンドでiptablesの設定 sudo iptables -t nat -A PREROUTING -d 192.168.200.16 -j REDIRECT 12. 動作確認 - keepalived.cnf(cthulhu)
ext4のボトルネック除去：(SSDの)命懸けベンチマーク編 - 白烏のチラ裏
前回の記事で記載していたベンチマークの結果です。 検査は以下のパタンで行いました。 設定なし barrier=1 (明示的on) barrier=0 (明示的off) 尚、ベンチマークにはdbenchを使用しました。 dbenchはデータの書き込みを行ってスループットを求めようとします。今回の設定ではwriteに効いてくる筈なので、このツールで評価すると分かりやすいはずです。 先ずはdbenchのインストール方法。 Lubuntuの場合はaptからサクッとインストール出来ます。 sudo apt-get install dbench これで、適切な引数を与えれば試験を行えます。 試験は以下のコマンドで実施しました。 dbench 5 -D . > /保存先/dbench.log 結果は以下の通りです。 Throughputclientsprocsmax_latency 未設定 2.8759
サーバー・システムにおける運用管理
仮想化やクラウド・コンピューティングの発達によって、コンピュータ・システムはますます複雑になっています。仮想化技術やクラウド・コンピューティングを導入すると、エンドユーザーの立場では、非常に使い勝手がよく、電力消費や物理サーバーの台数が抑えられるというメリットがあります。この一方、運用管理を行う立場では、個々の物理サーバーやゲストOSがどのような状態なのかを正確に把握しておく必要が生じます。 システムの管理者は、サーバーの状態やアプリケーションの稼働状況を把握するために、さまざまなツールを駆使します。実績が豊富な有償のツールもあれば、無償で提供されている優秀なツール、そうでないツールも存在します。このため、自社のシステムに合った実績のある手法を見極める必要があります。 本連載では、物理サーバー・レベルでの管理の基本を紹介しつつ、特に近年クラウド・コンピューティングに採用が検討されている、R
Linux Virtual ServerとKeepalivedで作る冗長化ロードバランサ | OSDN Magazine
多数のクライアントがアクセスするような負荷の高いサービスや停止させられないサービスを運用する場合、複数のサーバーを使ってサービスの負荷分散や冗長化を行うのが一般的だ。本記事では、「Linux Virtual Server（LVS）」を使ってこのような構成を実現する方法について紹介する。 Linuxサーバーをロードバランサにする「Linux Virtual Server」（LVS） 最近では多数のCPUコアを持つサーバーが安価で利用できるようになり、サーバー1台の処理能力は飛躍的に向上している。しかし、リクエストの処理に多くのリソースを使用するようなサービスや、短時間に多数のリクエストを処理する必要があるサービスでは、1台のサーバーだけでは処理能力が不足する場合がある。このような場合、複数台のサーバーで同じサービスを運用し、ロードバランサを使ってリクエストを振り分けることで負荷の分散を図るこ
Provisioning Frameworks Casual Talks vol.1 に参加してきました - その手の平は尻もつかめるさ
Chef とかChef-Solo とかを最近触っていて、知見を広めたいというモチベーションがあったので、 Provisioning Frameworks Casual Talks vol.1 に参加してきました。 講演の内容としては以下の通りです。 @fujiwara さん - 新卒研修でserverspecとChefを使った話 http://dl.dropboxusercontent.com/u/224433/pfcasual_1/index.html @antipop さん - 宣伝Puppet Book https://speakerdeck.com/kentaro/puppet-book @naoya_ito さん - 入門 Chef Solo 落ち穂拾い https://speakerdeck.com/naoya/ru-men-chef-sololuo-tisui-shi-i @
Vimでgitのログをきれいに表示する - derisの日記
この記事はVim Advent Calendar 2012の161日目の記事です。 160日目はrbtnnさんによるEffective NeoBundle -- autoload関数を理解しNeoBundleを使いこなすための8の方法 --でした。 Inspired by ujihisa's VAC 本記事は、Vim Advent Calendar 2012 143日目にujihisaさんが書いた記事 撮った動画にインスパイアされて書いた記事です。ujihisa++ ujihisaさんの動画はこちら ujihisaさんの動画を見て、GitLogViewer便利と思って早速設定してみました。 たしかに便利なんですが、コミットメッセージが表示されないので いちいち折畳を開かないと何のコミットなのかわからなくてちょっとめんどうだと思いました。 tigのメイン画面みたいに表示できたらもっと便利なの
httpingとmuninでWebサーバのレスポンスをグラフ化した - Glide Note
Webサーバのレスポンスの計測をしたくて、Webサーバにはfluentdを導入済みなので、 Fluentd+GrowthForecastでやろうと思ったんですが、 Webサーバは全台muninでモニタリングしてて、muninとGrowthForecastでページが 分かれてしまうと視認性が下がるので、muninでグラフ化することにした。 munin自体はエンジニア以外の人も閲覧して、サーバの状態を判断しているので、 確認するページが複数にまたがるのもちょっと嫌だった。 計測にはzembutsuさんのpluginを利用することに。 導入に際してwarningとcriticalの値を設定出来るようにpull reqを出してmergeもしてもらった。 導入したサーバはCentOS4,CentOS5,CentOS6とSL6。 導入方法 httpingの導入 httpinのrpmは下記にあるので、そ
全自動Zabbix
3. Ｚａｂｂｉｘでの監視は便利です。 ＨＷ監視、死活監視、リソース監視、グラフ表示 でも、監視対象を登録するのはめんどくさいです。 じゃぁ自動化しちゃいましょう。 もちろんＺａｂｂｉｘの機能で！（スクリプトとか作らずに） 趣旨 2013/5/53 5. Ａｇｅｎｔ自動登録 Ｚａｂｂｉｘエージェントを起動すると、アクティブチェックの 項目を確認するために、Ａｇｅｎｔ→Ｓｅｒｖｅｒという通信が 発生します。 このときにＡｇｅｎｔは自分のホスト名をＺａｂｂｉｘサーバに 通知して、Ｚａｂｂｉｘエージェント（アクティブ）のアイテム一 覧を取得します。 このときに通知されたホスト名がＺａｂｂｉｘサーバに登録さ れていないときに自動的にホスト登録するのがＡｇｅｎｔ自 動登録です。 2種類の自動登録（Ａｇｅｎｔ） 2013/5/55 6. Ｚａｂｂｉｘサーバは指定
iptablesで鉄壁？の守りを実現する3つのTips｜TechRacho by BPS株式会社
iptablesでサーバを守るときに知っておくと良いことを3つ紹介します 1. 接続回数を制限する(IPアドレスごと) hash_limitを使います これにより特定ホストからの大量アクセス、DoS攻撃を緩和することが可能です 例 2. 接続回数を制限する(サービスごと) limitを使って制限します これにより多数のホストからの攻撃、DDoS攻撃を緩和します limitを使った制限は全ホストが等しく制限を受けるため、ssh等に設定すべきではありません。 （攻撃を受けている間は自分たちも制限されるため） Webサーバが大量アクセスで落ちそうな場合は使えるんじゃないでしょうか？ 例 3. 接続IPアドレスを限定する IPアドレスの国別割り当てをAPNIC等から取得してコマンドを作ります この手のルールは長くなるので、ユーザー定義チェインにしたほうが見やすくなります 例 あとはこんな感じのスク
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
mixiのサーバOS移行のお話 - ビルド&Kernel編 - mixi engineer blog
こんにちは。年末と年度末になるとブログを書きたくなる運用部アプリ運用グループの清水です。 気づけば前回の記事から3ヶ月が経過してしまいました… 今回は、ビルド&Kernel編と題して、Fedora 17向けにおこなったパッケージのビルドや、KernelのConfig、TCP周りの変更点について紹介したいと思います。 パッケージのビルド OSが大幅にバージョンアップすると、依存しているライブラリに大きな変更が入ったり、RPMの仕様変更もあるため、Fedora 8時代のパッケージのリビルドなど、多くのRPMパッケージを作りなおさなければなりません。 mixiでは、Fedora標準パッケージとは別に150個以上のパッケージを、 configureなどビルドオプションを変える Fedoraで提供されないパッケージを作る ディストリビューションに依存しない構成のパッケージを作る(あとで紹介するPer
『対話型のコマンドを自動化できるexpectコマンド』
expectコマンドは、対話形式のコマンドを自動で実行したいといった場合に便利です。 例えば、SSHでサーバーに接続する際、パスワード認証が用いられている場合は当然パスワードを入力しないとログインできません。 または、何らかのソフトウェアをコマンドラインからインストールする場合に、その過程で幾つか環境の状態により質問されたり（パスを求められたり、ディレクトリ名を指定するなど）します。 こういったコマンドを自動化したい場合は、予めその実行コマンドにスキップするためのオプションなどが用意されていないと対応が難しかったりもしますが、expectコマンドを利用すればそれらのほとんどを回避することが可能になります。 例えばサーバー運用者があるサーバーにログインしてディスク容量を定期的に確認しているとします。（あまり目視監視するってことも無いとは思いますが・・・） サーバーにログインして、また別のサー
vCenter Converter StandaloneでP2Vするときの９項目まとめ:ADWAYS ENGINEERS BLOG
2012年12月14日 vCenter Converter StandaloneでP2Vするときの９項目まとめ こんにちは。インフラ担当の6Eです。月に1度は銃を抱えて戦場を駆けています！戦場で僕と握手！ とそれはさておき･･･ 弊社では物理環境だけではなく仮想環境も利用しています。特にテスト環境などでは積極的に仮想化を推進しているのですが、その過程で物理環境から仮想環境へのお引越し(P2V)を行う事があります。 引っ越し先はvSphereなので、vCenter Converter Standaloneを使い基本的にはGUIのウイザード通りに実行していけば良いのですが･･･移行するサーバがLinuxの場合、ちょっと気をつけないと「あれー？動かない？？」となる事があります。 今回はそんなLinuxをP2V(Physical to Virtual)移行するときに気をつけて欲しい「９つの項目」を
zshのalias -s (suffix alias)が神な件 - プログラムモグモグ
まず, 他のシェルをお使いの人にはごめんなさい. aliasコマンドの-sが使えるのは zsh 4.2.x- で, 他のシェルでは実装されていないと思います. あと, もう既に alias -s 知ってるよーって人は読まなくていいです. alias -s って何？ 打ったコマンドの後ろ(suffix)を見て, 適当に宜しくやってくれるやつです. 次の例を見て下さい. ~$ echo "print ('hello, world')" > hello.py ~$ python hello.py hello, world ~$ alias -s py=python py=python ~$ ./hello.py hello, world ~$ Pythonのコードは python hello.py で実行出来ますが, お尻が py なら python を使います, とaliasしておけば, ./
yumによるRHELの保守的パッチ適用方法 - めもめも
何の話かというと Red Hat Networkに登録したRHELシステムであれば、 # yum updateとすれば、すべてのパッケージが自動的に最新にアップデートされます。あるいは、 # yum install hogehogeとすれば、hogehogeの最新バージョンと依存パッケージがまとめてインストールされます。 しかしながら、場合によっては、特定のパッケージだけ特定のバージョンに上げたい、とか、いきなりインストールするのではなくて、まずはRPMファイルをダウンロードして、根掘り葉掘り調べてからインストールしたい、という場合もあります。 このような際に、yumを使わずに、Red HatのCustomer Portalから個別にRPMをダウンロードして対応している方も多いと思いますが、実は、yumでもそのようなきめ細かな対応は可能です。特に、EC2/Nifty Cloudなどで時間課
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.inouetakuya.info/entry/20130511/1368271417
サーバ運用の現場でひたすら監視し続けるエンジニアの手の内のすべて
http://blog.inouetakuya.info/entry/20130203/1359892006
