バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
処理が遅い場合の調査
処理が遅い場合, 問題が, ディスク I/O, CPU能力, ネットワ−ク, メモリ不足, NFS 等のうちどこにあるかが問題になる.(いや,他にもありうるけど) ディスク I/O や ネットワ−クが問題になることが多いと思う. ネットワ−ク関連では, hosts ファイル や DNS に無登録のマシンだったり, NIS 参照に問題が出ていたり, また, 自分自身でなく NFS サ−バが遅いのが原因の例もあった. 機材の故障やケ−ブル不良で, ネットワ−クに大量のエラ−がでているのが 原因のことも多い. 複数の DNS サ−バを参照しているばあい, DNS サ−バの参照順が適切か考え直してみる. 使用する tool vmstat, free, top, netstat,tcpdump 等は普通に使えると思う. 負荷のモニタは procmeter が気に入っている. ネットワ−クの状況は I
iノード（inode）とは
ext2や、ext3、ext4というファイルシステムの上で、ファイルやディレクトリを管理するためのデータの事をiノード（inode）といいます。ファイルには、実データの他に、作成者、グループ、作成日時、サイズ等々の属性的な情報が存在しますが、この属性的な情報の部分をiノード（inode）はデータとしてもちます。 ファイルシステムを作成した時に、ファイルの実際のデータが記録されるデータ領域とともにiノード（inode）領域というものが作成され、この領域へiノード（inode）の情報が書き込まれます。 ここでは、iノード（inode）について説明します。 Last Update : 2013年10月16日 iノード（inode）とは 項目 iノード（inode）番号 iノード（inode）に管理されるもの iノード（inode）領域の使用状況の確認 ファイル・ディレクトリのiノード（inode
/tmpと/var/tmpの仁義無き戦い - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #課題 /tmpと/var/tmpどっちも大体一緒だからいいんじゃないかと思って/tmpにファイルをつくろうとしたら、プログラムが使用するものは/var/tmpにと叱られた。確かに、基幹系システムのディストリビューションだと何故か/var/tmp派の人が多かった気がする。じゃあ、linux系特有の宗派の問題なのか？と思い調べてみた。 #何が他のディレクトリと違うか 通常のディレクトリは、基本的にはファイルは削除しない限り消えない。 /tmpに関しては再起動するとファイルが綺麗さっぱり無くなる。 /var/tmpは再起動しても消えないがい
なんとなくやりたかった。MySQLのクエリのみで簡単に1億ものデータを作成する方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
はじめまして。しょーりです。みなさん、こう思ったことはないですか？ 「なにかしらで1億したい」 ということで今回はMySQLのクエリだけで、1億データ作ってみました。作ってなにができるかというと、単純にデータ量に対しての処理速度やデータ容量の計測、または1億データ作成してドヤ顔する際に使用できます。 それではさっそくではありますが、はじめさせていただきます。ちなみに今回実行したMySQLのVerは5.5.16です。 まず今回の実験となるテーブル作成。 -- -- テーブルの構造 `sample` -- CREATE TABLE IF NOT EXISTS `sample` ( `id` int(11) NOT NULL AUTO_INCREMENT, `data` varchar(500) COLLATE utf8_unicode_ci NOT NULL, `create_date` da
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
