AWS Amazon Linux スワップファイル作成によりSwap領域のサイズを増やす - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Linux - pv コマンドで処理進捗状況表示！
mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... Linux で何か時間のかかる処理を実行中に、処理の進行状況や処理終了までの大まなか残り時間を知りたいことがあります。 以下、 pv コマンド使用してプログレバーを表示させる方法についての備忘録です。（”pv” は Pipe Viewer の略） ちなみに、当方が pv コマンドを導入した主な理由は、 MariaDB(MySQL) の大容量ダンプファイルをインポート（リストア）する際に進捗状況を知りたかったからです。 0. 前提条件 Debian 8.1 Jessie での作業を想定。 （他バージョンも同様。他ディストリビューションもインストール方法以外は同様） 1. pv
Stop using tail -f (mostly)
Stop using tail -f (mostly) 12 Mar 2015 I still see a lot of people using tail -f to monitor files that are changing, mostly log files. If you are one of them, let me show you a better alternative: less +F The less documentation explains well what this +F is all about: Scroll forward, and keep trying to read when the end of file is reached. Normally this command would be used when already at the e
DMM inside
レビュー自動承認化と精度100%を目指して。いち早く生成AIの導入に踏み出した「ユーザーレビュー基盤」の取り組み
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
DynamoDBやSQSといったAPIを高頻度に使うときに忘れずにセットしておきたいカーネルパラメータ - aws memo
DynamoDB, SQSなどは、Linux内部から高頻度に HTTP APIを叩きに行くことになる。( Fluentdやら、memcachedやらも同じかも) 通常のLinuxのカーネルパラメータ設定で、本番環境や、負荷テスト環境に使うと、おそらくネットワーク障害のような状況に陥るはず。 その時、「DynamoDBの IOPS不足？」「 SQSのAPI スロットリング？「AWSの限界？」と思う前に、これチェック！ netstat -an この結果に、大量のTIME_WAITが表示された場合は、 エフェメラルポートが枯渇して socket作れない状態に陥っている。つまり、DynamoDBやSQSまでパケット届いていない状態なのでAWS側は原因ではない。 ということで、エフェメラルポートを最大限使うようにカーネルパラメータを設定しておくことを忘れないようにするためのメモ。 $ sudo cp
ディレクトリの変更を監視して、任意のコマンドを再起動する話 - kazuhoのメモ置き場
plackup -R とか grunt-contrib-watch とか、ウェブアプリケーションの処理系とかビルドツールには、割とこの手のものが組み込まれているんだけど、Windows を無視できるなら、*1外部ツールを使えばいいわけで。 具体的には App-watcher-0.11 - watch the file updates - metacpan.org をインストールして % watcher --dir src -- cmd args...みたいな感じで起動すれば、src ディレクトリに変更があると cmd を SIGTERM で終了して再起動してくれるから捗ると #soozy で聞きました。 参考文献: Plack::Loader::RestarterとPlack::Loader::Shotgun - すぎゃーんメモ grunt-contrib-watch が重いので grun
linux-fincoreを使ってページキャッシュを覗く
ページキャッシュにどれだけページが載っているかを調べたいなーと思うと、 ファイルがページキャッシュに乗っているかどうかを調べる というのがよく引っかかって、 そもそもfincoreってどっから出てきた名前なんだと思ったらlinux-ftoolsというところに行き着いた。 linux-ftoolsはApacheライセンスで、PerlとINLINE Cで書かれたfincoreはGPLv2なんだけど、 どっちが本家なんだかもともとオリジナルがあるのかよく判らない。 取り敢えずlinux-ftoolsを落としてきてコンパイル。 ダウンロード可能なtarballが存在しないので、hgとやらでcloneするしかなさそう。 hgコマンドが入ってなかったので、mercurialパッケージを突っ込んでから（恥ずかしながらこれ知らなかった。。） $ sudo yum install -y mercurial
jqコマンドが実は高性能すぎてビビッた話
GWが始まりましたが、鎌倉のGWは観光客多すぎて逆に住民はげんなりして外に出なくなる感じです。とはいえ路地まで観光客が攻め込んでくることは少ないので、路地を散歩する分には天気がよくていい感じですね。ちなみに人力車のおにーさんはそういう味のある路地を知り尽くしているので人力車で移動するのはそこそこオススメです(ぼくは乗ったことないけど「こんなところも通るんだ!」ってところで見かけたりします)。 さて、jqというコマンドをご存じでしょうか。 jq jq is a lightweight and flexible command-line JSON processor. と書いてあるとおり、コマンドラインでJSONを扱うことができるコマンドです。で、今まさに仕事で巨大JSONと戦うことが多く、このコマンドが大活躍です。 とはいえ、ぼくの使い方としては「巨大JSONをキレイに整形して表示する」とい
Guardでchef-soloを継続実行 - Qiita
この記事は最終更新から1年以上経過しています。 気をつけてね。 Guardはファイルの変更をチェックして任意のタスクを実行するツール。 この手のものはテストを実行して開発・リファクタリングする用途に使うツールですが、chef-soloとレシピでやってもよいじゃないかと。 概要 さてこれから何をするか Guardに attributes/recipes以下のdefault.rbを監視してもらう。 対象のファイルに変更があったらchef-soloを実行する。 ついでにnode.jsonファイルも監視。 このTipを手軽に再現するためにgithubにコードを公開してます。 Guardのインストール bundlerを使おう、guard-shellはシェルスクリプトを実行する雛形を作るためのプラグインだ。
リソース監視のdstatが凄くいい - rochefort's blog
恥ずかしながらdstatを知りませんでした。 WEB+DB PRESS74のMYSQL 実践入門を見ていたら システムリソース使用状況の調べ方見たいな表がありまして Linux系はdstatでcpu、メモリ、ディスクIOが調べれると書いてありました。 これまでは ちょろっとリソース見たいという時は vmstat -n 1 | perl -MPOSIX -pe 'BEGIN{$|=1} print strftime q{%Y/%m/%d %H:%M:%S }, localtime' vmstatとログ収集を一度にやる - rochefort's blog みたいなことをやっていたのですが dstatを使うと こんな感じになりました。 dstat -Tclm dstat -Tcldr オプション概要 オプションの順を入れかえることも可能です。 すごい、すごい！dstatめっちゃ便利。 オプショ
MySQL の wait_timeout と thread_cache_size の関係 | Carpe Diem
Jeremy Zawodny 氏のブログに MySQL, Linux, and Thread Caching という興味深い記事があったので、理解するために自分翻訳してみた。この記事は、今はないけれども rember.yahoo.com で MySQL を使ったときの話のようです。ちなみに MySQL のバージョンは 4.0.4。 わぉ、とても忙しい一週間だった。私は、remeber.yahoo.com の MySQL サーバや関連するものごとに実に何日かを費した。そして、私は1日か2日を休息に使った(睡眠やシャワーなど) ところで、私はいくつか興味深い発見をした。もっとも驚いたことは MySQL サーバがとても忙しくなったときの Linux 上でのスレッドキャッシングの挙動だ。ポイントは、忙しいときのみということだ。忘れずに。 あなたも分かっていると思うが、われわれがすべてのウェブサーバ
csshXが素晴らしすぎる件
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 複数のホストに対して、同時にコマンドを実行するツールはpssh等いくつかあると思うのですが、もっと自由度高く、viで編集したり、さらにはsshでログインしている状態でやれるような作業を全部同時にやりたいと思っていました。 そんな都合の良いツールはなかなかなくて、会社の人がLinuxでCluster SSHを使っていて、Linux限定かぁと諦めていたところ、なんとMacで使えるcluster SSHのcsshXがあるようだと教えてもらいました。これがあまりに素晴らし過ぎるので簡単に紹介します。 インストール brew環境を入れている人は以下のコマンド一発で使えるようになります。 [program lang=’bash’ escaped=’tru
findコマンドで日付指定を使っての期間絞込み - cakephperの日記(CakePHP, Laravel, PHP)
findコマンドで何日より古いファイルを探すというのはよくやりますが、日数ではなくて日付を指定して検索する方法 find ./ -newerct '2012/11/6 0:0:0' -and ! -newerct '2012/11/10 0:0:0' これで11月6日から10日までに作成されたファイルが検索できます。 他にも-newerBtとか-newermtとか他にもあるみたいです。man find でnewerで検索すれば出てきます。 ちなみに、 -newer ファイル名 でこのファイルより新しいファイルという条件指定もできます。 Linuxで動かないという声がありますが、CentOS6.6とUbuntu12で確認したところ問題なく動作しました。man findすると、-newerXY referenceというオプションがあり、そこに詳細説明があります。manは英語の方じゃないと書いて
joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
SSH力をつけよう
「認証は OIDC 等のデファクトに乗っておけ」 というのはわかりました。ではその次。認証した後です。 残念ながらアクセス制御の枠組みにはデファクトがありません。 自分で設計するしかないのです。 しかし、我々は漠然と車輪の再発明を続ければいいのでしょうか。アクセス制御にスタンダードが無いなら無いなりに、 どのようにアクセス制御機構を整備すればいいのか？その考え方を整理していきましょう。
使えるとちょっと便利なSSHのTIPS
こんにちは、牧野です。久々の、9か月以上ぶりのブログです。。 仕事では、ここ1年近くずっっとインフラ関係のことをやっていました。 今日は、SSHに関するTIPSを紹介します。 １. 特定のサーバーにSSHログインする時に、特定の設定を使用する ホームディレクトリ/.ssh/configファイルに設定を書いておくと、特定のサーバーにログインする時に、自動的に特定の設定を使うようにできます。 SSHのオプションをサーバーによって分けたい時に入力が楽になります。 以下は、xxx.yyy.zzz.aaaでアクセスする時に使う秘密鍵をid_rsa_testに設定しています。 .ssh/config Host xxx.yyy.zzz.aaa IdentityFile /home/asial/.ssh/id_rsa_test ２. ホストキーをチェックしないようにする LinuxからサーバーにSSH接続
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CLOUD STORY - Tech News
Linux 上で Windows 向けの zip ファイルを作る - ~fumi/ChangeLog
sakura vps を ubuntu 12.04 LTS にあげたら resolv.conf がきえた話 - tokuhirom's blog