ログ解析初心者に贈る便利なコマンドの使い方 - クラウドワークス エンジニアブログ
好きなMH（今はGTM？）はヴァイオラの那須（@nasum）です（アイスブレーク）。レッドミラージュも捨てがたいですが、ヴァイオラが一番好きですね。ちなみに好きなファティマは京です。 Webサービスを運営している以上、避けて通れないのがログ解析です。このログ解析あまり経験がないと何をどう始めたらいいのかよくわからないと思います。私自身今までログ解析の仕事をしたことがなかったので、わからない状態が続いているという危機感がありました。 そこで最近はできるだけ率先してログ解析の仕事があればそれをやるようにしてコマンド力を鍛えています。今回は教えていただいたり自分で調べたりして得られたログ解析するときに使うコマンドの使い方を紹介したいと思います。 以下簡単にログ解析の流れとともにコマンドを紹介します。やっていることは「ログに記録されたファイルサイズを合計して１日に配信される特定の条件を満たした応答
2016年5月30日 ログアウトのたびにユーザプロセスをすべてkillなんて ―毎度お騒がせのsystemd、新バージョンでまた炎上 | gihyo.jp
Linux Daily Topics 2016年5月30日ログアウトのたびにユーザプロセスをすべてkillなんて ―毎度お騒がせのsystemd、新バージョンでまた炎上 誕生以来、Linuxユーザの間で好き嫌いが大きく分かれるプログラムの代表にsystemdがある。現在、メジャーなLinuxディストリビューションのほとんどはデフォルトの起動プロセスとしてsystemdを採用しているが、その変更を決めるときはたいてい、どのコミュニティでもひと悶着がつきまとう。たとえば2年前にDebianがsystemdへの移行を決定したときも、開発者の間で意見が二分された状態になり、最後はチェアマンの裁定でsystemdに落ち着いている。また昨年、UbuntuがUpstartからsystemdに移行した際も、多くのユーザや開発者が混乱に陥ったことは記憶に新しい。 そしてそのsystemdがそのアップデートに
Big Sky :: Windows ユーザは cmd.exe で生きるべき。
[D] Windowsはターミナルがダメだから使えないってのは過去の話? 基本的にはいい感じに見えますが、いくつか問題は発覚してます。 http://blog.drikin.com/2015/01/windows-2.html 僕は Cygwin よりも msys2 が好きです 理由は最後の方に書きます。 cygwin は windows 上に完全な POSIX を提供するのが目的であって、msys2 は native な windows アプリケーションをビルドするのが目的なのでゴールが違うのよね。そして僕は全て cygwin で染められるのが好きじゃ無い。それだけの話です。 — mattn (@mattn_jp) April 10, 2016 もちろん msys2 を POSIX 環境としても使いますが、一番の目的は cmd.exe から Windows ネイティブなアプリケーションを
Linux デスクトップ環境 2016 - eagletmt's blog
5年半くらい前に http://d.hatena.ne.jp/eagletmt/20100905/1283686004 というのを書いたけど、そこから今どう変わっているのか。 こう列挙してみると2016年になっても Linux デスクトップは… みたいな気持ちも無いわけじゃないけど、色んなコンポーネントを好きなように設定できたり入れ替えることができたり、場合によってはパッチをあてることもできて、そのへんが好きで使っている。 もちろん、仕事では Linux で動作するようなコードばかり書いたり読んだりしているので、そのへんの知識を手元でも使えたり手元とサーバの違いではまったりしにくいから、というのもあるけど。 ディストリビューション 相変わらずずっと Arch Linux を使っている。 パッケージの更新が早かったり、最小限のデフォルトしか設定されていないのでディストリビューションが勝手に設
「PCをWin7のままにしておきたいのに強制的にWin10にするMSが嫌だ！Linuxに行く！」という方へLinuxユーザーとして言っておきたいこと
「PCをWin7のままにしておきたいのに強制的にWin10にするMSが嫌だ！Macに行く！」という方へMacユーザーとして言っておきたいこと という記事を見かけたので、Linuxデスクトップユーザーからも一言だけ言っておく。 結論から。 「悪いことは言わないからやめておけ！」 以前、いますぐWindowsを捨ててデスクトップでGNU/Linuxを使う10+の理由というエントリを書いたことがあるので、使っちゃいけないみたいなことを書くと、「おいおい、いまさら何言ってんだよ」と思われる方も居るかも知れない。だが、以前のエントリの主旨は「GNUのWindows移植版であるCygwinを使うぐらいだったらGNU/Linuxはいかが？」という提案をするためのものであり、いわばCygwinを使うようなIT技術者向けのメッセージである。Cygwinが必要だということは、UNIXライクなツール群を必要とす
prompt_toolkit がアツい - methaneのブログ
とりあえず mycli と aws-shell のスクリーンキャストを見てください。 prompt_toolkit はこのようなリッチコンソールアプリを作るためのライブラリです。 Windows でも動きます。 Jupyter (ipython notebook) を切り離した、コンソール版の ipython も次のメジャーバージョンでは readline ベースから prompt_toolkit ベースに作りなおされています。 ipython 以外にも ptpython というシェルもあり、 ipython の各種 magic が不要な場合はこちらで十分でしょう。 https://github.com/jonathanslenders/python-prompt-toolkit#projects-using-prompt-toolkit には、他にも prompt_toolkit を採用
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
【セキュリティ ニュース】Linuxなどで利用する「glibc」に深刻な脆弱性 - コード実行のおそれ（1ページ目 / 全1ページ）：Security NEXT
Linuxで利用されるGNUのCライブラリ「glibc」に、深刻なバッファオーバーフローの脆弱性「CVE-2015-7547」が含まれていることがわかった。修正パッチが公開されている。 同脆弱性は、関数「getaddrinfo」を利用し、クライアント側で名前解決を行う際にバッファオーバーフローが生じる可能性があるもの。2008年5月に公開された「同2.9」以降のすべてのバージョンが影響を受けるという。 同ライブラリを用いたソフトウェアで、悪意あるドメイン名を処理したり、悪意あるDNSサーバとの通信、マンインザミドル攻撃などで脆弱性が悪用されるおそれがあり、リモートでコードを実行されるおそれがある。 脆弱性にはRed Hatの研究者が最初に気が付き、開発グループが修正パッチを公開した。修正へ協力し、脆弱性の詳細を明らかにしたGoogleの研究者は、実証コード（PoC）を公開。パッチの適用やす
Docker、オフィシャルイメージのOSをAlpine Linuxへ切り替える計画が明らかに。OSの軽量化に傾倒するDocker
Docker、オフィシャルイメージのOSをAlpine Linuxへ切り替える計画が明らかに。OSの軽量化に傾倒するDocker Dockerは現在、同社が提供するオフィシャルなDockerイメージのOSにUbuntu Linuxを採用していますが、これをAlpine Linuxへ切り替える計画があることが明らかになりました。 海外のメディアで次のように報じられています。 Docker gets minimalist with plan to migrate images to Alpine Linux | SiliconANGLE What's Behind Docker's Host OS Change? | Data Center Knowledge UbuntuからAlpine Linuxへの切り替え計画が明らかになった理由は、同社の従業員がHacker Newsのスレッドで次のよ
Amazon Linuxの特徴とCentOSとの違い まとめ | DevelopersIO
はじめに Amazon EC2でLinuxサーバを新規構築する場合は弊社ではAmazon Linuxをお勧めすることが多いです。その理由としてはAWSのツールが最初から入っていてAmazonのサポートも受けやすいからです。Amazon Linuxを使ったことがない方はどんなディストリビューションなのか特徴を知りたいのではないかと思いますので、CentOSとの違いも含めまとめてみました。以下はAWS公式サイトのページになります。 Amazon Linux AMI Amazon Linuxの特徴 Amazon LinuxはRedHat系のディストリビューションになります。CentOSやRHELを使ったことがある方なら同じように使えるのではないかと思います。CentOSとの比較をしながらAmazon Linuxの特徴を見ていきたいと思います。CentOSはAWS MarketPlaceにあるCe
ターミナルにリッチなモニターを表示させる
B! 512 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr ブラウザに表示させる blessed-contrib nodeがインストールされている必要がありますが、 nodeが入っているなら取り敢えず $ git clone https://github.com/yaronn/blessed-contrib.git $ cd blessed-contrib $ npm install $ node ./examples/dashboard.js を実行してみてください。 ターミナル上に こんな感じのものが表示されると思います。 追記: 2015/11/30 上のgifはGNU screenを立
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
2015年Webサーバアーキテクチャ序論 - ゆううきブログ
2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We
どのUNIXコマンドでも使える正規表現 - Qiita
特定コマンドの正規表現で使えるメタ文字が何だかわからない！ 正規表現自体は知っているけど、それが今から使おうとしているコマンドで使えるものなのかわからずに困っている人も多いと思うのでまとめてみた。 たった3つの正規表現メタ文字セットだけ知ればいい コマンドによって、対応している正規表現メタ文字の範囲には違いがある。しかし、最低限知っておけばよいのは2種類+1サブセットの3つだけだ。 BRE（基本正規表現）メタ文字セット ERE（拡張正規表現）メタ文字セット AWKのサブセット もちろん、これ以外にもGNU拡張正規表現メタ文字セットやPerl拡張正規表現メタ文字セット、JavaScript拡張正規表現メタ文字セットなどいくつかあるのだが、「どのUNIXでも（=POSIXで）使える」という特長を持たせたいのであれば、それらは覚えても意味がないので上記の3つさえおさえておけばよい。（例えPOSI
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
Windows 10搭載PCにはLinuxなどをインストールできなくなる可能性あり
ファームウェアがマルウェアに感染するなどして不正な署名になっているとOSが起動しなくなるのがセキュアブートと呼ばれる機能です。「Designed for Windows 8」のロゴをつけたハードウェアを発売するためにはこの機能をサポートする必要がありましたが、一方で、Linuxやその他のOSをインストールしたいというユーザーのために、セキュアブートをオフにするオプションも搭載するように定められていました。しかし、Windows 10ではセキュアブートをオフにするオプションを搭載するかどうかはメーカーが選べることになり、Windows 10以外をインストールできなくなる恐れが出てきています。 Windows 10 to make the Secure Boot alt-OS lock out a reality | Ars Technica http://arstechnica.com/in
iptablesの設定内容確認と設定例
これを実行すると現状のフィルタリングルールを確認することができ、下記のように表示されると思います。(下記の表示結果はubuntu12.04の場合です) Chain INPUT (policy ACCEPT 0 packets, 0 bytes) target port opt source destination Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) target port opt source destination Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes) target port opt source destination 上記のような結果が表示された場合は、policy ACCEPTと書かれていることから、全てのパケットに対して入ってくること、出ていくことが許可されてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
連載記事 「Windowsユーザーに教えるLinuxの常識」
Linux開発者リーナス・トーヴァルズ、来る「うるう秒」を語る