Charming Python: Functional programming in Python, Part 3IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
TIPS » Blog Archive » UNIX の小技
1. pv: パイプラインの速度表示 pv はパイプライン中を流れるデータの速度や予想終了時間を表示します。 pv - Pipe Viewer http://www.ivarch.com/programs/pv.shtml Fedora なら yum install pv でインストールできます。RHEL/CentOS なら上記から RPM を入手してインストールします。 (例 1) 圧縮速度を測定し、終了時刻を予想する pv /dev/sda | gzip > sda.gz (例 2) 圧縮比を予測する pv -cN read /dev/sda | gzip | pv -cN write > /dev/null -N : 名前をつける -c : エスケープシーケンスを使って描画する 参照: http://www.catonmat.net/blog/unix-utilities-pi
Software optimization resources. C++ and assembly. Windows, Linux, BSD, Mac OS X
See also my blog Contents Optimization manuals Vector class library Object file converter and disassembler Subroutine library ForwardCom: An open standard instruction set for high performance microprocessors Test programs for measuring clock cycles in C++ and assembly code Floating point exception tracking and NaN propagation CPUID manipulation program Links Optimization manuals This series of fiv
Linux KernelのLinked Listの実装が面白い件 - 愛と勇気と缶ビール
最近、Robert Love先生の本を暇な時にダラーと読んでいたりするわけですが、それの中にLinux Kernel内部で使われているLinked Listの実装が書いてあって面白かったので共有。 まず、Linked Listの一個一個のエントリを表すstructを定義します。 struct list_head { struct list_head *next, *prev; }; いやいやいやいや。いかにC力の低い僕でも流石にこれはあきません。騙されませんよ。前後のエントリへのポインタは確かにあるけれども、これにはデータを指すためのポインタがないじゃないの。おじいちゃんまたデータ忘れてきちゃったの？いやあねえ。 おじいちゃんは言った。「それはお前の短見というものじゃ。このLinked Listは以下のコードのようにデータ構造に埋め込んで使うものなんじゃよ。」そしてそれは正しかった。 st
カーネル/VM Advent Calendar 一日目: eventfd, timerfd, signalfd - Emacs ひきこもり生活
ひ、日付? な、なんのことです…!? 最初はfutex()とかカーネルの変更でpostgresqlが遅くなったとかの話をからめようかと思ってたんですがfutex()調べてたらどんどん大きくなってしまったので今回はスキップして(そのうちあるであろう)2回目にまわしとくことに。 ということで、今回はfutex()から似たところ?で、 epoll, kqueue, *fdあたりを簡単にまとめてみようと思います。 select まずはselect()のおさらいを。 こんなふうにサーバにクライアントが5つぶらさがっています。クライアントは常時接続はしていますが、ずっとサーバと通信しているわけではありません。時々サーバにリクエストを投げ、サーバは適宜リクエストに応答します。サーバはsocketを作ってクライアントと通信をしています。 言うまでもないことですが、こんなコードではうまく動きません。 for
RHEL/CentOSでネットワークインタフェースの起動が遅い原因を調べてみた - このブログはURLが変更になりました
RHELやCentOSのネットワークインタフェースって静的IPアドレスを付与するときでもやたら起動が遅くないですか。 ネットワークインタフェースが2,3個程度なら大した問題ではないのですが、例えばVLANをたくさん食わせている場合などはやたら遅くて話にならんレベルです。 Bringing up loopback interface: [ OK ] ←loは早い Bringing up interface eth0: [ OK ] ←遅い Bringing up interface eth0.1: [ OK ] ←VLANも遅い Bringing up interface eth0.2: [ OK ] ←遅いよ Bringing up interface eth0.3: [ OK ] ←遅いってばifupコマンドでかかる時間を確認したところ、1ネットワークインタフェースあたり約5秒。ネットワ
A Template For Writing Linux Kernel Drivers - Phoronix
A Template For Writing Linux Kernel Drivers Written by Michael Larabel in Linux Kernel on 13 November 2012 at 02:17 PM EST. 2 Comments LDT has been published, a Linux Driver Template for helping new Linux kernel developers begin writing hardware device drivers. Constantine Shulyupin posted the Linux Driver Template (LDT) for merging into the mainline Linux kernel and it can be used as a starting p
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
ddで取ったパーティションあるディスクイメージのパーティションをマウントする - kinneko@転職先募集中の日記
losetupとkpartxを使う方法が計算なしで済むのだけど、ここは計算ありの単純な方法で。 まずはレイアウトの確認。 $ sudo fdisk -ul eMMCwriterSD.img You must set cylinders. You can do this from the extra functions menu. Disk eMMCwriterSD.img.sec: 0 MB, 0 bytes 62 heads, 62 sectors/track, 0 cylinders, total 0 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512
joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
複数ホストに ssh しながら tail -F するときにはこうしたらどう? - tokuhirom's blog
いろいろ方法があるとおもうのですが、以下のようなシェルスクリプトですませるのはどうでしょうか? #!/bin/bash function kill_children { # jobs -l | perl -ne 'print "kill $1\n" if /^\S+?\s+(\d+)/' | sh; pkill -P $$; wait; } trap "kill_children" EXIT HOSTS="192.168.1.1 192.168.1.2" for host in $HOSTS do ssh $host tail -F /service/foo/log/main/current & done wait ちょっと箇条書きで解説すると以下のようなことをおこなっています。 & でバックグラウンドジョブをはしらせるwait でそれらの終了を待つtrap 〜 EXIT は atexit
同じサブネットへのNIC 2枚指し、またはソースルーティングのおはなし - （ひ）メモ
「NIC 2枚刺し」というと「IP masqueradeを使ってLinuxでルーターを作ろう！」的な話を思い出す老害です。こんにちは。 NICを2枚生やしたサーバーから同じサブネットに両方の足をのばす機会があったのですが、じゃっかん躓いたのでそのメモです。 具体的にいうと、eth0の方は問題ないのですが、eth1についているIPアドレスへの疎通ができない、というものでした。 以下、 eth0についているIPアドレスが10.0.0.10 eth1についているIPアドレスが10.0.0.11 対向の別サーバーが10.0.0.100 という体で読んでください。 さて、 別サーバーからpingしつつ、eth1でtcpdumpしてみると、echo requestは届いているのが観測できました。が、echo replyを返していません。 # tcpdump -i eth1 -nl icmp liste
sort と uniq でさくっとランキングを出力する - blog.nomadscafe.jp
知っている人多いと思うけど、よく使うイディオム $ .. | sort | uniq -c | sort -nr 「sort | uniq -c」で重複行をカウントでき、さらに「sort -n」で行を数字と見なしてソートすることで重複行のカウントで並べなおすことができます 例えば、Webサーバのaccess_logからよくアクセスしてくるIPアドレスを集計してランキングを表示するには以下のよう書けます $ tail -10000 access_log |cut -f 1 -d ' ' | sort |uniq -c|sort -nr|head -10 209 207.46.204.192 203 59.106.108.114 202 66.249.69.108 171 199.59.149.168 137 78.46.45.35 129 66.249.69.65 120 66.249.69
linux のコマンドラインから、wi-fi の情報をつかって位置情報を得る - tokuhirom's blog
表題の件につきまして、解説します。 firefox などの web browser は geo location API を提供していますが、この位置情報のデータをコマンドラインからとる方法というのが、すんなりとした方法で提供されているものがちょっとみあたりませんでした。 これができると、自分の note pc の中で cron をうごかしておいて、何時から何時までのあいだにどこにいたかを記録するとかできておもしろそう。ライフログ！！！ というわけでやってみようとおもったのだが、存外情報がすくなくてこまった。 結論からもうしますと、iwlist コマンドをつかうと wi-fi のアクセスポイントを scan してくれるので、この出力をつかいましょう。 iwlist wlan0 scanとかうつといいですね。 で、これでえた mac address をもとに、 http://ks0608.h
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Man page of PROC
Section: Linux Programmer's Manual (5) Updated: 2015-01-22 Index JM Home Page roff page 名前 proc - プロセスの情報を含む擬似ファイルシステム 説明 proc ファイルシステムは擬似的なファイルシステムであり、 カーネル内のデータへのインターフェースとして使用される。 一般的には /proc にマウントされる。 大部分のファイルは読み出し専用 (read-only) であるが、 いくつかのファイルは書き込み可能であり、 そのファイルに書き込めばカーネルの内部変数を変更できる。 以下のリストでは /proc 階層以下のファイルやディレクトリの多くについて説明している。 /proc/[pid] 実行中のプロセスについてのサブディレクトリ。 サブディレクトリ名は (そのプロセスの) プロセス ID であ
Linuxのメモリ上のキャッシュを解放する - 元RX-7乗りの適当な日々
いつも思いだすのに時間がかかるというか、ググるのでメモ。 例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。 Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、 1： ページキャッシュを解放 2： dentry、inode を解放 3： ページキャッシュ、dentry、inode を解放 以下を参考に。 /proc/sys/vm/drop_caches (Linux 2.6.16 以降) このファイルに書き込みを行うことで、クリーンなキャッシュ、dentry、 inode をメモリ上から外し、そのメモリを解放する。 ページキャッシュを解放するには、 echo 1 > /proc/sys/vm/drop_caches
ssコマンドのちょっといい所見てみたい。のでネットワーク統計情報がどの程度見られるか試してみた。 - 256bitの殺人メニュー
netstatさんが時代遅れだって！？ netstat使ってるのは小学生までだよねー。 キャハハｋ（ｒｙ 、、、というのは冗談ですが、これからはssコマンドらしいって聞いたので、どんな感じで使えるか使ってみた。 ssコマンド netstatの代替コマンドらしく、現在の通信状況の確認に使えるコマンドです。 メリットはsocketのrawでのsocketの扱いができる点かなと。 と、ipv6に強いところのようです。 でもあんまりipv6環境ってないですし、普段使いで代替になるかなーと思って見てみました。 基本的な使い方 netstatと似た感じっすよ。これ。 netstat # netstat -naot (snip) tcp 0 0 192.168.100111:50271 192.168.10131:27218 ESTABLISHED keepalive (215.43/0/0) tcp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
白湯の雑記: Linux(X Windows System)デュアルディスプレイ移動支援シェルスクリプト MWOXWSAMDリリース
mPulse — Real User Performance Monitoring and Real-Time Analytics | Akamai
