PythonでPOSIXのMessageQueue を使う。 - それマグで！
POSIX の メッセージ・キューを使う。 プロセス間通信などと呼ばれる。POSIXのキューを使ってみる。 プロセス間通信 - Wikipedia プロセスとプロセスのデータのやり取りにメッセージ・キューを使うことで幾分楽になる。マルチスレッド以前に複数プロセスでデータをやり取りすると複数分散して処理が楽になることもある。 動作例 youtu.be ポイント 送信側はドンドン送信できる。 受信側は逐次読み込んで取り出せる。 データが空っぽなら、受信側はブロックされる。 受信側は、なにもしなくても受信不可ならブロックされるので楽ちん。感覚的には、空っぽのパイプと同じですね。 インストール python で使うには posix_ipcを使う pip install posix_ipc Queueにメッセージを追加 #!/usr/bin/env python import json import
シェルスクリプトの改行コードを修正する - それマグで！
改行コードが原因でエラーになる。 改行コードを \r\n が原因でエラーになった。 takuya@:~$ bash -n apt apt: 行 2: 予期しないトークン `$'\r'' 周辺に構文エラーがあります 'pt: 行 2: `_apt() 一瞬何のエラーかわからなかったけどよく見るとエラーに改行文字が含まれてた。 改行コードを修正するコマンド dos2unix インストール sudo apt install dos2unix 実行 dos2unix an.sh とても便利ですね 似たような仲間には /usr/bin/dos2unix /usr/bin/unix2dos /usr/bin/unix2mac /usr/bin/mac2unix などがあります。CRLF : dos/windows 、 LF : UNIX / bsd / linux , OS X(macOS) , CR
pythonのORM：SQLAlchemy の基本的な使い方 - それマグで！
SQLAlchemy を使ってみる。 目次 SQLAlchemy を使ってみる。 目次 インストール テーブルの作成 手順のおさらい RDBMS への接続 テーブル定義のクラス。 INSERT/UPDATE をする。 INSERT の例 UPDATE について DELETEする。 INSERT・UPDATE・DELETE のキャンセル SELECT について。 all () / first() とその仲間 レコードを返すメソッド一覧 one()について one_or_none について scalar について count について filter の書き方例 IS NULL / IS Not NULL COLNAME = VALUE / COLNAME > VALUE AND について LIKE 句について 直接SQLのWhere句を入れたい limit / offset ORDER BY
sudoersの設定を分割する /etc/sudoers.d を使おう - それマグで！
/etc/sudoers.d で分割できる。 /etc/sudoers.d を使うと、必要なものを覚えやすいファイル名で書いておいてバージョン管理することが出来る。 編集方法 編集方法がめんどくさい。分割して管理できるが、各ファイルを編集するのにvisudoを使う必要があり、これがめんどくさい。 visudo -f /etc/sudoers.d/my_conf ただしく読み込まれたか もし直接パスを指定して、編集し、手作業で読み込んだら、一旦パースしてテストするしか無いかもね。 sudo vim /etc/sudoers.d/my_conf visudo -x - | jq 読み込む仕組み どのタイミングで読み込むのかは /etc/sudoers を見ればわかります。 /etc/sudoers sudoersには次のように書いてあります。最終行の #includedir に注目。 なのです
python3 urllib でPOST/GET/PUT と JSON 送信 - それマグで！
python3 の urllib を使う。 ひさしくpython2.7 だし全然不満がないのですが。python3.6 の文字列展開とjinja2 が便利そうだしそろそろ python3 使ってみようと思い立って、まずは基本的なリクエストを投げるところから。 urllib.request で各種リクエストを作る urllib.request は 公式ドキュメントにすら Requests を使ったら？と書かれてたりする。 まぁ、そうなんだけど。py3から使い方も変わったしおさらいしておくことにする。 基本的なリクエストの流れ import urllib,urllib.request url = 'https://t.co' req = urllib.request.Request(url=url) f = urllib.request.urlopen(req) print(f.read().
bashの似てて紛らわしいもの() / {} について - それマグで！
サブシェルとグループの違い サブシェル () グループ {} サブシェルの大きな特徴は、サブシェルであるということ サブシェルは、ほぼfork みたいなものだと思ったらいいと思います。 () / { } の違い () はサブシェルを起動し実行する。 {} は現在のシェルで実行する。 現在のシェルの中でソースコードを実行するのか、フォークしてフォーク先でソースコードを実行するのかが一番大きな違い。この特徴があるので環境変数の保護や、作業ディレクトリの保護など変数にまつわることを隠蔽できるのが特徴になる。 目次 サブシェルとグループの違い () / { } の違い 目次 サブシェルとしての実験 サブシェルが、プロセスを生やしていることを調べる。 グループの場合のプロセスツリー サブシェル時の変数 リダイレクトについて ( ) でのリダイレクト {} でのリダイレクト グループでよくハマること:
bashのブレース展開の変数置換でPATHをぱぱっと確認する。 - それマグで！
PATHってパット見でわからないので整形したい。 echo -e ${PATH//:/'\n'} 実行結果 takuya@~$ echo -e ${PATH//:/'\n'} /Users/takuya/.pyenv/shims /Users/takuya/.pyenv /Users/takuya/.bin /usr/local/sbin /usr/local /opt/X11 /usr/sbin /usr /sbin /Users/takuya/.rbenv/shims /usr/local/share/npm ああ。楽ちん。 これを関数にしておこう function path_show(){ echo -e ${PATH//:/'\n'} } いままで、ruby のワンライナーでやってたけど echo $PATH | ruby -aF: -ne "puts \$F" bash の展開の
bashの使い方のまとめ記事のインデックス - それマグで！
bash の使い方を１から見直すシリーズ シェルスクリプトは、もうbashで書いていいよね。bashが動かない環境なんてないんだし。 bash の紛らわしい記号や歴史的経緯によるPOSIXかき分けなどがあって、bashに特化した記事って少ないし断片的なので、色々と調べたことを再構成してまとめて記事にしました。 私自身 [[ / [ の違いが全然わからないので調べ始めました。その結果あれこれ知見が得られたので書きながら復習をしていました。 気づけば、bash の教科書的なものになってしまいました。 何かの役に立てばいいと思って記事のインデックスをまとめておきます。まだ一部書けてないですがそのうち書きます。 はじめに はじめに bashとPOSIX bashが動く環境 zshとの比較 変数と配列と数値計算 変数 配列のまとめ 組込 let による数値計算とインクリメント 連想配列(assoc
bashの正規表現マッチで後方参照 - それマグで！
bash の正規表現マッチで後方参照。 bash の [[ コマンドで、正規表現マッチが使える話は以前書きました。 そのときには、意図的に書きませんでしたが、bashの正規表現マッチでは後方参照が使えます。bash rematch の変数に格納されます。 ちなみに、rematchは re:match ではなく、regex matchのre だと思います。 bash の正規表現マッチと後方参照 とりあえず、動作例を見てください。 takuya@:~$ [[ takuya =~ taku(.+) ]] takuya@:~$ echo ${BASH_REMATCH[@]} takuya ya 後方参照は、BASH_REMATCH BASH_REMATCH の変数に、配列で返ってきます。コレだけ覚えておけば十分。 配列は、 BASH_REMATCH[0] がマッチ全体で、BASH_REMATCH[
sslh でport443 を有効活用して、sshもhttpsも同時に待ち受けする。 - それマグで！
443ポート以外が絶滅しそうです あちこちでポートは閉じられています。ssh や sftp もプロキシ利用も、各種ポートでは、全く外部に出れず、接続できないネットワークが多いです。 TCP/IPなのにIPとポートを使った通信ができない、壊れたネットワークが当然になりました。 これらの接続制限にとても不便を感じることが多いです。 サーバー管理者の気分一つでポートが空いたり閉じたり、私が触ってたネットワークではポリシーが統一されず、クソネットワーク管理者に振り回されて、動くはずのものが動かず、不便なことが多かったのです。そこで仕方なく４４３を使っています。 私達が利用する端末では80/443 のポートの外部接続が閉じられることは少なく、443であれば通信できます。 そのため、443ポートに様々なアプリケーションを起動していると思います。 443 ポートとIPアドレスが枯渇する・・・ よほどのG
bash の展開機能をクールに使って、ファイルのバックアップのコピーを楽チンにする - それマグで！
bash には {} の展開機能があります。 これがものすごく便利ですよね。 １〜１０までの連番を作る たとえば連番を作る $ echo {1..10} 1 2 3 4 5 6 7 8 9 10 ゼロ埋めで、連番を作る $ echo {001..10} 001 002 003 004 005 006 007 008 009 010 展開をする。 その他に、複数の展開が可能なんですね。 $ echo hoge.{a,b,c}.txt hoge.a.txt hoge.b.txt hoge.c.txt 展開を組み合わて、ファイル名をぱぱっとコピーする そもそも、なんどもファイル名を入力するの面倒じゃないですか。 そこで、bashの展開を使ってファイルをコピーする サンプルファイルを作る $ touch sample.txt これをコピーする $ cp sample.{txt,back} この記述
find コマンドで指定条件を除外(exclude)して、特定の拡張子を対象から消すには - それマグで！
find コマンドで指定条件のファイルを＜除外＞したい時 ずっとgrep 使ってたんですけど、find だけで出来ないのかなと気になって調べました。 -not -name pattern のように出来る 除外するときは、-not を最初につけてから上限を書けばいいことがわかった。 次の例は、拡張子 jpg を除外する場合 find -type f -not -name '*jpg' 条件として記述するので name 以外にもファイル名やパーミッションなど find コマンドのオプションと -notを組み合わせて、◯◯以外の条件にマッチしたものを除く、といったファイルの検索できることがわかる。 複数条件書いたらどうなるのか -not があれば、気になるのが複数条件 find -type f -not -name '*jpg' -not -name '*.png' このように、複数続けて書いた
みんな大好き、dig コマンドの使い方(dnsを調べるあれこれ - それマグで！
みんな dig ってますか？ http でファイルが開けない時、真っ先に見るべきは iptable でも、ifconfig でもなくて dig です。 まず、dig を確認するよね。 dig の使い方 dig は名前解決を試みるコマンドです。 名前解決とは何か、、DNSの仕組みについては触れません。コマンドを使っていけばわかると思うし。 dig で 名前解決する dig t.co ドメインから、IPアドレスを探す。 dig で逆引きする。 dig -x 8.8.8.8 逆引きすると、IPアドレスからそのIPの持ち主がだいたい分かることが多い MXレコードを指定する dig yahoo.co.jp mx ns レコードを探す dig yahoo.co.jp ns txt レコードを探す dig yahoo.co.jp txt 表示をシンプルにする 結果だけ欲しい時に使う、プログラムと組わせて
HTTPプロキシ経由でのSSH（その２） connect を使う - それマグで！
インストール #ubuntu aptitude install connect-proxy #centos yum install connect #cygwin apt-cyg install connect-proxy connectは connect-proxy はその名前の通り、CONNETでプロキシに接続する。 CONNECTって？ CONNECTは、主にHTTPS(443)通信のために使う．HTTPSは通信内容が見えないのでプロキシは中継するだけ。むしろ見てはいけない． connect コマンドはHTTPプロキシに転送要求を出します。 使い方 ~/.ssh/config 23 Host mm 24 Hostname ssh.example.com 25 ProxyCommand connect-proxy squid.example.com:3128 %h %p プロキシにログ
github への接続パスワードを省略する（HTTPS編） - それマグで！
github をHTTPSで使うことが多くなった。 https のURLを最近使うことが多い。ssh のほうが正直言って使いやすいんだけど。 ついついhttps のでコピペしちゃうので、HTTPS向けの設定をすることにした credential.helper store パスワードを、ファイルに保存する設定。 git config --global credential.helper store storeを設定した後に git clone/pushをすれば、ファイルに保存される。 パスワードファイルに注意 通常パスワードはプレーンテキストでファイルに保存されるので、取扱には注意が必要。 global の保存先は $HOMEなので ~/.git-credentials ここに保存される。繰返しになるけど、文字列そのまま入ってるので注意。 ちなみにOSXは デフォルトでKeychainに保存
python でコマンド実行。サブプロセスの終了待ち・強制終了・親プロセスと一緒に殺す。 - それマグで！
python でコマンドを実行するには subprocess モジュールを使う 以前にも書いたんだけど、気になったので、再度調べ直した。 suprocessでコマンドを実行する 単純にコマンドを実行するには、subprocess.call を使うのが楽ですね バッククォート ` やos.system のかわりに subprocess .call() を使うようです。 import subprocess cmd = "sleep 30" proc = subprocess.call( cmd , shell=True) 実行した結果はこちら。(シェル経由） USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND takuya 16804 0.0 0.0 20960 4076 pts/4 Ss 03:49 0:00 /bin/bash ta
bashヒストリのダイエット。bash履歴活用まとめ - それマグで！
Bashのヒストリをダイエットしました。ダイエットして減った分、よりたくさんのコマンド履歴が確保出来ました。 履歴を確保するとタイプ量が減って仕事早くなるッス。 重複する履歴を保存しない 重複するコマンドは最新一件に限定する。重複は保存しない ~/.bashrc #重複履歴を無視 export HISTCONTROL=ignoredups Ubuntuなら最初から設定してあったように思える。 空白から始めたコマンドを保存しない 履歴に保存したくないコマンドは空白から記述する ~/.bashrc #空白から始めたコマンドを無視 export HISTCONTROL=ignorespace コマンド例 $ □cat /etc/passwd|grep takuya #↑空白入れることで保存されない。 空白を履歴に追記しない、重複履歴を保存しない ignorespaceとignoredupsを同時
SSH で踏み台経由(プロキシコマンド)するのに nc も connect も要らないよ？ - それマグで！
ssh で踏み台経由するのに、 nc が入ってなかったから無理だといっていたら、そんなもの必要なSSHとかいつの話だよといわれて、オレ涙目 -t オプションだけで行けるよ。 ssh -t gw.example.com "ssh 192.168.2.100 " ポイント。 ssh -t 踏み台サーバー " ssh アクセス先サーバー" 踏み台サーバーにSSHでログインして、 ssh コマンドを更に実行するん。其の時にttyを確保して、端末と端末をつなぐのです。 ポートも指定する ssh -t gw.example.coom -p 22 "ssh localhost -p 2222 "gw.example.coom:22 に接続して、そこからlocalhost:2222 へプロキシする -t オプションがなしだと ssh gw.example.com "ssh 192.168.2.100 "
スクリプトをDaemonizeする。god ツール．しかもプロセス監視・再起動付き - それマグで！
twitter ボットとか、ファイル同期ボットとか、メール転送ボットとかイロイロボット作るよね？ボッと作らないで、プログラムを使う意味がないというか，ボットがあるからこそプログラムに価値があるわけです． rubyのプロセス管理ツールGod がそこそこイカス プロセス監視・再起動するのが面倒なので，ツールを探してるとGODを見つけた Gravatarの開発者が作って使ってるらしい． 多機能なので基本的なところから god インストール gem install god god を使ってプロセス管理 test.god God.pid_file_directory = "/tmp/god_pids/" #god が書き込みできるディレクトリ God.watch do |w| w.name = "myscript" w.start = "/home/takuya/test/myscript.rb"
Mac OSXの空き容量が足りない。容量を喰ってるフォルダを探す - それマグで！
Office 2016 for Mac をインストール試みたら空き容量足りない Mac のSSDは２５０GBもあるのに空き容量足りない。。 どうなってるの・・・ 容量を食ってるフォルダを探してみる 昔ながらのdu で探してみる sudo /usr/bin/du -g -x -d 5 / | awk '$1 >= 5{print}' 実際に実行したのが以下のとおり takuya@rena:~/Desktop$ sudo /usr/bin/du -g -x -d 5 / | awk '$1 >= 5{print}' 30 /Applications 6 /Library/Application Support 13 /Library 25 /private/var/tmp 29 /private/var 29 /private 5 /System/Library/Caches/com.appl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
