構造化テキストデータを操作するためのコマンドラインツールリスト | POSTD
テキストベースのファイル形式と、それぞれを（主にLinux上で）操作するためのコマンドラインツールのリストを掲載しています。 目次 DSV XML,HTML JSON YAML,TOML INI 設定ファイル おまけ：単一ファイルデータベース用コマンドラインインタフェース（CLI） ライセンス 情報開示 DSV CSV や TSV などを含む DSV（Delimiter-separated values、区切り文字で区切られた値） です。 Awk AwkはPOSIXで標準化されているコマンドラインツールで、DSVデータ処理用プログラミング言語です。Awkに関するリンクは以下のとおりです。 Awk.info — Awkに関する情報が豊富です。 AWK Vs NAWK Vs GAWK —プラットフォーム別実装の比較です。 すでにプログラミング言語を使用してプログラミングをしている場合は、naw
【ubuntu】/bootの容量不足でupgradeできないときの対処方法 - Muni Bus
/bootが独立したパーティーションに割り当てられているコンピューターで、apt-getコマンドでアップグレードしようとして $ sudo apt-get upgrade としたときに、/bootの容量がいっぱいでアップグレードできないときの対処方法。これは/boot内の不要なファイルを削除すればよい。特におかしなことをしなければ/bootには基本的にカーネルに関するファイルにしか置かれておらず、2～3種類のカーネルを置いても通常は100MBもならない。 以下は、とあるサーバーでの実際の手順例。まず、/boot内の容量の確認をする。 $ df /boot Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda1 240972 218396 10135 96% /boot 容量を96%も使
コマンドを並列に実行するGNU parallelがとても便利 - りんごがでている
最近のコンピュータは複数のCPUコアを持っているので並列にコマンドを実行することができます。 たくさんの同じようなファイルに同じ処理を実行することは、私のやっているバイオインフォマティクスではよくあります。 しかし自分で並列に実行するスクリプトを書くことはそれほど簡単ではなく、ログや実行結果の確認など煩雑な処理を書かなければいけません。 この記事では、そうした処理を簡単にするGNU parallelというツールを紹介します。 GNU parallel UNIX系のOSではインストールはとても簡単です。MacでしたらHomebrewを使って、Linuxでは各ディストリビューションのパッケージマネージャからインストールできます。 詳しくはGNU parallelのウェブページを参照して下さい(http://www.gnu.org/software/parallel/)。 Homebrew: b
Linuxと挙動がちがってて使いにくいOS Xのコマンド(top/ps/netstat)の代替 - かみぽわーる
GNU/Linuxに慣れてると、よく打つtop/ps/netstatがOS X使ってるときにLinuxのそれと全然ちがう挙動で使いにくい。同じ挙動にするのman見ても無理そうなんで、なんとか同じように使えるのないか調べてみた。 top htopならLinuxとOS Xで同じように使えるのでhtopを使うとよさそう。 brew install htop-osx ps psのいい代替は見つからなかったけど、ps auxfのようにツリー表示したいときの代替はpstreeを使うとよさそう。 brew install pstree netstat netstatはnetstat -tnpaとかnetstat -tnplをよく使うけど、前者はlsof -nP -iTCP、後者はlsof -nP -iTCP -sTCP:LISTENで代替できそう。 $ sudo lsof -nP -i4TCP -sTC
LDAP サーバーの構築例
18.5. LDAP サーバーの構築例ここでは、以下のモデルをベースに LDAP サーバーを構築するまでの手順を解説します。この LDAP サーバーは、Sales グループと Development グループの人員情報検索、および Development グループに所属する人員の場合は、認証サーバーとしても機能しています。 18.5.1. /etc/openldap/slapd.conf の編集上記の設計をもとに LDAP サーバーの設定ファイル /etc/openldap/slapd.conf を編集します。デフォルトの内容は以下の通りです。 # # See slapd.conf(5) for details on configuration options. # This file should NOT be world readable. # include /etc/openlda
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
便利なコマンドの使い方（３：「tr」「cut」「uniq」「wc」「du」「df」の使い方）
写真5 wcの利用例 Vine Linux 3.2の「.canna」を調べた例です。最初の「191」は行数，次の「631」は単語数，「5536」はバイト数を表しています。 [画像のクリックで拡大表示] ●tr tr＊11は，標準入力から渡された文字の変換や削除，連続する文字の圧縮を行い，標準出力に渡すコマンドです。 trコマンドのもっともシンプルな形式は，第1引数で指定した文字を抽出し，第2引数で指定した文字に変換することです。以下の例では，英小文字a～cが英大文字A～Cに変換されます。 ここで，trコマンドは「文字列」ではなく，「文字」を変換することに注意しましょう。 文字を削除したい場合には「-d」オプションを指定します。例えば，英小文字a～cを削除するには， と入力します。trコマンドでも正規表現が使えます。 連続する文字を圧縮するには，「-s」オプションを指定します。例えば，英小文
２４０ねっと！ - Linuxサーバの構築
ダイナミックDNS(DDNS)とは、ホスト名に対応するIP アドレスを動的に変更する仕組みです。 従来、サーバを公開するには固定のグローバルIPとドメイン名の取得が必要で、 動的なIPアドレスで個人ユーザがインターネットへサーバを公開することは困難でした。 しかし、ダイナミックDNSの出現により誰でも簡単に個人サーバを公開することができるようになりました。 ただし、IPアドレスの変更時にサーバへ通知する必要があります。 ダイナミックDNSの解説およびサービス一覧は「DiCE DynamicDNS Client (自宅でインターネットサーバー)」をおすすめします。 また、このサイトではDynamicDNS Client Tool「DiCE」を配布しています。Windows版のほかにLinux版（現在はベータ版）もあります。 ここでは、当サイトで使用させていただいているDynamic
Linuxでのマウントに必要なコマンド - PCと解
マウントとは、記憶装置をOS上で扱うために、フォルダツリーに乗っけることです。 Windowsだと、自動で「マイコンピュータ」内に乗っけてくれてますよね。 USBメモリを接続しても、自動で認識・マウントされ、すぐに使えるような状態になります。 ところが、Linuxではそうはいきません。 自動で認識まではしてくれるかもしれませんが、原則としてマウントは手動で行います。 Linuxのこのシステムは一見不便にも思えますが、実は便利なところがあり、 Windowsとどちらが優れているとは、一概には言い切れません。 そういうものだと思っておいてください。 LinuxではCUIで操作する部分が多いです。 つまり、コマンドを打って操作していくわけですが、誰でも最初は初心者なんです。 CUIを見ただけで拒否反応を示してしまう人もいるかもしれませんが、 そこは見た目で判断せず、一度やってみてください。 ただ
余暇活動日記 Pythonのライブラリをインストール（研究室編）
前回、MeCabをインストールして、今回は機械学習に必要と思われるライブラリをインストールします。 （この作業をしてから数日後に書いているため、書き漏らしがあるかも） 環境：Linux 5.4 x86_64bit 順序： １．numpy ２．matplotlib ３．blas ４．lapack ５．scipy ６．cvxopt ７．libsvm ８．liblinear ９．svm-light １．numpy Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポートし、これらを操作するための大規模な高水準の数学関数ライブラリを提供してくれます。 wget http://sourceforge.net/projects/numpy/files/NumPy/1.6.0/numpy-1.6.0.tar.gz/download tar xzvf numpy-1.6.0
Git入門 - トップページ
※ 翻訳用のリポジトリ、作業状況は「マニュアルの翻訳状況」参照。 翻訳作業に協力してくださる方がいてくれるとうれしいです。
ssh-agent でパスフレーズの入力を省く - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 SSH ではログインするときにパスフレーズの入力が必要ですが、ときどきこれが億劫になるときがあります。例えば scp コマンドでファイル転送を繰り返すときなど、転送のたびにパスワードを打ち込まなければなりません。 元来、人間というのは単調作業が苦手です（プログラマーなどと呼ばれる人種はこの傾向が顕著なようです＾＾；）。同じパスフレーズを何回も入力するなど、苦痛以外
徒然なるままに・・・ | Ubuntu ～crontab～
/ ルート ├etc ｜ ├cron.d ｜ ｜ └xxxxx ：下記以外の自動タスク設定ファイルを置くディレクトリ ｜ ├cron.daily ｜ ｜ └xxxxx ：1日に1回 実行される自動タスク設定ファイルを置くディレクトリ ｜ ├cron.hourly ｜ ｜ └xxxxx ：1時間に1回 実行される自動タスク設定ファイルを置くディレクトリ ｜ ├cron.monthly ｜ ｜ └xxxxx ：1ヶ月に1回 実行される自動タスク設定ファイルを置くディレクトリ ｜ ├cron.weekly ｜ ｜ └xxxxx ：1週間に1回 実行される自動タスク設定ファイルを置くディレクトリ ｜ └crontab ：毎時、毎日、毎月、毎週の自動タスクのメイン設定ファイル └var └spool └cron └crontabs └user-name
Radiobots – 人工知能ラジオ番組
私たち（木村・ジェプカ・高丸）は、ラジオ番組のパーソナリティとリスナーの関係を参考にした対話処理の新しい枠組みを提案しています。従来の対話システムでは、応答の品質向上に焦点を当てていて、継続して利用するしくみや入力の負荷についてはあまり考えられていない(はず…)。 研究代表者 小樽商科大学 木村泰知 従来研究との違い 関連業績 木村泰知, ジェプカラファウ, 高丸圭一, “Radiobots型対話システムの提案”, JSAI2015. … Radiobots型対話システムの実装例 Radiobots型対話システムの実装例(2015年12月) Radiobots型「Pepperで小樽商科大学を紹介する」対話システムの実装例(2016年06月)
How do I change user after login (e.g. su root)? :: WinSCP
None of the protocols (SFTP, FTP and SCP) supported by WinSCP allow the user to be changed in the middle of file transfer session. You need to start the session with the correct user. Direct Login Use sudo on Login Easiest way is to allow direct login with the user account you need, if it is not allowed already. For accounts such as root, the direct login is typically disabled by default for secur
デバイスをマウントする
ここでは、CD-ROMやフロッピーディスク、USBメモリのマウント/アンマウントの仕方について解説していきます。Windows を使ってきた方にとっては、マウントって何？普通にCD-ROMにアクセスできないの？と思われるかもしれませんが、Linux の場合は、CD-ROMやフロッピーディスクなどのデバイスは全てファイルシステムとして扱われ、それらをマウントポイントという仮想のディレクトリにマウントすることによって初めてそのデバイスの中身を閲覧したり、書き込み処理を行ったりすることができます。また、それらのマウントポイントを/etc/fstab に予め記述しておくことで、コマンド入力の手間を省いたり、システム起動時に自動でファイルシステムをマウントさせたりすることができます。但し、/etc/fstab は一歩間違えるとシステムが起動しなくなる恐れもありますので、編集の際は慎重に行ってください
[Linux] 外付けUSBハードディスク全体をext3でフォーマットする方法 - SumiTomohiko's blog
手順 デバイスファイルをdmesgで確認する。 fdiskする。 mkfs.ext3する。 デバイスファイルをdmesgで確認する。 $ dmesg : [ 161.590623] usb 4-6: new high speed USB device using ehci_hcd and address 5 [ 161.723932] usb 4-6: configuration #1 chosen from 1 choice [ 161.724642] hub 4-6:1.0: USB hub found [ 161.731130] hub 4-6:1.0: 4 ports detected [ 162.034285] usb 4-6.2: new high speed USB device using ehci_hcd and address 6 [ 162.176004] usb 4
![[Linux] 外付けUSBハードディスク全体をext3でフォーマットする方法 - SumiTomohiko's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/69e9ec9df5105229d8f43021708c75c5dd0ab478/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F11696248318756227478%2F11696248318756227784%2F1375071485)
.htaccess について - Linux で自宅サーバ [ Home Server Technical. ]
ほとんどの方はご存知だと思いますが「 .htaccess 」は、ディレクトリ毎の設定ファイルです。 この「 .htaccess 」ファイルにより様々な設定をディレクトリ毎に設定する事が可能になります。 ページ内コンテンツ一覧 Apache の設定 .htaccess で CGI を動作 .htaccess で SSI を動作 Apache の設定 .htaccess ファイルを使用可能にする Apache はデフォルトではこの .htaccess ファイルの設置を認めていません（設置しても無視されます）。 ですので、.htaccess ファイルの設置を許可する様に httpd.conf を設定します。 httpd.conf 中 # This controls which options the .htaccess files in directories can # override. C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.asial.co.jp/816
Packages for Linux and Unix - pkgs.org