Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
シェルでデータ加工するときSEDをよく使いますが、その利用例と覚え書きです、参考になれば sedコマンドはLinux/Unix/BSD/OSXに標準で入っているので、Macの人なら覚えておくと捗るかも(Linuxとは少し違うのでそこは調べてね?) 当方の利用環境がRedhat系Linuxメインですので、微妙に書式が異なることがありますが、大体の書式は同じはずですので、そこは、ご容赦願います (4/15 ちょっと追加…) Windowsでもsed使いたいという人がいたので、ちょっと追記、以下のサイトからWindows用のバイナリを取得すれば、Windowsでもsedが使えます。WSLなどLinux環境を追加したくない、sedのコマンドだけほしい、PowerShellやプロンプトで使えればいいだけという人にお勧めです。 sed for Windows Site 使用例をいろいろ上げてみる '#
解説 TIPS「Windows 10のLinux/Ubuntu互換環境でbashを使う」では、Windows 10のバージョン1607(ビルド14393、Anniversary Update)に新たに導入された、Ubuntu互換の実行環境「Windows Subsystem for Linux(WSL)」と「bash(Bourne Again Shell)」のインストール方法について解説した。 このbash環境を利用すると、Linux/Ubuntu向けの「パッケージ」(プログラムのソースコードもしくはバイナリファイルなどを1つにまとめたもの)をそのままインストールして利用できるようになる。ただしパッケージの管理方法(追加や削除などの方法)はLinuxのディストリビューションごとにいくらか異なっているので、少し面倒である。 本TIPSでは、Windows 10のWSL向けのパッケージ管理方法
最後にファイルのステータスを変更した時間でソート。詳細表示のときには、時刻の欄が最後にファイルのステータスを変更した時間になる。
■refs ・scpとsftpの違い。軽快なscpか高機能なsftp,sshに向いているのは? ■ssh,scpでファイル転送 sshを使用したファイル転送scpコマンドについて。テスト台としてawsのec2にsshのポートだけ空けておく。また、鍵を~/.ssh/DefaultAWSKey.pemにおいておく。 ローカルのhoge.txtファイルを99.199.○○.○○のec2-userの$HOMEに転送する。鍵はhogeKey.pem $ scp -i ~/.ssh/hogeKey.pem hoge.txt ec2-user@99.199.○○.○○: ローカルのhogedirディレクトリを99.199.○○.○○のec2-userの$HOME/testdir/に転送する。 $ scp -i ~/.ssh/hogeKey.pem -rp hogedir/ ec2-user@99.199
本ページでは、Google Brain Team によって開発された、ディープラーニング (深層学習) をはじめとするオープンソースの機械学習エンジン、TensorFlow のインストール手順について紹介します。 なお、2016 年 7 月時点では、TensorFlow は Linux および Mac のみでのみ利用可能であり、Windows のバイナリ (実行体) は未提供のため、本手順では、Linux (Ubuntu 16.04 LTS) を用います。 本手順は、Ubuntu と Anaconda のインストールが完了した状態から開始します。Python のバージョンは Python 3.5 (Python3) を用います。Anaconda のインストールが済んでいない場合は、Anaconda を利用した Python のインストール (Ubuntu Linux) の手順でインストール
VirtualBox上のCentOS7にあれやこれや入れてたら、仮想HDDの2GBでは少な過ぎたようで、ルートパスの使用率が96%に。 $ df ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置 /dev/mapper/centos-root 1361920 1306184 55736 96% / devtmpfs 242508 0 242508 0% /dev tmpfs 251028 0 251028 0% /dev/shm tmpfs 251028 4408 246620 2% /run tmpfs 251028 0 251028 0% /sys/fs/cgroup /dev/sda1 508588 136960 371628 27% /boot なにも考えず、とりあえず仮想HDDをもう2GB追加してルートパス /を拡張してみます。 VirtualBoxで新しい仮想H
Python やそのパッケージをインストールする方法はいくつかありますが、ここでは Anaconda を使ってインストールする方法を紹介します。 私の周りでは Anaconda で環境構築をすることと Python コミュニティ標準の方法をとることの是非についての議論をよく見かけます。自分の目的にあったものを選択すれば良いと思いますが、初心者にとってどちらが目的に叶うものかを判断するのは難しいことかもしれません。 以下にディストリビューターとして Anaconda (Continuum Analytics 社) が提供している価値について私見をまとめました。 Anaconda は Environment Isolation Tool (環境分離ツール) ではない 一方で Python コミュニティ公式のバイナリーディストリビューションを提供するツールである wheel も充実してきました。
UbuntuなどのディストリビューションをMacにインストールするときは、あらかじめVirtualBoxなどの仮想化ソフトを導入する必要があります。 ここでは、UbuntuをMacで使いたい方に向けて、 irtualBoxの導入方法 Ubuntuの導入方法 についてわかりやすく解説します! VirtualBoxとは? Ubuntuとは? VirtualBoxとUbuntuのダウンロード VirtualBoxのダウンロード VirtualBoxのインストール Ubuntuのダウンロード 仮想マシンの設定 ①仮想マシンの設定 ②「名前とオペレーティングシステム」の設定 ③「メモリーサイズ」の設定 ④「ハードディスク」の設定 ⑤「ハードディスクのファイルタイプ」の設定 ⑥「物理ハードディスクにあるストレージ」の設定 ⑦「ファイルの場所とサイズを」の設定 Ubuntuのインストール ①準備 ②「イ
条件式と繰り返しによるスクリプトの制御 条件判断 引数によって実行時にパラメータを与えることができるようになりました。次に欲しくなるのは、条件判断でしょう。つまり、特定の条件が満たされたときだけコマンドを実行するということです。このための構文が「if文」で、 という構造で使います。このうち「elif」はなくてもよいですし、好きなだけ繰り返すこともできます。また、「else」は使わない、あるいは1回だけ使えます。 ここで注意が必要なのは、条件が式ではなく文であることです。すなわち、一般的な真偽によって実行するかしないかを決定するのではないのです。では一体何をもって判断するのかというと、実行した文の「終了ステータス」です。 Linuxでは、あらゆる実行ファイルが終了時に自分自身を呼び出したプロセスに対して整数のコードを返します。これが終了ステータスで、普通は正常に終了したときに「0」を、エラー
標題のテーマ、今までリダイレクト使ってまどろっこしいことしていた。 # sed -e "s/AAA/ZZZ/g" INFILE.txt > OUTFILE.txt # cp OUTFILE.txt INFILE.txt つまり、一度OUTFILE.txtに置換内容を吐き出してから、OUTFILE.txtをオリジナルのINFILE.txtに反映、とするやり方。しかし!-iオプションを使えば断然スマートにできることを今さら知る。 # sed -i -e "s/AAA/ZZZ/g" INFILE.txt これだけで、対象ファイルが上書き編集される。これにはちょっと感動。 以下のようにすればバックアップファイルもとってくれる。-iとダブルクォーテーションの間は詰める。 # sed -i".org" -e "s/AAA/ZZZ/g" INFILE.txt これをどういう時に使いたいかというと、通常の
シェルスクリプト入門として, 基本的な書き方をまとめました. 長いですが, 1ページにまとめてみました. 良かったら目次も参考にしてご覧になって下さい. 目次 シェルスクリプトとは 作り方, 実行の仕方 コメント ユーザーからのキーボード入力を受け付ける 変数 通常の変数 特別な変数 演算子 数値計算演算子 比較演算子 コマンドを繋げる演算子 条件文に使える比較演算子 条件文 制御構文(分岐) if文 case文 制御構文(ループ) for文 while文 until文 select文 文字列処理 文字列置換 削除 複数行のテキストの出力(ヒアドキュメント) 関数 シェルスクリプトとは シェルスクリプトとは, シェルの動作をまとめて記述したスクリプトのことです. 決められた文法にしたがって処理を記述することによって, シェルでの処理をまとめて行ったり, 作業を自動化できたりします(例 複数
awkという、古くからのスクリプト言語がある。(1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない)man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基本動作 awkの基本動作は、とってもシンプルである。
データファイル処理に便利なUNIXコマンド (一部工事中、順次拡張予定) ここでは、データファイル処理に便利なUNIXコマンドの紹介を行います。 使用目的から探す - 実例集 - 複数のファイルをくっつけたい あるファイルの後ろに次のファイルを入れる場合 cat 単純にファイルの最初から順に行同士をくっつけてしまう場合 paste 特定の行を仲立ちとしてファイルをくっつける場合 join ファイルのある行を読み飛ばしたい awk ファイルの空行を読み飛ばしたい awk ファイルのある列とある列を用いて演算を行いたい awk ファイルの特定の文字を別の文字に変換(置換)したい sed データのフォーマットを揃えたい awk 1を01のように、頭にゼロをつけたい(ゼロプディング) 0.035を3.5E-2のように、指数表示にしたい、など。 ファイル名から、ディレクトリ名あるいは拡張子を取り除き
while 文の使用方法 while 文とは? while 文は「ある条件が成り立っている間のみ繰り返し処理を実行する」といった、不定回の繰り返し処理を行う場合に使用するループ制御文である。 一般的に処理回数が明確である場合には for 文を用いるが、処理回数が開始時点では不明確な場合はこの while 文を用いる。 while 文は始めに指定された条件式の終了ステータスを判定し、結果が真である場合のみループ処理を継続する。ループ毎に条件式を評価し真であれば処理を実行する。これを繰り返し、条件式が偽になった時点でループ処理をを終了する。 → 処理回数が開始時点では不明確なループ処理には while 文を使用する。 while 文にはループの継続条件となる条件式を指定する。条件式には test コマンドを使用するのが一般的だが、当然その他のコマンドも使用可能である。 while 文により条件
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く