Useful Unix commands for data science
Imagine you have a 4.2GB CSV file. It has over 12 million records and 50 columns. All you need from this file is the sum of all values in one particular column. How would you do it? Writing a script in python/ruby/perl/whatever would probably take a few minutes and then even more time for the script to actually complete. A database and SQL would be fairly quick, but then you'd have load the data,
ITインフラで起きる「もしも」のための12個のコマンド
こんにちは。斎藤です。 ITインフラの障害は、多くの場合「予期せぬ」タイミングで発生します。特に、CPUリソースを多量に消費したり、Disk I/Oが輻輳している場合、その切り分けは困難な状況に陥りやすいものです。 そこで、本日はITインフラ、特にOS・ミドルウェアを支えるにあたって、問題解決を助けてくれるであろう12個のコマンドを取り上げてみます。「必ず押さえておきたい」5つのものと「更に覚えると便利なコマンド」7つの2節に分けてお話しします。 ※CentOS 6.4 (64bit)を前提に取り上げます 必ず押さえておきたいコマンド もしITインフラ管理者になりたてな方はぜひ サーバサイドのプログラマをやっていたのだけれど、ある日突然「君、サーバ管理担当ね！」と、バトンを渡される方っていらっしゃると思います。私も以前はそのクチでした...。そうなってしまったとき、まずは覚えておきたい5つ
7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
lsコマンドをハックしてみよう
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野です。 Yahoo!ショッピング開発部では新人エンジニア向けにコマンドのソースコードを読むことを奨励しています。 その初期の題材として、lsコマンドがよく挙げられます。 今回は「lsコマンドをハックしてみよう」と題し、lsコマンドについてお話しさせていただきます。 突然ですがエンジニアの皆さん、lsコマンドのソースコードを読んだことはありますか？ 読んだことのない方はぜひ一度、目を通しておくことをおすすめします。 意外と知られていませんが、lsはcd,pwdなどのコマンドと違いシェルの組み込みコマンドではありません。 一口にlsと言っても、複数のソースコードが存在します。 代表的なのはGN
Ubuntu Manpage: s3cmd - tool for managing Amazon S3 storage space
Provided by: s3cmd_0.9.8.1-1_all NAME s3cmd - tool for managing Amazon S3 storage space SYNOPSIS s3cmd [OPTIONS] COMMAND [PARAMETERS] DESCRIPTION s3cmd is a command line client for copying files to/from Amazon S3 (Simple Storage Service) and performing other related tasks, for instance creating and removing buckets, listing objects, etc. s3cmd can do several actions specified by the following com
Amazon S3用のコマンドラインツールs3cmd
S3を使うにあたってインストールしたs3cmd。とても便利なのですがあまり日本語の情報が豊富ではない気がしたので、ちっとも難しいことではないので参考にもならないかもしれませんが、誰かの役に経つかもしれないので、インストール方法とコマンドオプションを書いておきます。 cd /etc/yum.repos.d wget http://s3cmd.org/repo/CentOS_5/s3tools.repo（centosの場合) yum install s3cmd のようにリポジトリを追加してyumでRPMをインストール 使い方 http://manpages.ubuntu.com/manpages/intrepid/en/man1/s3cmd.1.html s3cmd --configure アクセスキーなど設定する s3cmd ls リスト s3cmd mb s3://bucket-name
cloudpackブログ - S3ってなんじゃ？(s3cmd編)
今回は、S3にコマンドラインからアクセスするCLIツールs3cmdを利用してみたいと思います。 S3 toolsから最新のs3cmdをダウンロードします。 $ wget http://downloads.sourceforge.net/project/s3tools/s3cmd/1.0.1/s3cmd-1.0.1.tar.gz?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fs3tools%2Ffiles%2Fs3cmd%2F1.0.1%2F&ts=1311152465&use_mirror=jaist -o s3cmd-1.0.1.tar.gz そして、ダウンロードしたデータを展開してインストールします。 $ tar -xzvf s3cmd-1.0.1.tar.gz $ cd s3cmd-1.0.1 # python setup.py instal
＠IT：DNS Tips：digコマンドとは
% dig @ns1.jprs.co.jp jprs.co.jp mx ; <<>> DiG 9.2.1 <<>> @ns1.jprs.co.jp jprs.co.jp mx ;; global options: printcmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 59551 ;; flags: qr aa rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 2, ADDITIONAL: 4 ;; QUESTION SECTION: ;jprs.co.jp. IN MX ;; ANSWER SECTION: jprs.co.jp. 86400 IN MX 20 mx2.jprs.co.jp. jprs.co.jp. 86400
)
コマンド ライン リファレンス
Applies To: Windows Server 2003, Windows Server 2003 R2, Windows Server 2003 with SP1, Windows Server 2003 with SP2 Command-line reference A-Z To find information about a command, on the A-Z menu, click the letter that the command starts with, and then click the command name. In addition to the tools installed with the Windows Server 2003 family there are over 40 support tools that you can install
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
コマンドプロンプトを使ってみよう！
ここでは、コマンドプロンプトの基礎知識・使用機会の多いと思われるコマンドを紹介しています。 初心者の方でも簡単なコマンドなら使えるように、できるだけわかりやすく解説するよう心がけました。
ファイル一覧データベースを更新するには（mlocate編） － ＠IT
これまでFedora Coreでファイルやディレクトリを検索する場合には、slocate（注）が使われていた。しかし、現在のFedora Coreでは、「mlocate」が採用されており、ファイル一覧データベースを更新するコマンドなどが変更されている（locateコマンド自体は同じ）。ここでは、ファイル一覧データベースを更新する方法を紹介する。
＠IT：止められないUNIXサーバの管理対策 第5回 （3） ～管理者権限の制限のためのsuとsudoの基本～
※ご注意 本稿の内容を検証する場合は、必ず影響を及ぼさない限られた環境下で行って下さい。また、本稿を利用した行為による問題に関しましては、筆者および株式会社アットマーク・アイティは一切責任を負いかねます。ご了承ください。 前回は、すべてのコマンドが使用できてしまう特権ユーザー（スーパーユー ザー）の利用制限について説明した。今回は、引き続き特権ユーザーが通常行うsuのセキュリティ上の問題点やsudoの基本的な使い方について紹介する。 suの問題点 suコマンドは、再ログインになしにrootに限らず任意のユーザーにスイッチすることができるという、とても便利なコマンドだ。しかし、そんなsuコマンドには、以下に示すようなことが懸念されている。 ●rootのパスワードを入力する必要がある suコマンドは、実行時にスイッチするユーザーのパスワードを入力する必要がある。例えばtelnetでリモートログ
TASKKILL 初めてのコマンドプロンプト/Command prompt
メインページ：新 URL ・fliplop square INDEX https://flipflop.ie-t.net/index.html ・Enjoy JTrim INDEX https://flipflop.ie-t.net/gazouhenkan/index.html ・Enjoy JTrim TOP https://flipflop.ie-t.net/gazouhenkan/jtrim/index.html ・JTrim Ring https://flipflop.ie-t.net/ring/jtrimring.html ・Command Prompt for beginners https://flipflop.ie-t.net/command/command.html 各種掲示板：新 URL ・flipflop square 掲示板 一覧 https://flipflop.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tar/zipコマンドで解凍・圧縮一覧まとめ（gz、zip、tar.xzなど）
find／grep／xargsコマンドを使いこなす 業務で楽するためのUNIXテクニック集「検索」編
Linuxコマンド逆引き大全 Index - Linuxコマンド逆引き大全：ITpro
IDEA * IDEA
googlecl - Project Hosting on Google Code
IDEA * IDEA
