シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ？」という話 - Qiita
クローラー／スクレイピング Advent Calendar 2014 今日は水曜日なのに、金のお話。 田中貴金属工業という会社があります。この会社のWebサイトにある、「本日の貴金属情報」では、毎日の金相場情報(地金情報)が公開されています。 この情報は毎日更新されるので、前日の金相場情報を見ることはできません。そこで今日のAdvent Calendarでは、この金相場情報をスクレイピングする方法を紹介してみようと思います。 シェルスクリプトでスクレイピング クローラー／スクレイピング Advent Calendar 2014の記事を見てみると、RubyでNokogiriやMechanizeを使ってみたり、Pythonでurllibやrequestsを使ってみたり、はてはKimonoを使ってみたりしています。 筆者はPython書けな...今日はちょっと趣向を変えて、シェルスクリプトで泥臭
株価データをシェルスクリプトでCVSにする : Granzchesta's ぷち日常天国
2005年10月14日22:37 カテゴリ最適化 株価データをシェルスクリプトでCVSにする 最近、お仕事の関係で株価の時系列データが必要になることがある。 実際には株価でなくても時系列データなら何でもいいのだが、一番良くそろっているということで株価データを使う。 Yahoo ファイナンスでも時系列データが使えるが、これは５０日ごとにしか表示できないので面倒。そこで目をつけたのが、 http://www.bekkoame.ne.jp/ha/hahaha/ にLZHで置いてあるその日ごとの株価データ。ただ、これはその日ごとなので、時系列データにならない。仕方がないので、wget でダウンロードして、あとは awk などを組み合わせて処理。 とりあえず下のようなシェルスクリプト a.sh を作って $/usr/bin/time a.sh | tee all.log として実行。 これで最終的に
シェルスクリプトとawkによるデータ解析
シェルスクリプトとawkによるデータ解析 2006/01/10 筑波大学農林工学系 西田顕郎 はじめに テキスト形式の数値データの処理・解析には、awk+シェルスクリプトが最強である。誇張ではない。これまでエクセルやC言語、FORTRANなどしか知らなかった人には、ぜひawk+シェルスクリプトの世界を体験して欲しい。気象データなど、大量のテキスト形式数値データをいじる人には、人生の転換点と言えるほどの衝撃が待っている。 なお、awk+シェルスクリプトの使用環境は、当然ながらUNIXシェルである。Windowsユーザーは、Cygwinで擬似的にUNIXシェル環境を構築してください。 参考になるページ こことか こことか awkとは? awkは、テキストデータの1行づつに対して処理をする、プログラミング言語(スクリプト言語)である。コンパイルは必要ない。UNIXのコマンドラインの出力に、パイプ
シェルスクリプトでビッグデータ処理～ユニケージ開発手法とは～
ユニケージ開発手法とは、シェルスクリプトとテキストファイルだけで企業の基幹システムをやすく、はやく、やわらかく開発できる、日本発のシステム開発手法です。近年、大規模な企業の基幹システムやシステム内製化の手法として採用が進んでいます。( 導入事例:http://www.usp-lab.com/works.html ) シェルスクリプトは40年以上前からある、ベーシックで入門者向きのスクリプト言語です。シェルスクリプトにおいては、簡単な「コマンド」を順次記述してプログラムを記述します。例えば、2つのテキストファイル "file1" "file2" の先頭10行と末尾10行をそれぞれ取り出し、その結果を横に連結し、さらにその結果できあがったファイルを行単位にソートする、といった一連の処理を行うのに、 head file1 > work1 # file1 の先頭10行を取り出す tail file
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Qtstalkerで株価データを眺めてニヨニヨするスクリプト | 言葉に恋するゆうゆ組合
