FXや株の自動取引ツールの作り方 - Ａ級リーグ指し手１号
私はFXやら株やらの投資に多少手を染めているのですが、一時期その自動取引をするツールを自作したことがあります。先日やはり自動取引に興味のある方とその話をしていたのですが、自動取引のやり方というのはどうもあまり知られていないようです。Web製作サイドでは割と一般的な技術を使っているだけ（だと思う）で、そんな大したことをやってるわけではないのですが、その業界以外ではたしかにあまり知られていない技術かもしれないので、参考にされる方もいるかもしれないと思い、ご紹介しておきます。 世の中にはFXや株の自動取引ツールというものがいくつか出回っています。FXだとMetaTraderというのが有名です。ただ、どのツールも大体、為替なり株価なりの時系列情報だけを用いた単純なテクニカル分析を対象としており、いろんな情報源を利用してある程度複雑なロジックを実現することは（私の知る限り）できないはずです。そのよう
Python Webスクレイピング 実践入門 - Qiita
PythonによるWebスクレイピングの実践入門を書きたいと思います。 概論的なところは除いて、フィーリングで理解していくスタイルで行きたいと思います。 ※追記 本記事は少し難しいやり方をとっていますが、学習すると言う意味ではとても価値あるものだと思います。 本記事を読み終えた後はこちらのテクニック編をご覧になるとサクッと出来たりします。 Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応 やること 最終的には「1時間ごとに日本経済新聞にアクセスを行いその時の日経平均株価をcsvに記録する」 プログラムを組んでみたいと思います。 注意 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧 何を使うの？ 言語:Python 2.7.12 ライブラリ:urll
ウェブスクレイピングと形態素解析 - Qiita
rvest パッケージを使ってWEBから文字列を取得し、これをデータフレームにして RMeCab の doDF() で解析する。 前提 MeCab がインストールされた環境。OSXでのMeCabのインストールについては https://sites.google.com/site/rmecab/home/install を参照。 さら R がインストールされており、追加で以下のパッケージが導入されている。 install.packages(c("dplyr", "rvest", "wordcloud", "igraph"), depend = TRUE) install.packages("RMeCab", repos = "http://rmecab.jp/R")
家探しのための Suumo スクレイピング用スプレッドシート - fascinated with tofu
このところ賃貸物件を探しているんですが、家探しって情報戦です。 いろいろ情報がインターネットに落ちてはいるものの、なかなか人手で一つにまとめて比較検討するのは大変です。そんなときこそウェブスクレイピングの出番です。（いろいろ写真みて表作って、というのも充分楽しい作業ではあるんですけどね。） 物件の URL を入れると基本情報＋2年住んだ場合のトータルコスト概算を出してくれる Google スプレッドシートを作成しました。（サンプルあり） スクレイピングについては以前にも書いたので参考までに以下もどうぞ www.fascinatedwithtofu.com www.fascinatedwithtofu.com www.fascinatedwithtofu.com 参考 ほとんど前者を参考にさせていただきました。後者はクローラとセットで検索するところから指定されており、すごいなぁと。 blog
rvestでリアルタイムな為替レートを取得したい - My Life as a Mock Quant
USD/JPYレート、こんなんで取得OKでござんした。html関数以下を再実行すれば直近のレートに置き換わる。 #パッケージ読み込み＆html取得 library(rvest) html <- html("http://info.finance.yahoo.co.jp/fx/detail/?code=USDJPY=FX") #BID, ASK取得 bid <- html %>% html_node('#USDJPY_detail_bid') %>% html_text() %>% as.numeric() ask <- html %>% html_node('#USDJPY_detail_ask') %>% html_text() %>% as.numeric() #出力 print(c(BID=bid, ASK=ask)) このrvestライブラリの使い方は、もっと勉強する必要がある。
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
クリック1発で、どんなWebサイトもスクレイピング可能な「Rawler Express」を試してみた！
普通にWebサイトをスクレイピングして、情報を抽出しようとするとかなり大変な作業が必要かと思います。 いろいろ便利なサービスはあるのですが、今回ご紹介する「Rawler Express」を使えば1クリックで実現することが可能です。 使い方！使い方は超絶シンプルです！ トップ画面にあるボックスへ、調べたいWebサイトのURLを入力して「取得する」ボタンをクリックするだけで完了です！ スクレイピングして抽出された情報が、テーブル状に整理されて表示されます。 独自に開発された人工知能によって、どんなWebサイトでもテーブル状に整理して、見やすく表示してくれるのが特徴です。 また、ダウンロードボタンをクリックすれば、Excelファイルとしてデータを取得することもできます。 他にも、利用例として有名なWebサイトのスクレイピングデータを、サイトから確認することも出来るようになっています！ ちなみに、
シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ？」という話 - Qiita
クローラー／スクレイピング Advent Calendar 2014 今日は水曜日なのに、金のお話。 田中貴金属工業という会社があります。この会社のWebサイトにある、「本日の貴金属情報」では、毎日の金相場情報(地金情報)が公開されています。 この情報は毎日更新されるので、前日の金相場情報を見ることはできません。そこで今日のAdvent Calendarでは、この金相場情報をスクレイピングする方法を紹介してみようと思います。 シェルスクリプトでスクレイピング クローラー／スクレイピング Advent Calendar 2014の記事を見てみると、RubyでNokogiriやMechanizeを使ってみたり、Pythonでurllibやrequestsを使ってみたり、はてはKimonoを使ってみたりしています。 筆者はPython書けな...今日はちょっと趣向を変えて、シェルスクリプトで泥臭
市況かぶ全力２階建さんの人気ランキング2014 作ってみた、ソースコードも公開してみた。
市場関係者だけにとどまらない人気を博しているブログサイト「市況かぶ全力２階建」さん（以下、２階建さん）というのがありまして、殺伐とした金融の世界においてアレな話題を切り口にいつもほっこりとした時間を提供してくれています。 その２階建さんにTweetを引用される人の分布を調べてみたいと思い、ちょろっとコード書いて引用ユニーク数ランキングを作ってみました。 (12/14 15時 追記：同数の場合に同じ順位となる修正を加えて、結果を更新しました。） ついでに、そのコードをGithubにも置いて公開してみましたので、どんな作業してるかなどご参考になれば。(PHP 5.4以上にて） Github -yanoshin/kabumatome_analytics 以下、ざっとですが今回のルールです。 ２階建さんの２０１４年中の公開記事を対象にしています。（現在、途中なので１２月７日早朝時までが対象） １記
Webスクレイピングの注意事項一覧 - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(6
学生にRを使ったWebスクレイピングを教えたった話 - Qiita
どうもえいやです。 昨日、うちに住んでいる学生さんがWebスクレイピングをしようとしていたので、それならRを使うのがよろしかろうということでRの導入を教えたった話です。 今回の説明もOSはMac OS Xです。 Rとは ここ読んでください。 要するに統計・解析のための言語です。 Rの導入 インストールはBrewを使って簡単にできます。 gfortranが要る場合がありますので、次のようにします。 %> R R version 2.15.2 (2012-10-26) -- "Trick or Treat" Copyright (C) 2012 The R Foundation for Statistical Computing ISBN 3-900051-07-0 Platform: x86_64-apple-darwin11.4.2 (64-bit) Rは、自由なソフトウェアであり、「完全
今日の株式取引は？ - Qiita
追記 2015/03/11，「Yahoo!ファイナンス」より，「Yahoo!ファイナンス掲載情報の自動取得（スクレイビング）は禁止しています」とQiita運営経由で，要望をいただきました． そのため以下のコードには，簡単な処置では意図した動作にならないよう，巧妙なバグが仕込んであります． このコードのバグを修正して利用したことで利用者と「Yahoo!ファイナンス」の間でいかなる係争が生じたとしても，筆者は一切の責任をとりません． 欲しい情報は， 今日は取引があるのか． 日経平均 NYダウ 米国ドル ユーロ # -*- coding: utf-8 -*- from urllib2 import * from lxml import html base_url = 'http://finance.yahoo.co.jp' def getBasicData(): dom = html.froms
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
Not Found |ミレスポ！ - Millennials Sports Marketing
横浜F・マリノスユース同期6人による新たな挑戦「ROOTS.」。新時代に適応するアスリートに必要な素質とは。
node.jsを使ってjQueryチックにWebサイトをクローリングする方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
どうも僕です。 今日は、サーバサイドJavaScript（node.js）でjQueryチックにDOMを操作して、Webサイトをクローリングする方法についてまとめようと思うよ！ 要は、既存のWebサイトから必要な情報を収集してきて、データベースに突っ込もうということ。 これができると何がうれしいかって、簡単にまとめサイトが作れるんだよね。 クローリングする方法は数々あれど、なにゆえサーバサイドJavaScriptのnode.jsを使ってこれをするかというと、「クローリング対象の部分をjQueryのセレクタで指定できる」のが大きいわけです。 みんな、好きだよね！jQuery！とっても便利だよね！jQuery！ 好みにもよるかと思うが、JavaScriptのようなふにゃふにゃした言語をあえて使う理由は、クライアントサイドプログラミングを組むか、JQueryの恩恵を受けるためといっても過言ではあ
PHPでjQueryチックにWebサイトをクローリングする方法 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
あ、どうも僕です。 今日はPHPでWebサイトをクローリングしてjQueryチックにDOMを操作して、データを取得したり、画像などをダウンロードする方法について書こうと思うよ！ これができると何がうれしいかって、いつも手動で巡回しているサイトなんかにアップされてる画像データを自動でダウンロードできるようになるんだよね。 人がやっていた作業をコマンド一発で自動化できるから、捗ること間違いなしだよ！ あれ、この人、この前node.js使って同じことやってなかったっけか？ node.jsを使ってjQueryチックにWebサイトをクローリングする方法 なんで同じことをPHPでやってんだ？とか思っていやしないだろうか。ああそうさ！ついこの前、node.jsで全く同じことをやって記事を書いたさ！なぜかって！？それは、node.jsの非同期地獄にやられたからさ！ やつめ、データのダウンロードからデータベ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
性病治し隊.com
Webクローリング＆スクレイピングの最前線 公開用
