MSXML2.XMLHTTPでvbaからweb apiを利用 - end0tknr's kipple - web写経開発
今回は、google map apiを例に、MSXML2.XMLHTTPとMSXML2.DOMDocumentによるvba(私の環境はexcel 2003)からのweb apiの利用方法を書き留めておきます。尚、google map apiのresponse形式等は、以前に紹介しているのでそちらをご覧下さい。 http://d.hatena.ne.jp/end0tknr/20081021/1224576363 MSXML2.XMLHTTPとMSXML2.DOMDocumentで簡単に実現 google map apiはresponse形式にcsvやxmlを選択できますが、xmlをvbaで扱う場合、「ツール」→「参照設定」でMSXML2.DOMDocumentを追加して下さい。 この参照設定が完了すれば、後は簡単。次のように MSXML2.XMLHTTP でgoogle map apiを呼び
DOMを利用してXMLデータへアクセス
Dim objDOM, rtResult Set objDOM = WScript.CreateObject("MSXML2.DOMDocument") rtResult = objDOM.load("Sample.xml") If rtResult Then procDispDatas objDOM.childNodes Else MsgBox "XMLオブジェクトの作成に失敗しました。" End If Set objDOM = Nothing Sub procDispDatas(objNode) Dim obj For Each obj In objNode If obj.nodeType = 3 and obj.parentNode.nodeName = "title" Then MsgBox obj.parentNode.nodeName & " : " & obj.nodeVal
PhantomJS と CasperJS で複数ページを一括キャプチャする ｜ Tips Note by TAM
Web 制作をしているとページの表示確認やコンポーネントの洗い出しなどで、大量にキャプチャを撮ってきたい時があります。 しかしブラウザのエクステンションで1枚ずつ撮るのも面倒です。 そこで PhantomJS と CasperJS を使うとキャプチャを自動化することができるということなので、先達たちの情報を参考に、キャプチャしたいURLと想定するデバイスを CSV で管理して、楽にキャプチャがとれるものを作成しました。 PhantomJS と CasperJS とは PhantomJS ですが、グラフィカルな画面のないブラウザで「ヘッドレスブラウザ」と呼ばれるブラウザです。コマンドラインからブラウザの機能を使うことができ、フォームの操作やページの要素を取得することができます。よく CI ツールと組み合わせて自動テストを行ったり Web スクレイピングで使われたりします。 PhantomJS
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
SGMLReader + XPathでスクレイピングする - Sanwa Systems Tech Blog
こんにちは、今日もWebを見ながら生きているwakです。表題通りのことをやりました。 はじめに 目的 HTMLはXMLじゃない SgmlReader SgmlReaderの使い方 導入 読み込み 文字列→XDocument XPathEvaluate()で型を指定する 例 ドキュメント全体から要素を検索する ドキュメント全体から何かを検索する 特定の要素の下から何かを検索する Chromeのコンソールと注意点 Chromeの$x()でお手軽XPath Chromeが勝手に要素を補う場合 SgmlReaderが補完に失敗する場合 おわりに はじめに 目的 任意のHTMLをSystem.Xml.Linq.XDocumentに格納してXPathで目的の要素を探してスクレイピングすることです。 HTMLはXMLじゃない HTMLはXMLではありません。したがって、 <link href="myst
PowerShellのInvoke-WebRequestでCookieを取得して使う - YOMON8.NET
例えばGoogleからのCookieを取得してみます。SessionVariableの引数がポイントです。 $uri = "http://www.google.co.jp/" Invoke-WebRequest -Uri $uri -SessionVariable mySession これで変数$mySessionにセッション情報が格納されます。 PS> $mySession | gm TypeName: Microsoft.PowerShell.Commands.WebRequestSession Name MemberType Definition ---- ---------- ---------- Equals Method bool Equals(System.Object obj) GetHashCode Method int GetHashCode() GetType Met
Juliaで楽しくWebスクレイピング！ - Qiita
#はじめに 科学計算向けスクリプト言語「Julia（JuliaLang）」の利点の一つは、 データ前処理と統計処理、そしてその結果のレポートを、Pythonと同じように一貫して行える事にあります。 そして、Juliaは多くのケースでPythonよりも早いと言われています。 しかし、Juliaの最新バージョンは0.4であり、 ライブラリが出揃っている状態ではなく、又、ライブラリの情報も知れ渡っているものではありません。 今回は、JuliaでWebスクレイピング（Webページからデータを抽出する事）に使えそうなライブラリを調べてみました。 （Beautiful SoupをPyCall.jlで使う方法も考えましたが、今回は紹介しません） #01.Webページをダウンロードする。 [Requests.jl, HttpCommon.jl] Requests.jlの関数「get(URI, クエリ文字列
Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
curl とxpath でお手軽スクレイピング - それマグで！
この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。 公開遅いけど。ごめんね この記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。 この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行 用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応 基本方針は「JSに対応しない」 だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE
C#でJSONを読み込むメモ - (｡･ω･｡)ノ･☆':*;':*
Webアプリケーションでのデータ構造デファクトスタンダードがJSONなので、.NETというかC#でJSONを読みたいことがままあります。 みんな同じようなことを思うので、ライブラリがちゃんとあって、周辺環境も色々と整備されています。 基本的にはぐぐればおよその情報が出てくるので、メモ程度です。 あ、前の記事で艦これのやりとりするJSONデータが取れたんで、それを料理しましょうって話です。 ライブラリ .NET Frameworkは3.5から標準ライブラリにJsonReaderWriterFactoryとDataContractJsonSerializerの二つが入りました(どちらもSystem.Runtime.Serialization.Json)。これら二つが実装される前は、 Json.NETというライブラリを使うのが安牌だったようです*1。 簡単に使えるのないかなーと探すと4.0以降で
PowerShellでWebにアクセスしてみよう！ - coma2n’s diary
今回はPowerShellを使ってWeb（インターネット）にアクセスする方法を紹介します。 PowerShellは.NET Framework（.NET）をベースにして作られているので、.NETに用意されている豊富なライブラリをそのまま使用することができます。 Webへのアクセスについても.NETのライブラリを使うことになります。基本的にはC#やVB.NETなどの.NET対応言語と同じやり方になります。 WebへのアクセスにはSystem.Net.WebClientクラスかSystem.Net.HttpWebRequestクラスのどちらかを使って行います。 前者は簡単に使えますが細かい制御が出来ません、後者は少々手数が増えますが細かい制御が出来ます。今回はSystem.Net.HttpWebRequestクラスを使用します。 PowerShellからGoogle検索 Webと言えば「Goo
なぜ html の form は PUT / DELETE をサポートしないのか？ - Block Rockin’ Codes
注意 内容については一切保証しません。 ここでは、主に W3C ML での議論や各種仕様などに基づいて書いています。 ここに書かれていることが正しいかどうかは、自身で判断して下さい。 事実としておかしいところなどは、コメントでどんどん指摘して下さい。遠慮はいりません。 ただし、このエントリでは「form が PUT/DELETE をサポートするべきかどうか？」の議論はしません。 「REST の是非」や「PUT/DELETE の意義」についても議論する気はありません。 ここでやっているのは、あくまでもどういった議論の末現状があるのかの調査です。 そうした意見がある場合は、 W3C などに投稿するのが最も有益だと思います。 History 2014/03/29: 公開 2014/03/29: XForm と XHTML の関係を明確化(thanx koichik) 2014/03/29: HT
実践Excelスクレイピング
データサイエンスLT祭り 2夜目 http://data-science-lt.connpass.com/event/35412/ の資料
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【情報】Excel で スクレイピング 【ぶっこ抜き】 | クマがいちごを食べていた
VBScript HTTP - how to read DOM element value and have server reply correctly
Web scraping with Julia and PhantomJS | juliabloggers.com
5 Best Web Scraping Tools to Extract Online Data
PowerShell Invoke-WebRequest – Parse and scrape a web page
http://winscript.jp/powershell/254
Web Scraping Tutorial - Learn Web Scraping from basics