拡張イベントを使ってスロークエリを探す | SQLServer大好き
拡張イベントを利用して、スロークエリを調査します。 拡張イベントはSQLServer2008から利用できます。 拡張イベントの登録 実行完了までに2秒以上掛かっているクエリを取得します。 ・G:\work\ExtendedEvents_logフォルダを用意します。 ・下記のクエリを実行します。 MSSQL2008用 --2008 拡張イベントの登録 CREATE EVENT SESSION [slowquery_report_2sec] ON SERVER ADD EVENT sqlserver.rpc_completed( ACTION(sqlserver.client_hostname,sqlserver.database_id,sqlserver.sql_text,sqlserver.username) WHERE ([duration]>(2000))), ADD EVENT sq
phpからレスポンスをXMLで取得したい - Qiita
<?php $ch = curl_init(); $options = array( CURLOPT_URL => "https://auctions.yahooapis.jp/AuctionWebService/V2/mySellingList?start=$start" ,CURLOPT_HTTPHEADER =>array("Authorization: Bearer $accessToken ") ); curl_setopt_array($ch, $options); $response = curl_exec($ch); $xml = simplexml_load_string($response,'SimpleXMLElement'); print_r($xml); した結果が下記の通りで、[totalResultsAvailable]の値は本当は０でないです。 /Resul
PHPでXMLを返却するAPIのレスポンスを受け取りそのままCSVとしてダウンロードさせちゃう - Qiita
久々にphp書いたので晒します。 「今どきxmlとかこれ何のAPIだよｗｗｗ」というツッコミは受け付けません、察してください。 // 初期設定 $API_ID = 'YOUR API ACCESS ID'; $API_PASSWORD = 'YOUR API ACCESS PASSWORD'; $API_VERSION = '1.0'; $API_ENDPOINT_URI = 'http://foo.var/api'; $data = array( "api_id" => $API_ID, "api_pass_hash" => md5($API_PASSWORD . time()), "version" => $API_VERSION, "condition" => 'paid' ); // postで接続 $ch = curl_init(); curl_setopt($ch, CURLO
一手間必要。PHPでのSimpleXML関数のパース処理 | 株式会社LIG
一手間必要なPHPでのSimpleXML関数のパース処理 今回はPHPによるXMLデータのパース処理で気になったので、 それについての小ネタです。 まずは基本 PHP5でXMLデータを簡単にオブジェクト化してくれる 「SimpleXML」関数を利用します。 例えば simplexml_load_file() simplexml_load_string() 関数自体の細かい説明は省きますが、「simplexml_load_file()」は XMLファイルからXMLデータを読みだしてオブジェクト化し、 「simplexml_load_string()」は形成されたXML文字列をオブジェクト化する なんとも便利な関数です。 こんな感じに $xml = simplexml_load_file('xml.xml'); print($xml); 結果 SimpleXMLElement Object (
PHPでXMLを解析するときに注意すること - Qiita
PHPでXMLのデータを解析する XMLをパースする XML形式についてはPHPの関数でsimplexml_load_stringという関数があります。 これはXML文書をパースしてオブジェクト化してくれる関数だそうです。 $xml = file_get_contents('http://blog.kzno.net/feed/'); $xmlObject = simplexml_load_string($xml); ただ、これだけだと比較する時や引数として値を渡したいときにオプジェクトとして扱うためうまくいきません。 引数として使用する場合は(string)で文字列にキャストしてやると幸せになれます。
curl とxpath でお手軽スクレイピング - それマグで！
この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。 公開遅いけど。ごめんね この記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。 この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行 用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応 基本方針は「JSに対応しない」 だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE
クローラ作成に必須！XPATHの記法まとめ - Qiita
最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました！ XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathとは XPathはXML文章中の要素、属性値などを指定するための言語です。 XPathではXML文章をツリーとして捉えることで、要素や属性の位置を指定することができます。 HTMLもXMLの一種とみなすことができるため、XPathを使ってHTML文章中の要素を指定することができます。 例えば、 <html> ... <body> <h1>ワンピース</h1> <div class="item"> <span class="brand">iQON</span> <span class="regular_price">1,200円</span> <span class="sale_price">1,000円</sp
RedmineのREST APIで特定プロジェクトの全チケットを取得しようとして失敗する - >& STDOUT
出来そうで出来ない、かゆいところにいつもあと1センチ届かない、RedmineのREST APIの振り回されメモ。 基本形 チケットの情報を取るときはRedmineのApplication Rootから issues.xml にパラメータ渡してGETが基本的な形(issues.jsonでも可)。API_ACCESS_KEY は個人設定のページで各自発行できます。 https://redmine.server.com/redmine/issues.xml?key=API_ACCESS_KEY&project_id=PROJECT_ID&limit=100&page=1この時limitを指定しないと先頭から25件しか取得できないことに注意。 チケットが100件以上あるプロジェクトでも、一度に取得できるのは100件まで。 で、前述のリクエストを投げるとこんなのがルート要素として返ってきます。 <i
Python(lxml)でhtmlを処理する まとめ - Gentleちゃれんじ Tips
Python(lxml)でhtmlを処理する まとめ Pythonにはxml/htmlを取り扱うためのlxmlという便利なサードパーティモジュールがあります。 ここでは、lxmlを使ってhtmlを処理する際に、使えるメソッドなどを簡単にまとめています。 (例がHTML5を使ったものなので気をつけてください。) 初歩的なものを細かくまとめたものは、 「lxmlでhtmlを処理する」にあります。 また、 lxml にある全てのメソッドを紹介しているわけではありませんのでご注意を。 1. htmlの読み込み >>> dom = lxml.html.fromstring(html) >>> dom <Element html at 1967ed8> >>> dom2 = lxml.html.parse('python_tips_003.html') >>> dom2 <lxml.etree._El
Gentleちゃれんじ Tips -lxmlでhtmlを処理する-
lxmlでhtmlを処理する Pythonでhtmlを取り扱う際は、「htmllib(標準モジュール)」や 「Beautiful Soup」 といったモジュールがあります。 しかし、高速で柔軟な操作がしたい場合は、 「lxml」がいいということなので、 今回はlxmlでhtmlを操作する方法をメモしたいと思います。 lxmlは、Beautiful Soupより高速で、htmllibより柔軟なhtml(xml)操作を可能にするのですが、 日本語資料が少ないと言うのが難点でした。最低限のことならば、ちょっと英語を読めば、 何とかなりますが、ちょっと凝ったことをしようと思うと英語力がネックでつまづいてしまいました…。 そこで、今回は、自分がつまづいた所を中心に紹介したいと思います。 目次 htmlから情報を抽出する htmlソースを改変する まとめと補足 1. htmlから情報を抽出する htm
たった10行のコードでひたすらアイドル水着画像をあつめる - UT Startup Gym
こんにちは、飯塚です。 ウェブ上にはたくさんのデータがあふれています。その中から「自分の欲しいデータだけ」を「自動」でかき集めることができたら素敵じゃないですか？ そこで今回は UT Startup Gym の「ウェブから情報をあつめる」で取り上げた内容をもとに、たった10行(正確には 9 行)のコードでひたすら「アイドル水着画像」を集める方法を紹介します。言語は PHP です！ まずは結果から はい、これが今日の目標です。 さっそくコード書く mac ユーザはさっそくプリインストールされているターミナル.app を起動して、 $ emacs crawler.phpと入力して Enter（もちろん他のエディタでも OK）。頑張って下のコード（青色のコメント部分は写さなくていいです）を写経してください。 <?php $url = "http://matome.naver.jp/odai/21
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
XML ＞ 要素名・属性名のルール ＠みっちーわーるど
Letter Digit Combining Character Extender _ (アンダースコア) : (コロン) - (ハイフン) . (ピリオド) その他注意事項 ・Letter には半角カタカナ、全角数字、全角英字、記号を含まない ・: (コロン)は名前空間の区切り文字に使用されるので出来るだけ使わない ・名前の先頭に xml という文字列がきてはいけない。 (大文字・小文字に関係なくダメ) ・名前にスペースは使えない。
解説 : XMLHttpRequest
XMLHttpRequest を使用出来るようにする為の宣言。ブラウザにより異なる。 IE では、ActiveXObject("Microsoft.XMLHTTP") を使用。 IE のバージョンによっては、ActiveXObject("Msxml2.XMLHTTP.5.0") , ActiveXObject("Msxml2.XMLHTTP.4.0") , ActiveXObject("Msxml2.XMLHTTP.3.0") , ActiveXObject("Msxml2.XMLHTTP") なども使用出来る。 Mozilla 系ブラウザでは、XMLHttpRequest() を使用。 var xmlhttp = false; if(typeof ActiveXObject != "undefined"){ try { xmlhttp = new ActiveXObject("Micro
RSSのフォーマット・仕様・構造 - RSS1.0、RSS2.0、Content-Type
RSS（RSS1.0、RSS2.0）のフォーマット・仕様についてのメモ。RSSを扱っているサイトのほとんどは、RSS1.0かRSS2.0を使っている。 RSS1.0のフォーマット・仕様 RSS1.0は、以下のような構造になっている。 <?xml version="1.0" encoding="UTF-8"?> <rdf:RDF xmlns="http://purl.org/rss/1.0/" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xml:lang="ja"> <channel rdf:about="サイトのRSSのUR
Visual Studio 2012 の「JSON / XML をクラスとして貼り付ける」機能が便利すぎるけど - しばやん雑記
最近 Twitter で酢酸先生とがりっちが同じような内容で悩んでました。 JSON食わせたら自動でクラス作ってくれるプロダクトってないですかね— 酢酸 (山の手線20周) (@ch3cooh) July 5, 2013 DataContractJson(ryは jsonと同じクラス構造をつくらなきゃいけないのでざせつしました — がりっち氏@食用 (@garicchi) July 11, 2013 その度に Visual Studio 2012 で出来るよ！と呟いてるんですが、もしかして出ない環境がある？ 少なくとも、現時点で最新の Visual Studio 2012 Update 3 をインストール済みの環境では使えるようになっているはずです。 すいません、嘘付いてました。Web Essentials 2012 をインストールしておかないとメニューが表示されないようです。詳細は最後に
sitemap.xmlとサイトマップ.htmlとの違いについて
ヤフーでもsitemap.xmlのサービスはあります。 https://siteexplorer.search.yahoo.com/mysites ただし、英文です。 ■sitemap.xml 検索エンジンに、自分のサイトのURLを認識してもらう為のものです。 検索エンジンは、世界中のWEBページのリンクをたどる事によって新しいWEBページを発見しますが、 あるページのリンクを全てたどる事はしません。 よって、sitemap.xmlを作成して、グーグルやヤフーに報告する事は、それなりに意義があります。 しかし、その事によって「検索の順位が上がる事は保障されません。」、と グーグルの公式HPに書いてあります。 ■サイトマップ.html この書き方と意義についても、グーグルの公式HP http://www.google.com/support/webmasters/?hl=ja に書いてありま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Json.NET - James Newton-King
[悪徳商法？支店]: [Ruby] Nokogiriで、Wikipediaの記事をパースする