PHP5、未整形HTMLをSimpleXMLへ変換 - goungoun技術系雑記帳
PHP5でのスクレイピングについて調査してみた。 正規表現でやってもいいのだけど。 PHP5でやるのだからSimpleXMLでやってみたい。 となると、いかに未整形HTMLを整形済にしてSimpleXMLとするかが 課題となる。これについて調べてみた。 ↓これが答え。なるものを見つけました。 HTMLParser(PEARのXML_HTMLSax3使用)orTidyで整形してるそうです。 HTMLをXML化してDOMやXPathで操作するWebスクレイピング用PHPクラス : Under Construction, Baby: # SimpleXML＋HTMLParser or Tidy＋HTTP_Request＋Cache_Lite http://www.rcdtokyo.com/ucb/contents/i000851.php これで調査終了。というのも寂しいので。 もう少しお手軽にで
産経新聞が有料会員登録をしなくても無料で紙面と同じように読める件について(PHPで産経新聞紙面を得るスクリプト) - konisimple log
産経新聞のiPhoneアプリのパケット解析してみた - konisimple logに書いたのはお遊びでした。 でも実は産経新聞は紙面データで金とってるそうです！→||| 産経NetView ||| 産経さん、今の状態だと10行ぐらい*1コード書くだけで簡単に紙面見れちゃいますよ！ これでいいんですか！？ そんなわけないだろ、というひとのために実際にかいてみました。 例えばPHP使える環境があるなら下のファイルを置くだけで見れちゃう。 かなりセキュリティ甘いのではという気がするのですがどうなんでしょう。 しかも，過去のデータも見れちゃうんですね。どこまで古い奴までみれるかは調査してないけど、割と古いのも見れる。 ウェブで産経新聞を画像で読むPHPスクリプト こんな感じで普通に見れちゃいます。以下のファイルをsankei.phpとか名前をつけて保存するだけ。 しかも上の画像ではサムネだけだけ
neue cc - C#でスクレイピング:HTMLパース(Linq to Html)のためのSGMLReader利用法
Linq to XmlがあるならLinq to Htmlもあればいいのに！と思った皆様こんばんは。まあ、DOMでしょ？ツリーでしょ？XHTMLならそのままXDocument.Loadで行けるよね？XDocument.Parseで行けるよね？ ええ、ええ、行けますとも。XHTMLなら、ね、ValidなXHTMLならね。世の中のXHTML詐称の99.99%がそのまま解析出来るわけがなく普通に落ちてくれるので、XDocumentにそのまま流しこむことは出来ないわけです(もちろん、うちのサイトも詐称ですよ！ていうかこのサイトのHTMLは酷すぎるのでそのうち何とかしたい……)。 そこでHtmlを整形してXmlに変換するツールの出番なわけですが、まず名前が上がるのがTidy、の.NET移植であるTidy.NETで、これは論外。とにかく面倒くさい上に、パースしきれてなくてXDocumentに流すと平然と
[CSS]リスト要素をデザインするスタイルシートの実装集
noupeのエントリー「20+のリスト要素を装飾するスタイルシートのデモとチュートリアル」を紹介します。 CSS-Styled Lists: 20+ Demos, Tutorials and Best Practices <textarea name="code" class="html" cols="60" rows="5"> <dl class="dropdown"> <dt id="two-ddheader" onmouseover="ddMenu('two',1)" onmouseout="ddMenu('two',-1)" class="module">Recent Archives</dt> <dd id="two-ddcontent" onmouseover="cancelHide('two')" onmouseout="ddMenu('two',-1)"> <ul> <li
CSSデザインカタログ
対応ブラウザは Windows：InternetExplorer6，InternetExplorer7，Firefox2，Opera9 Mac：Firefox2，Opera9，Safari2 ですが，ブラウザによって若干表示が異なる部分もあります。 XHTML 1.0 でマークアップしてあります。 DOCTYPEスイッチによる標準モードに対応しています。InternetExplorer6 でXML宣言をし互換モードになった場合にも対応しています。 Netscape7，Mac InternetExplorer5 では期待通りに表示されないものがいくつかあります。 便宜上，分類コード（div011-hp，table010 など）を class名にしてありますが，実際にお使いの際には適切な class名に変更してください。 すでにお使いのCSSファイルに新たにCSSコードを追加した場合，既存
throw Life - Androidアプリケーション開発入門
まずは入り口となるメインです。AndroidのアプリケーションはActivityクラスから生成されます。そのため、作成するアプリケーションはActivityクラスを継承する必要があります。 NotepadではActivityクラスのサブクラスであるListActivityを継承しています。 public class Notepadv3 extends ListActivity { @Override public void onCreate(Bundle icicle) { super.onCreate(icicle); setContentView(R.layout.notes_list); dbHelper = new DBHelper(this); fillData(); } } アプリケーションが呼び出されると必ずonCreateがコールされますので、ここが実質メインメソッドとな
minidomを使ってXML解析を行う - YAMAGUCHI::weblog
動機 PythonはXML関係のパーサが標準ライブラリに複数用意されてます。2.5.2で使えるものだと、Expat, SAX2, DOMなんかがあります。 その中でminidomを使っていたときにはまったのでメモ。 サンプル こんなXMLがあったとして、entryを要素を得たいとします。 <?xml version="1.0" encoding="utf-8"?> <feed xmlns="http://www.w3.org/2005/Atom"> <title>hoge</title> <updated>2008-11-28T08:15:02Z</updated> <author> <name>ymotongpoo</name> <uri>http://d.hatena.ne.jp/ymotongpoo</uri> </author> <entry> <link rel="alterna
GreasemonkeyからXMLRPCプロトコルでブログに投稿する
XML-RPCを使ってWordpressやMovable Typeなどのブログに投稿するGreasemonkeyの書き方みたいなものです。 XMLRPCに対応したブログにどういうものがあるかは下のサイトによくまとまってます。(ちょっと古いですが) BlogWrite – Atom API, XML-RPC : http://www.witha.jp/BlogWrite/bloglist.html WordPressでしかテストしてませんがXMLRPCに対応してるブログなら動作すると思います。 今回は投稿機構みたいなものを書いただけなので、このスクリプトだけではあんまり意味はないと思います。 // ==UserScript== // @name XMLRPC poster // @namespace https://efcl.info/ // @include http://* // ==/
Latest topics > ツリー型タブの修正 - outsider reflex
Latest topics > ツリー型タブの修正 宣伝。日経LinuxにてLinuxの基礎？を紹介する漫画「シス管系女子」を連載させていただいています。 以下の特設サイトにて、単行本まんがでわかるLinux シス管系女子の試し読みが可能！ « 「合わない人」と無理してつきあう必要って無いんだなー Main ツリー型タブとTab Mix Plusの衝突について調べていてGeckoのバグを見つけた » ツリー型タブの修正 - Aug 11, 2009 先週1週間は夏休み取って家に缶詰でずっともえじら組のマンガ描いてたんだけど、その間大量にバグ報告が来てたのをずっと見て見ぬふりしてたのを今週になってやっと修正した。 ブックマークフォルダの内容をタブで開けなくなるという問題はFirefox 3.0.xでのみ発生する問題で、原因はJavaScriptコードモジュールのPlacesUtilsにFir
Latest topics > ツリー型タブとTab Mix Plusの衝突について調べていてGeckoのバグを見つけた - outsider reflex
Latest topics > ツリー型タブとTab Mix Plusの衝突について調べていてGeckoのバグを見つけた 宣伝。日経LinuxにてLinuxの基礎？を紹介する漫画「シス管系女子」を連載させていただいています。 以下の特設サイトにて、単行本まんがでわかるLinux シス管系女子の試し読みが可能！ « ツリー型タブの修正 Main サイドバーをタブ（ツリー）の下に表示する » ツリー型タブとTab Mix Plusの衝突について調べていてGeckoのバグを見つけた - Aug 13, 2009 ツリー型タブが入ってるとスターアイコンからブックマークの内容を編集できない、という報告を見て、そんなバカなこっちじゃちゃんと動いてるのに！と思って薄々そうなんじゃないかなあと思いながらよく報告を見てみたら、Tab Mix Plusと組み合わせた状態であると書いてあり、やっぱり……と思いな
ここからスタート :: Add-ons for Firefox :: 開発者センター
Add-ons allow developers to extend and modify the functionality of Firefox. They are written using standard Web technologies - JavaScript, HTML, and CSS - plus some dedicated JavaScript APIs. Among other things, an add-on could: Change the appearance or content of particular websites Modify the Firefox user interface Add new features to Firefox There are several types of add-ons, but the most comm
Services_Twitter
Services_TwitterはPHPで簡単にTwitter APIを使用できるPEARパッケージです。 ライセンス インストール 必須環境 pearコマンドを使った場合 pear環境を使えない場合 リファレンス 更新履歴 TODO ライセンス このライブラリはThe PHP License, version 3.01の元に公開されています。 インストール 必須環境 Services_TwitterはPHP4.3.0以上の環境で動作する事を前提に作成されています。 pearコマンドを使った場合 Services_TwitterはPEARパッケージで提供されています。PEARコマンドからインストールを行うことが可能です。 # pear install -f http://labs.transrain.net/files/Services_Twitter-0.4.0.tgz 情報取得時にJS
BPEL - Wikipedia
BPEL（英: business process execution language）とは、実行可能なビジネスプロセスモデリング言語である。 しかしBPELは特定のセマンティックやプロセス構造の要素を持っていないため、考えられるすべてのビジネスプロセスをモデル化し実行することは不可能である。このため、BPELはたとえばJavaのようなプログラミング言語とともに用いられたり、ワークフロー統合ブローカーエンジンなどの商用製品に備わっている独自のスクリプト言語によって拡張されることが多い。 BPELの起源はWSFLとXLANGにさかのぼることができる。BPEL は XML によってシリアライズ可能で、大規模プログラミングの概念を実現するものである。大規模プログラミングと小規模プログラミングの概念は、ビジネスプロセスで典型的に見ることができる長時間継続する非同期のプロセスを記述する際の二つの側面
neue cc - C#とLinq to XmlとXPath
どうも、先人が3年前に通り過ぎた道を今更辿ってる私ですがこんばんわ。そんなことを思うと虚しいので、せいぜい高速道路！高速道路！と叫ぶことで再舗装したいと思っております。ていうかさー、JavaScriptでゆるふわ系でキャッキャウフフだと思ったのに人格に問題あるのは私ですかー、みたいなー。Xbox360並に殺伐。しょうがないので、リハビリC#。そろそろXbox360に戻りたいのですが、プログラミングはスイーツ(笑)なので甘美ですね、ていうかXbox360は殺伐としすぎだろ常識的に考えて。アウトランNAIJとか。 デススマをスルーしてX-BLADEを買う俺カッコイイ、そう思っていた時期なんてありません。でもデススマはスルーしそう。何というかゲーム脳が恐怖で最近のXbox360へのモチベーションのなさは近年なく異常。どのぐらいかというと、ああもうLinq to XmlもJavaScriptに移植
XMLサイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた | Web担当者Forum
人間誰でもそうだけど、いいものも悪いものも含めて、僕にはいろんな癖がある。この間、あるクライアントのWebサイトに取り組んでいるとき、いつものようにXMLサイトマップを作って検索エンジンに送信したんだけど、そのときに考え始めたんだ。XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。 そこで、そこそこ人気のあるブログを運営していて、WordPressとGoogle XML Sitemaps Generator for WordPressというプラグインを使っているクライアントに頼んでみたんだ。僕が作ったトラッキング用のスクリプトをサイトにインストールして、検索ロボットの動きを追跡させてくれないかってね。Google XML Sitemaps Generatorがどんなものか知らない人のために説明すると
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
