exception 'Exception' with message 'Error loading XML markup' in /usr/share/pear/phpQuery-onefile.php:424
![XML宣言をPHPの正規表現で削除する](https://cdn-ak-scissors.b.st-hatena.com/image/square/3255fd065e3acc90ac4a88b4559f0b575c6bf43d/height=288;version=1;width=512/https%3A%2F%2F4.bp.blogspot.com%2F-8fvk-2oThZs%2FWLlHBWjnKEI%2FAAAAAAAAH_w%2Frui46WzJiFwP1WRZAMXSmFlP40uhACROwCK4B%2Fs151%2F10881490_835995916457812_2409058102452638914_n.jpg)
Webスクレイピングというネット上のデータを抽出できる方法があります。例えば、以下のようなことができます。 「DX(デジタルトランスフォーメーション)」という言葉が日本においても盛んに使われるようになりました。このことが現すように、企業はデータを効率的に収集して活かすことが求められています。 しかし、スクレイピングをおこなうためにはサイトに合わせてコードを書く必要があります。毎回サイトごとにコードを組むのは手間がかかり効率的ではありません。 そこでWebスクレイピングツールの出番です。このWebスクレイピングツールを使えば、コードを書く必要がなく、簡単にWebサイトから情報を取り出すことができます。 今回は、おすすめのスクレイピングツールを7つ比較してご紹介します。 Webスクレイピングツールおすすめ7選比較 さっそく、スクレイピングツールのおすすめを7つご紹介します。精度が高く導入数の多
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね? 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます(今のところ、他のサイトでそこまでの例は見ていません)。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか? 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
ウェブサイトの更新チェックをするのに、ブラウザを開くのが面倒でスクリプト化したいことがあります。 Node.jsを使って、スクリプト化します。 お題 国立大学法人 電気通信大学から最新の新着情報の日付を取得します。 ブラウザ上での動作 最初にブラウザでの情報取得方法を確認します。 開発コンソールで次のJavaScriptを実行します。 document.querySelector('.newsList').children[0].firstChild.textContent.trim() "2017年10月 5日"最新の新着情報の日付が取得できます。 解法 色々な実装方法があります。 環境 Nodo.js v8.6.0 MacBook Pro (Retina, 13-inch, Late 2013) 比較表 最初に簡単な比較を載せます。 ソースコードは後半にあります。 ヘッドレスブラウザ
概要 ・phpを用いて、食べログから自分の情報を取得する方法をまとめる。 ・ゴール:食べログから必要な情報(タイトル、評価、画像パス)を取得し、csvファイルにまとめる。 流れ 1. h3の情報を取得 <?php // phpQueryの読み込み require_once("./phpQuery-onefile.php"); // 取得したいwebサイトを読み込む $html = file_get_contents("対象のURL"); // 見出し要素を取得&表示 echo phpQuery::newDocument($html)->find("h1")->text(); ?> // ファイルを開く。"a"は書き出し用として開くパラメータ。 $file = fopen("data.csv", "a"); $contents = phpQuery::newDocument($html)->
「webサイトから欲しい情報だけを集めたい」そんなことはありませんか? 「スクレイピング」という技術を使うことによって、カンタンにwebサイトから欲しい情報を取得することが出来ます。 スクレイピングとは WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。 引用:IT用語辞典 今回は「phpQuery」を使ってスクレイピングを実装します。 名前の通りで、phpを使います。 phpQueryの導入方法 公式サイトからzipファイルをダウンロードします。 解凍したら中にある「phpQuery-onefile.php」をお好きなところに配置してください。 今回は、わかりやすくルートに配置しました。
以前は、PHP Simple HTML DOM Parserってのを使っていましたが、久しぶりに調べてみると、phpQueryというのがあるようなので、それを使ってみる。 オリジナルのものはここからダウンロードできるようです。 が、しばらくメンテされてないようです。ForkしてComposerに対応したものもあるようです(試してません)。 なお、あまりTableを対象としたサンプルが無かったのでテーブルのスクレイピングを中心に書きます。 シンプルなデモ このようなHTML(test.html)があるとすると、 <!doctype html> <html> <head> <title>scraping test</title> </head> <body> <h1>hoge</h1> <!-- table1 --> <div id="greeting">Hello</div> <table>
ベイジで社内のワークフローを整理しだしたのは確か2014年頃です。その頃はまだ4~5人しか社員がいない状態で、タスクの粒度も粗く、いくつかのタスクは各人の能力に委ねたものでした。しかし10人を超えて関わる人が増えたあたりから、仕事の進め方も徐々に変わり、ワークフローの綻びも色々と出始めてきました。そこで今年の春に、全社員参加のもと、これまでの進め方の問題点を話し合ったうえで、ワークフローの大幅な刷新を行いました。本エントリーはそのご紹介です。 刷新にあたって、受注から納品までをサブタスクを含めて約140に分解しました。また、各タスクで用いられるドキュメントもできるだけフォーマット化し、効率よくドキュメントワークができるようにしました。 合わせて、タスク毎の職能の再定義を行いました。プロデューサー、ディレクターといった業務範囲が曖昧な職能は、より厳密な職能の定義を試みました。例えばディレクタ
WordPress.TVにアップロードされているWordCamp Osaka 2018のセッション動画をまとめました。
カスタムフィールド職人の朝は早い。前回に引き続き、Gutenbergのリリースに備える連載の第2回目となる今回は、このCapital Pで生まれた名言「カスタムフィールド製造業」に忙しく従事する職人のために、Gutenberg以降どのようになるのかを指摘しておこう。 エディターのない投稿タイプは動かない WordPressを激しくカスタマイズして利用する際、次のような設定で利用する方は多いのではないだろうか。 カスタム投稿タイプを作成し、supports => ['title', 'thumbnail'] といった具合に、エディターなしにしておく Advanced Custom Fieldsなどで大量のカスタムフィールドを登録する これにより、日付情報を持ったイベントページや、家賃・間取りなどの複雑な情報をもった不動産データベースなどを構築することができる。ビジュアルにすると次のような感じ
すべてのアプリやサービスが使えるコンプリートプランが初年度最大71%OFF。PhotoshopやPremiere Proの単体プランよりもお得に始められます。
こんにちは デザイナーのミライです。 ジャスの意味がわかるやつは大体友達。 今回はデザイナーにオススメしたいChrome拡張機能を紹介します! みなさんの日々の業務が、便利なツールで心地よくなりますように。 ※ 導入方法や詳細な使用方法などは、本記事では割愛させていただきます。 01.デザインに役立つやつ Muzli 2 – Stay Inspired デザイン系の情報を集めるならMuzliです。「新しいタブ」で Muzliを毎日見ていればトレンドを追い続けることができそうですね。「dribbble」「Award系のサイト」「クリエイティブ系のブログ」などからの情報が表示されています。 Chrome ウェブストア 提供サイト ColorZilla サイトから色を抽出できる、カラーピッカーです。 抽出しヒストリーを保存してくれたり、1箇所だけでなくページ全体から抽出できる機能があったりして、
ホームページやECサイトなどを運営している方にとって、無料でアクセス解析ができる「Google アナリティクス」は必須のツールです。ホームページのボトルネック発見と改善のため、毎日チェックしている方も多いのではないでしょうか。 デフォルトでも非常に便利なGoogle アナリティクスですが、同じくGoogleが提供しているサービス「Google スプレッドシート」と連携するとより便利に効率よく使用できます。 そこで今回は、Google スプレッドシートとGoogle アナリティクスを連携して効率よく解析するため、Google スプレッドシートのアドオン「Google Analytics」の基本的な使用方法を紹介します。 アドオン「Google Analytics」とは Google Analytics - Google スプレッドシート アドオン アドオン「Google Analytics」
Mozファンのみんな、こんにちは。ホワイトボード・フライデーにようこそ。今回は、いくらか気がかりな問題についてお話ししよう。それは、グーグルがオーガニック検索トラフィックを排除しようとしているなかで、僕たちはSEO担当者としてどうすればいいのか、という問題だ。 グーグルが登場してからこれまでの19~20年間、グーグルは前年比で毎月、より多くの検索ボリュームを生み出し、より多くのオーガニック検索トラフィックを送り込んできた――少なくとも季節調整済みベースでは。したがって、着実に登り坂で来たわけだ。 グーグル検索では常に機会が拡大してきたのだが、それが最近、一連の動きによってその傾向が変わった。 その理由は、グーグルが市場シェアを失っているからでも、ユーザーの検索ボリュームが減少したからでもない。グーグルがSEOをはるかに難しくする動きに出ているからだ。 いくつかの恐ろしいニュース「グーグルが
保守しやすく、規模に依存しないHTML文書のために 一般 DOCTYPEで始める 置き換えられるべきまたは旧式のDOCTYPEを使わない XML宣言を使用しない 文字参照はできる限り使わない &と<、>、"、'は名前文字参照を使ってエスケープする 制御文字や不可視文字は数値文字参照を使う コメントではその内容の前後へ空白文字を置く 終了タグを省略しない 空要素の書き方を混ぜない タグや属性値の前後へ空白文字を置かない 大文字・小文字を混ぜない 引用符を混ぜない 属性を2文字以上の空白文字で区切らない 真偽値を取る属性の値は省略する 名前空間は省略する XML属性は使わない data-*とMicrodata、RDFa Lite用の属性と通常の属性を混ぜない デフォルトの暗黙のARIAセマンティックスを尊重する 文書要素 lang属性を追加する lang属性の値はできる限り短くする できる限り
正しく知れば怖くない GDPRの基本と対策のポイントをIIJが解説:“日本が知らない”海外のIT(番外編)(1/5 ページ) 2018年5月25日、欧州連合(EU)がGDPR(一般データ保護規則)を施行した。General Data Protection Regulationの頭文字をとってGDPRと呼ばれるこの法律は、企業による個人データの取得利用を規制するもので、16年に欧州議会で可決され、2年間の猶予期間を経て、今回の施行となった。 全99条の条文と173項目の前文で構成。EU域外へのデータ移転を原則認めない、規約に違反すると制裁金2000万ユーロなど、センセーショナルな部分はよく聞こえてくるが、なぜビジネス活動に影響するのか、そもそもGDPRとは何か、なぜ立法されたかなどの背景はなかなか見えにくい。 さらに、対象は企業だけなのか、そこには個人事業も含まれるのか、企業の規模ではなくビ
iOS 8の頃より見かけるようになった新しいモーダルビューの形態と、その設計思想、UI としての使われ方について考察します。この新しいモーダルビューのことを私は他のモーダルビューと区別する意味合いで「半モーダルビュー(Semi-Modal View)」と呼んでいますが、実際にガイドライン上でそのような定義がされているわけではありません。「ハーフモーダル」という呼び方も耳にすることがありますが、私は後述の理由からこの呼び方は推奨していません。 今回はパターンとしてあえて区別することで他のモーダルビューとの違いを明確にし、その特徴や仕組み、正しい設計とはどのようにあるべきかを理解しやすくすることを目指します。なお、2019年版のHIG(すなわちiOS 13対応版)からはモーダルビューのスタイルの一つとして Sheet の記述が現れるようになりましたが、今回は Sheet スタイルに限らずもう少
チャートやグラフを実装するのは面倒、と思われがちですが、そんな人にはこのスクリプトをお勧めします。 div要素一つと外部ファイルを一つ、あとはグラフのデータを設定するだけで、さまざまなチャートやグラフが簡単に実装できてしまう単体のJavaScriptライブラリを紹介します。 レスポンシブ対応で、アニメーションにも対応、カラー変更やグラデーションやパターンにも対応している優れものです。 ApexCharts ApexCharts -GitHub ApexChartsの特徴 ApexChartsのデモ ApexChartsの使い方 ApexChartsの特徴 ApexChartsはシンプルなAPIを使用して、インタラクティブなチャートやビジュアライゼーションを作成するためのモダンJavaScriptのチャート作成ライブラリです。 MITライセンスで、個人でも商用でも無料で利用できます。 レスポ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く