Goutteを使ってログインしてスクレイピングする - Qiita
やること ログインが必要なサイトにログインして、ログイン後のページでcsvファイルダウンロードを自動で行う。 自分について スクレイピングといえば、javascriptでやる人 casperかnode.jsのcheerio-httpcliを使うことがほとんど 使うライブラリ Goutte Goutteの準備 ここ参照。 composerが使えれば、composerで。 使えない場合、phpのバージョンに合わせてpharファイルをダウンロードしときます。 呼び出しは下記のとおりです。 require_once __DIR__ . "/goutte-v2.0.4.phar"; // pharを使用する場合 // require_once __DIR__ . "/vendor/autoload.php"; // composerを使用する場合 use Goutte\Client; Goutteが
Laravel初期設定でやりがちなミス
PHPフレームワークLaravelでよくやりがちなミスを備忘録としてメモしていきます。 データベースに接続できない エラーメッセージ Illuminate\Database\QueryException SQLSTATE[HY000] [1045] Access denied for user 'homestead'@'localhost' (using password: YES) (SQL: select * from `articles`) 原因 データベースに接続しようとしたがアクセスが拒否された。データベースに接続する際は接続するデータベース名、ユーザ名、パスワードが最低でも必要だがこれが不足もしくは誤っている。 対処方法 config\database.phpの設定を確認する必要がある。特に、下記コードのXXXのあたり。 'database' => env('DB_DATABA
PHP: mb_convert_encoding - Manual
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
無料＆商用利用可能！CGI、PHPのメールフォームまとめ | まめー
Webサイトにおいて、お問い合わせフォームやアンケートフォームを作る機会は多いでしょう。 フォームは一般的に、CGIやPHPのようなプログラム言語で作られ、ゼロから作るとなるとデザイナーやコーダーのようなWeb制作者は、ちょっと苦手だったりましますよね。 そんな時に重宝するのが、素晴らしき技術者によって提供されている無料＆商用利用可能なメールフォームです。 htmlとcssの知識があれば、容易にデザインをカスタマイズしてサーバーに設置できます。 今回は、そんなサーバー設置型のメールフォームをCGI版とPHP版に分けてまとめました。 サーバーや要件によって、使えるものとそうでないものがあると思います。いろいろと試してみてください。 ※無料＆商用利用可能でも、著作権者表示が必要なものもあります。 ※自動返信、確認画面、入力必須設定、デザインカスタマイズなど、基本的な機能はどのフォームにも付いて
for文
繰り返し処理では条件式を評価して繰り返しを継続するかどうか判別します。条件式には色々な条件を記述することができますが、決められた回数だけ繰り返すといった処理は多く使われます。例えば次の例を見てください。 この例では変数「count」を使って繰り返しを制御しています。その為に、変数の初期化、変数を使った条件式の記述、ブロック内で変数の増加、と変数「count」に関してあちこちに記述がされています。 このように変数の値を同じように変化させていき条件式で評価する場合にはfor文を使うとより簡潔に記述することができます。for文に書式は次の通りです。
PHP関数 - 指定した文字列以降の文字列を取得 - strstr()、strchr() - mb_strstr() - PHP入門 - Webkaru
プログラミング言語PHPで、文字列から指定した文字列を検索し、その文字列以降の文字列を取得する関数 strstr()、strchr()とマルチバイト版のmb_strstr()を紹介します。 strstr関数、strchr関数 string strstr ( string $haystack , mixed $needle [, bool $before_needle ] ) 文字列から指定した文字列を検索し、指定した文字列以降の文字列を取得します。 strchr関数は、strstr関数のエイリアスです。文字列がマルチバイト文字を含む場合は、後述のmb_strstr関数を利用します。 引数 $haystack 検索対象の文字列を指定します。 $needle 検索する文字列を指定します。 $before_needle trueを指定した場合、指定した文字列より前の文字列を取得します。 指定しな
PHPで自動でサイトマップを作成するスクリプト XML Sitemap PHP script と 検さぽのサイトマップ自動生成ツール | 9ineBB
HOMEWEB制作系コード・プラグインPHPで自動でサイトマップを作成するスクリプト XML Sitemap PHP script と 検さぽのサイトマップ自動生成ツール ちょうど静的なHTMLのサイト(一部PHPでインクルード)を使ったサイトを作っていて、CMSみたいにプラグインで動的にサイトマップを作れたらいいなっと思って調べてみたら 2つのPHPでそれを実現するスクリプトを見つけました。 PHPで動的に自動でサイトマップを作るスクリプト ひとつは Joost de Valkさんの XML Sitemap PHP script ひとつは 検さぽさんの サイトマップ自動生成ツール この2つを見つけました、両方ともちゃんと使えました この際なので両方の使い方を紹介します XML Sitemap PHP script の使い方 ファイルをダウンロード https://yoast.com/xm
fputcsv関数を覚える！PHPでCSVファイルを出力する方法【初心者向け】
fputcsv関数を覚える！PHPでCSVファイルを出力する方法【初心者向け】 プログラミング初心者向けにPHPでCSVファイルを出力する方法について解説しています。fputcsv関数を使ってCSVファイルを出力する流れを実際にソースコードを書きながら説明しているので、ぜひ参考にしてみてください。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査 PHPでCSVファイルを出力する方法について、テックアカデミーのメンター（現役エンジニア）が実際
empty - 変数が空かどうかを調べる - PHP図書館
empty(変数) 変数が存在するかどうかを調べます。 変数の値が0や空文字の場合にTRUEを返し、それ以外の場合はFALSEを返します。 未定義及びNULLの場合もTRUEを返します。 関連タグ判定サンプルスクリプト <?php //変数が存在するかどうかを判定する $ex = "PHP図書館"; if (empty($ex)) { echo "通常：TRUE<br />"; } else { echo "通常：FALSE<br />"; } //変数の中身が空文字の場合 $ex = ""; if (empty($ex)) { echo "空文字：TRUE<br />"; } //変数の中身が0の場合 $ex = 0; if (empty($ex)) { echo "0：TRUE<br />"; } //変数をunset()関数で破棄した場合 unset($ex); if (empty(
今更ながらPHPでスクレイピングをしてみる - Qiita
以前は、PHP Simple HTML DOM Parserってのを使っていましたが、久しぶりに調べてみると、phpQueryというのがあるようなので、それを使ってみる。 オリジナルのものはここからダウンロードできるようです。 が、しばらくメンテされてないようです。ForkしてComposerに対応したものもあるようです（試してません）。 なお、あまりTableを対象としたサンプルが無かったのでテーブルのスクレイピングを中心に書きます。 シンプルなデモ このようなHTML(test.html)があるとすると、 <!doctype html> <html> <head> <title>scraping test</title> </head> <body> <h1>hoge</h1> <!-- table1 --> <div id="greeting">Hello</div> <table>
PHPで文字コードを変換する方法：mb_convert_encoding
複数のファイルやWebページなどでさまざまな文字コードが混在するケースというのは現在でもよくあることです。そのような場合、文字コードの変換が必須になります。文字コードの変換をPHPで行う方法を見ていきます。 文字コードの変換を行う関数 文字コードの変換を行う関数は mb_convert_encoding です。
サイトマップ（xml）からページの URL 一覧を取得する方法（PHP） | Design Hack and Slash
自分で自分のサイトの記事ページ（URL）一覧を取得したいとき、どうすれば一番楽でしょう。サイトが WordPress なら、データベースにクエリを投げるのも良いですが、もう少し汎用的で、もう少し楽な方法を考えました。そうだ、サイトマップ（xml）って まさしくページ URL の一覧ではないですか。 サイトマップ（xml）の構造 これは実際に見てみるのが早いですね。当サイトのサイトマップは WordPress SEO by Yoast プラグインで生成していますが、フォーマットは世界標準です。記事（post）のサイトマップは以下のような感じです。 sitemap.xml（抜粋） <urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:image="http://www.google.com/schemas/sit
PHPでサイトマップを作る方法
WordPressやレンタルブログなどでウェブサイトを運用している人は、用意されているプラグインなどで、お手軽にサイトマップを作成できることと思います。しかし、独自にウェブサイトを構築している人は、独自に作成しなければいけません。今回は、PHPでサイトマップを作成する方法を解説します。 今回は、1ページ最大50,000件まで収録する子ファイルと、子ファイルをまとめたターミナルとなる親ファイル、2種類のサイトマップを作成します。Googleなどの検索エンジンには、後者の親ファイルの方のみを送信すれば大丈夫です。 次のファイル構成で作成されます。sitemap-0.xmlが50,000件の収録を超えたら、次のsitemap-1.xmlのファイルが自動的に作成され、これらをまとめた親ファイルが、sitemap-index.xml)です。なお、子ファイルが1つだけの場合は、sitemap.xmlと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LaravelでCould not open input file: artisanって言われたら - Qiita
PHPで指定日からの経過年数を求める - 北海道苫小牧市のホームページ制作 STUDIO KEY