Selenium で youtubeからサムネイルと動画キャプチャを取得する - YRen-LaB
経緯 趣味でモザイクアートをPythonで作成するプログラムを書いていて、素材が大量に必要になった。 元画像はとあるVtuberのものを使用する気でいたので、どうせならその人のサムネとキャプチャで 作成すると思った。 でも手で毎回キャプチャするのは論外として、Bandicamのようなツールを使おうとしても毎回動画を 切り替えるのもめんどくさい。 なら自分で作るかという経緯。 処理の流れ 対象youtube の動画一覧ページのURLをinputとして渡す 例）https://www.youtube.com/channel/xxxxxxxxxxxxx/videos 下にひたすらスクロール。上記URLでは下にスクロールしないと古い動画が表示されない。 そのため新しい動画が表示されなくなるまでスクロールを続ける 1.全動画のサムネと動画へのURLを取得する この時のサムネの画像サイズは336×18
PHP – DOMを使ったスクレイピング | memorandum-plus
PerlやPythonでWebスクレイピングをやったことはあったのですが、今回PHPで初めて使ってみたので、使った内容を備忘しておこうと思います٩( ‘ω’ )و DOMDocumentクラスのインスタンス生成 最初にDOMDocumentクラスのインスタンスを生成して、 スクレイプしたいWebのhtmlを読み込ませます 試しに当ブログの最初の記事をスクレイプしようと思います $url = 'http://memorandum-plus.com/2018/01/15/sql%E3%81%AE%E5%9F%BA%E6%9C%AC%EF%BC%88update%E3%80%81insert%E3%80%81delete%EF%BC%89/'; $html = file_get_contents($url); $dom = new DOMDocument; //インスタンス生成 @$dom->l
PHPネイティブのDOMによるスクレイピング入門 - Qiita
はじめに 淫夢要素はありません。 Simple HTML DOM Parser や Goutte の使い方は至る所で説明されていますが、PHPネイティブのDOMに関しての記事がかなり少ないので書いてみることにします。 ちなみに… Simple HTML DOM Parserは内部で何回も正規表現を使って全ての要素をパースするので、かなり遅いです。これ使うぐらいなら最初から自分で正規表現一本で書いたほうがマシ。自分で正規表現を使って必要部分だけを抜き出す方法は、全ての方法の中で最も高速なので、正規表現が得意な人だったらこれでもいいと思います。 Goutteは内部でPHPネイティブのDOMを使ってます。PHPネイティブのDOMはDOMとして読ませる方法の中では最も高速なので良い方法をチョイスしていることになるのですが、そもそもGoutteに頼らなくてもそれなりに十分やっていけます。何より依存フ
PHPでHTMLを簡単に解析できるDOMDocument
単純作業って嫌ですよね。 たまには良いんですよ、たまには。頭の中をからっぽにして音楽聴きながらExcelにデータを打ち込むとか、まぁまず二度は入力しないだろうって作業なら我慢して出来るんですけど、毎日どこそこのページをチェックして、データをコピーして貼り付け、とか考えただけで鬱になりそうです。 その昔、ネットゲームの攻略情報サイトを制作／運営していまして、公式サイトからのサーバーメンテナンスのお知らせとか、自分のサイトにもリンク貼って告知していたわけです。 当時、これを何とか自動化できないかなと思って、PHPのfile_get_contents関数を使ってHTMLを読み込んで、お知らせのあるULタグを見つけて、日付っぽい文字列とリンクっぽい文字列を見つけて、アレやコレやいじくってと、だいたい100行くらいのPHPスクリプトで実現できました。 一緒にそのWebサイトを作っていた人たちもいるの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スクレイピングをPHPでする方法とは？～初心者でもできるサンプルコード付き～ – PigData | ビッグデータ収集・分析・活用ソリューション