Puppeteerでスクレイピング | きるこの日記帳
静的サイトから 30 ページぐらいのテキストを抽出して json にしたかったため、 Puppeteer でスクレイピングをすることにした。 なぜPython3 + Selenium + BeautifulSoupじゃないのか このブログがフロントエンドの備忘録のため。 Puppeteerとは https://github.com/GoogleChrome/puppeteer Chrome / Chromium を動かす Node のフレームワーク。 デフォルトは Headless（GUI を持たず、コマンドで操作できる）で、ブラウザを出しての操作も可能。 インストール てきとうなプロジェクトを作成し、Puppeteer をインストール。 const puppeteer = require('puppeteer') (async () => { const browser = await
即時関数(function(){ ... })()の別の書き方いろいろ - 泥のように
JavaScriptでよく使われるコード片に即時関数というものがあります。無名関数を宣言して即実行することで、ブロックスコープの存在しないJavaScriptにおいて擬似的にブロックスコープを再現します。 var a = "global"; (function(){ var a = "local"; alert(a); //local })(); alert(a); //global 一番有名なのはこの(function(){ ... })()の形式なのですが、なぜfunctionの外側にカッコが必要なのか不思議に思ったことはないでしょうか？ ためしにfunction(){ ... }()と書いてみると、Syntax Errorが発生します。 なぜfunction(){ ... }()はSyntax Errorなのか JavaScriptにはfunction文とfunction式があって、
AutoHotkeyの使い方1
B! 34 0 0 0 AutoHotkeyの基本的な使い方についてと、 自分が詰まったところについてのメモ。 取り敢えず、基本的なキー設定方法等。 設定ファイル キー設定の基本 フック 修飾キー、ワイルドカード、パススルー 複数キー同時押しに割り当て 設定重複 コメント 大文字小文字の区別 設定ファイル 起動するとタスクバーにアイコンが出るので、右クリックからEdit This Script を選ぶと設定ファイルをメモ帳などで開いて編集できます。 設定ファイルはホームディレクトリ以下のDocuments\AutoHotkey.ahk 等になります。 または、別途設定ファイルを作り、AutoHotkeyで開けばそのファイルの設定を 使ってAutoHotkeyを起動します。 キー設定の基本 キーバインドは::を挟んで先に入力キー、右にアウトプットを書きます。 単独のキーバインドの場合は a:
【jQuery】input要素のname属性値にブラケット[]が使われているとき - Tomcky's blog
<input type="text" name="foo[]"> こんな感じの要素をjQueryでセレクタ指定したいとき、 $('input[name=foo[]]') ではダメ。 ダブルクォーテーションで囲うか、 $('input[name="foo[]"]') バックスラッシュを2つをブラケット [] の前に付ける。 $('input[name=foo\\[\\]]')
![【jQuery】input要素のname属性値にブラケット[]が使われているとき - Tomcky's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/22cee6e8c9254126c3ce81138bf721ceb917bdbc/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704830469095764139%2F26006613536301225%2F1584925746)
JavaScriptでiframe内のDOM要素を取得したり操作する | オウンドメディア | 大阪市天王寺区ホームページ制作｜合同会社デザインサプライ-DesignSupply.LLC-
あまり使う場面はないと思うのですが、触る機会があったので豆知識的な感じで残しておきたいと思います。通常、iframeは外部のリソースを読み込むため、直接iframeのDOM要素にアクセスできません。そこでjavascriptを使ってifr…
クリップボードのデータを入力フォームに投入するブックマークレット - Qiita
やりたいこと SpreadSheetなどに書いたデータをコピーして入力フォームに流し込みたい。 流し込みたい対象の入力フォーム <html lang="ja"> <head> <meta charset="utf-8"> <title>clipboard test</title> </head> <body> <form action=""> <div>番号<input name="no"></div> <div>氏名<input name="name"></div> <div>よみ<input name="yomi"></div> <div>誕生日<input name="birthday"></div> </form> </body> </html> javascript:(function(){ navigator.clipboard.readText().then( clipTex
SoftEtherによる踏み台用VPNサーバーの構築手順 on IDCFクラウド CentOS 7 | 稲葉サーバーデザイン
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 はじめに インターネット上で公開しているサーバーの運用において、メンテンナンス用のSSHやWeb管理画面などのセキュリティ強化のため、アクセス元IPアドレスを自社ネットワークのアドレスに限定するケースは多いと思います。 そのような場合、自宅や出張先から、あるいは社外スタッフなど、登録されていないIPアドレスからメンテナンスのアクセスをしたいときはどうしたらよいでしょう。 そのために、 「（アクセス許可登録済みのIPアドレスをもつ）自社ネットワークにVPN接続してからサーバーにアクセスする」 というのはよくあるケースだと思います。 しかし、この用途のために、社外スタッフに自社ネットワークにアクセスさせるのは抵抗がある場合もあるかもしれま
あまり費用と労力をかけずにVPSにVPNサーバを立てる (SoftEther VPN) - Qiita
はじめに 大学のネットワークがあらゆる通信を規制しまくるので思うように研究ができない…まぢまんじぢゃん…(¿) ということでVPSにSoftEther VPNでVPNサーバを立てて規制を回避した話。 (大学によっては学内でVPNの利用を禁止しているところもあるので注意) 同じような記事はたくさんありますがSystemdじゃなくてsysvinit使ってたりしてたりGUIを使って設定できるのに説明がなかったり… なんやかんやでモヤモヤしたので自分なりの方法をまとめなおしました。 環境 VPS: ConoHa 料金自体安く、プリペイドでチャージできる使いすぎる心配がない。使った時間だけor月ごとの課金 VPNサーバ: SoftEther VPN ファイアウォールを貫通してくれる。つよい。(VPNの通信を448番ポートでやったり…) クライアントOS: Windows 10 サーバマネージャーとク
CentOS7にxrdpを導入しWindowsからリモートデスクトップで接続 - Qiita
CentOS7のGUI環境をWindows側からリモートデスクトップを用いて使用する方法です。 CentOS側にGNOME Shellが既にインストールされてる状態を想定しています。 インストール環境 Centos7：CentOS Linux release 7.4.1708 Windows：Windows 10 Enterprise xrdpバージョン：xrdp-0.9.4-1.el7.x86_64 Centos7側の設定（xrdpのインストール等） Windows側からリモートデスクトップ接続するにはCentOS側にxrdp, tigervnc-serverをインストールする必要があります。 また、それらのパッケージをインストールするには「エンタープライズLinux用拡張パッケージ」を利用する必要があります。 その拡張パッケージを利用するには epel-releaseをyumでインスト
スプレッドシートの『ARRAYFORMULA』関数を使って表示速度を高速化させよう！
「EXCELなんか無くなって、みんなGoogleスプレッドシートに移行すればいいのに」と、いつも本気で思っている、たぬ（@tanuhack）です！ はじめに問います。 「何百、何千、何万行に渡って、セルに関数を入力していませんか？」 実はこれ、ものすごくブラウザに負担をかけていて、スプレッドシートの『表示速度』や『関数の反映スピード』の遅延化に繋がっているんですよ。 なんとスプレッドシートには、この問題を回避する『ARRAYFORMULA』というすばらしい関数が用意されています。 [voice icon="https://tanuhack.com/wp-content/uploads/2016/07/pf.jpg" name="たぬ" type="l"]Googleって本当にすごいなあ。[/voice] そこで今回は、スプレッドシートの神関数の1つ、『ARRAYFORMULA』について紹介
vpn-ninja.net - このウェブサイトは販売用です！ - vpn ninja リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
VS Code ネタ詰め合わせ - Qiita
👻 ぷぇ 🍾🍾🍾 メリークリスマス！！！ 🎉🎉🎉 今年も残り僅かですが、皆様の今年の進捗はどうだったでしょうか？ 進捗ダメでしたか？ 私はと言うと今年も幸い GitHub で evergreen を達成できそうです。( 業務でこの GitHub アカウントは使用していないので、個人での Contributions のみです。 ) Visual Studio Code Advent Calendar 2019 の最後の記事ともなりますし、普段、特に Qiita ではあんまり記事を書かないのもあるので、 VS Code に関するいろいろなネタの詰め合わせをお送りします。 自分的に VS Code の二大拡張 ※ステマ注意 VS Code Tips 来年(2020年)の VS Code 余談: アイコン騒動、再び！！ 自分的に VS Code の二大拡張 ※ステマ注意 「もしも V
The DomCrawler Component (Symfony Docs)
Services Platform.sh for Symfony Best platform to deploy Symfony apps SymfonyInsight Automatic quality checks for your apps Symfony Certification Prove your knowledge and boost your career SensioLabs Professional services to help you with Symfony Blackfire Profile and monitor performance of your apps
Gitリポジトリを移行するには？ - どこでも見れるメモ帳
はじめに Gitホスティングサービスを、GitLabからBitBucketへ移行する必要があったのでメモです。 移行対象は、単純にリポジトリのみとします。*1 やりかた 1.移行先の空リポジトリを作成します。*2 2.移行元のリポジトリをベアリポジトリとしてクローンします。 git clone --mirror [移行元リポジトリのURL] 3.移行先のリポジトリをリモート(ここではdestination)に追加します。 cd [リポジトリ名] git remote add destination [移行先リポジトリのURL] 4.移行先リポジトリに反映します。 git push destination master git push --mirror destination 補足: 移行後に移行元のリポジトリにコミットしてしまったら？ あとから同期をとるには、次の手順を踏めばOK！ cd
Visual Studio Code で快適な PHP コーディングを行う - エレパ スタッフブログ
テーマを変更してシンタックスハイライトを使いやすくするシンタックスハイライトはデフォルトで備わっている。 ただしデフォルトのテーマ設定である Dark (Visual Studio) だと変数やメソッドの配色が他の文字と同じ白色で表示されていまい、とても見づらい。 そこでテーマを Dark+ (default dark) に変更する。 テーマの変更は Ctrl+K Ctrl+T と入力するとテーマ一覧が表示される。 あるいは Ctrl+Shift+P や F1 でコマンドパレットを開き、theme と入力して検索してもよい。 コードを補完させる VSCode はそのままでもある程度の補完機能を備えているが、あくまでも PHP の標準機能に関するものだけである。 実際に PHP でコーディングするのであれば、自作クラスやメソッドなども補完してほしいところ。 そこで、拡張機能の PHP Int
【Git 作業効率化 Tips】〜git addしてcommitしてpushするのが面倒な全ての人に捧ぐ〜 - Qiita
Githubが普及し、アジャイル開発やInfrastructure as Codeが当たり前になったいま アプリ開発者・インフラ開発者にとってgitは最も多く使われるコマンドのひとつではないでしょうか？ 私は仕事ではアプリ開発からインフラ管理まで多岐にわたっていろいろやってるんですが アプリもインフラも当然gitを使い倒してます 先日、自分がgitコマンドを１日どれくらい叩いているか計測してみました。 どうも最低でも100回/日はgitコマンドを叩いているようです。 gitコマンドを打ち込む作業やgitを使った作業フローを効率化できないかと思い、このTipsに残しています。 ※これは一例ですので、他の方がどのような工夫をしているのか気になります。「私はこんな風に効率化しています」などのコメントをいただければ幸いです。 本Tipsで紹介するテクニックは以下になります。 レベル1: 補完する
git pushで本番環境に“自動デプロイ”できる環境を作ってみよう！ | vdeep
こんにちは、okutani(@okutani_t)です。Gitを使えばかんたんにプログラムのバージョン管理をすることができますが、リモートにリポジトリをプッシュする機能（git push）を使えば「本番環境への自動デプロイ」がかんたんにおこなえる環境を構築することができます。 今回は一例として、僕のポートフォリオサイト（okutani.net）をGitで管理して、本番環境に自動デプロイできるようにする流れで解説しています。 次の環境でおこないます。 ローカルリポジトリ MacPC上で管理。 本番環境 エックスサーバーにリモートリポジトリを作成し、そこにプッシュすることで本番環境にデプロイできるように設定していく。 GitHub GitHubでも管理しているため、本番環境とGitHubへのプッシュを同時にできる設定もおまけで設定。 参考: GitHubのURL→「https://github
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How can I wait for network idle after click on an element in puppeteer?
googla apps script（GAS) セル内のリンクを開くコードが検索してもわからない
GASで指定したURLを別のウィンドウ（タブ）で開く