【Python】HeadlessChromeに代わるクロール用ブラウザSplash - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
scrapy + splashで店舗の緯度経度情報を収集する② - Qiita
１．はじめに 前回に引き続き、店舗の緯度経度情報を取得します。 今回はMapion電話帳からチェーン展開している企業の店舗情報を取得します。 汎用性を持たせるため、scrapy実行時に引数で以下項目を渡せるようにしています。 ・genre：ジャンルID ・category：カテゴリID ・chain_store：チェーン展開企業ID 例えば、餃子の王将の場合、以下のようになります。 genre=M01(グルメ)、category=002(ラーメン・餃子）、chain_store=CA01(餃子の王将) ２．実行環境・環境構築 実行環境・環境構築は前回と同じ。 ３．scrapy item.py、setting.pyの設定も名称/取得項目以外、前回同様なので割愛。 チェーン店舗のトップページ（例）に店舗一覧が載っています。 ただし、このページからは緯度経度情報を取得できないため、各店舗のlin
[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita
FAQにも記されていますが、 non-working localStorage in Private Mode. This is a common issue e.g. for websites based on AngularJS. If rendering doesn’t work, try disabling Private mode (see How do I disable Private mode?). Splashはデフォルトでプライベートモードで立ち上がるらしく、プライベートモードだとlocalStrorageが正常に動作しない場合があるよと、、 私は後述するサイトのレンダリングが当初一向にされなかった（＝JavaScriptのコードが未解釈だった）ので--disable-private-modeオプション付でdocker runを行ったところ、キチンとレンダリングされる様
![[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c277ac0e33ed0c5a2414822d9e940ba7a1679d5d/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-1150d8b18a7c15795b701a55ae908f94.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTM4MCZ0eHQ2ND1XMUI1ZEdodmJsM2pnNWpqZzRQamc0bmpnNnpqZ3Juamc1YmpnNm5qZ3FiamdyWlRjR3hoYzJqamdhamxoYkhqZ2F2amdybmpncV9qZzZ6amdxVGpnNVRqZzdQamdyRGpncExqZ1pmamdaX2pnNkhqZzZJJnR4dC1jb2xvcj0lMjMzMzMmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTQmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWNlbnRlciUyQ21pZGRsZSZzPTQ1OTFhNDEwZDJmMmI2MzMxZWZmYjQ3NDVmNzI4MmZm%26mark-align%3Dcenter%252Cmiddle%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTUwMCZ0eHQ2ND1RSEJ5Y3kxM1lYUmphQSZ0eHQtY29sb3I9JTIzMzMzJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTQ1JnR4dC1hbGlnbj1yaWdodCUyQ2JvdHRvbSZzPTg4OGJjYThhMDY4MTZkNmY4OGIyYzFkZGJkNTlhZmEw%26blend-align%3Dcenter%252Cmiddle%26blend-mode%3Dnormal%26s%3D3b57bb249b18f203e45b54d9fdecc0e7)
JavaScript 検索文字列を全て置換する【replaceAll, split join】
replaceは最初の検索文字しか置き換わらない replaceメソッドを用いた標準の方法では、一番最初にマッチした文字列のみが置き換えられます。replaceFirst的な挙動ですね。 "a b c".replace(' ', '-') // "a-b c" JavaScriptで文字列を全置換する方法 JavaScriptで文字列を全置換するには、正規表現を用いるか、split join メソッドを組み合わせるテクニックを用いる必要があります。 "a b c".replace(/ /g, '-') // "a-b-c" "a b c".split(' ').join('-') // "a-b-c" 前者がreplaceAll処理に相当する「# 正規表現で文字列を全て置き換える」方法です。 後者は「# split と join で文字列をすべて置換する」テクニックです。 より確実でオスス
document.querySelectorAllでmapやfilterを使う方法 - Qiita
document.querySelectorAll(selectors) を Array.prototype.slice.call() ([].slice.call()) の中に入れると、配列で使える map や filter といったメソッドが使えるようになるようです。 サンプル 例として、Qiitaの人気の投稿Beta にある記事のタイトルをコンマ区切りでアラート表示するブックマークレットを作ってみました。 以下のコードをQiitaの人気の投稿Betaを開いている状態でブラウザ上のアドレスバーに貼り付け(貼り付け時に先頭の javascript: が消える場合は javascript: を追記してください)してからEnterキーを押すと実行できます。 ES2015の記法(アロー関数等)は用いていないので、Internet Explorer 11でも動作します。 [].slice.cal
Nuxtとfirebaseによるサービス開発から100人の初期ユーザーの獲得までにやったこと - Qiita
都内でサーバーサイドエンジニアをやっている山下です。 webサービスを作るのが好きで、個人でもいくつか開発をしています。 先日Nuxtとfirebaseを使った個人サービスをリリースしたので、開発から初期ユーザ獲得までに行ったことをまとめておこうと思います。 作ったサービス 行きたい場所への同行者を募集するwithruitを作りました。 もしよかったら、使ってみてください！！ 個人サービスなので、もしかしたらバグがあるかもしれません、、。 その際は、お問い合わせフォームから優しく連絡いただけるとありがたいです。 機能一覧 withruitには様々な機能があるのですが、大体がfirebaseを使って実装されています。 今回は、以下の機能について自分がfirebaseでどのように実装したのかを書いていこうと思います。 facebookログイン 投稿（画像アップロード） お問い合わせ 通知 それ
インターン生がVueのテストコードをJestで書いたら5000行になった話。 - Qiita
ある日CTOから僕に勅命が下りました。 テストコードを作成せよ... と、 環境はVue + Jestということで色々調べてみたものの、種類が多すぎる... ・https://vue-test-utils.vuejs.org/ja/guides/ ・https://lmiller1990.github.io/vue-testing-handbook/ja/#vue-js%E3%83%86%E3%82%B9%E3%83%88%E3%83%8F%E3%83%B3%E3%83%89%E3%83%96%E3%83%83%E3%82%AF ・https://jestjs.io/docs/ja/testing-frameworks どれみればええねん。 すでにJest-test-Vueのようなライブラリが入っていたのでこれを使うことにしました。 要件の設定 とりあえず、動くテストコードをとのお達しを受
Nuxt.jsの新規プロジェクトでいい感じのテスト環境をつくる@2018 - Qiita
最新版=>フロントエンドのテストについて考える 現在、新規プロジェクトで、Nuxt.js+TypeScriptを使ったSPAの開発を行っています。この記事では、そういったケースにおいての、Nuxt.jsアプリケーションでのテストに対する考え方と、その方法を紹介します。 TL;DR ユニットテスト/結合テスト=>Jest UIテスト=>Storybookをベースに、Jestで足りない部分を補う プロジェクトの技術スタック Nuxt.js Vue.js Vuex TypeScript Docker テスト種別の整理 簡単に、今回登場するテスト種別の整理をしておきます。より詳しくは、ググったり書籍を読んだりするのをおすすめします。 ユニットテスト - 個別の関数やクラス、コンポーネントをテストする。 結合テスト - 複数の関数やコンポーネントをつなぎこんでテストする。 UIテスト - ブラウザを
eslint-plugin-vue を作っている話 - Qiita
4日朝に Vue.js #1 アドベント カレンダーを見たら3日のぶんが空いていたので急遽書きました。 私は .vue ファイルを静的検証するための ESLint Plugin を開発しています。 eslint-plugin-vue ( ESLint についてはこちら: ESLint 最初の一歩 ) このプラグインを使うと、.vueファイルのテンプレート部分について、リアルタイムで構文エラーを検出したり、v-bind 等のディレクティブの使い方が間違っていたときに指摘してくれたりします。また、公式の Vue.js スタイルガイド に沿うように自動成形することもできます。 🏃 試してみる eslint-plugin-vue を簡単に試してみるために、オンライン デモがあります (1度アクセスすれば、以後はオフラインでも使えます)。ここでコードを入力して、どのようなエラーが出るのか、どのよう
俺の最強検索ツール（ブックマークレット）を見てくれ！！ - Qiita
検索する対象のサイトが多いんじゃあー！！ 技術系の記事を読みたい時はQiita、買い物をしたい時はAmazon、場所を調べたい時はGoogleMap 検索しなくちゃいけないサイト多くない！？ Googleの検索窓から直接調べたいキーワードを打てばある程度、調べられるけどもっと細かく調べたいんじゃあ！！ 特定のサイトの中だけを検索したい時ってありますよね？ いちいちサイトに遷移して検索窓にキーワードを打つのがめんどくさい どうすればいいのだ？ ChromeにはOmnibox（アドレスバー）の機能に検索エンジンを切り替えて検索することができる機能があります。 ※規定の設定だとGoogleになっています。 Omniboxに検索エンジンの設定をすることでGoogle以外から検索することができます。 興味がある人はぜひ調べて見て下さい！！ OmniBoxは良さそうだが、検索エンジンの設定はものすごく
vue.jsのDjangoでの使い所 - Qiita
vue.jsのDjangoでの使い所 私がつくっているあるアプリではDjangoにバックエンドで使っていますが、フロントエンドはページによってreactとvueを使い分けています。それぞれに長所があると思って両方使っているのですが、今回はvueの話をします。 vueはreactに比べて柔軟な使い方ができる印象です。Django(APIではなくテンプレート)が吐き出したデータを受け取って要素をつくるような書き方ができます。そしてその結果感動するほどHTMLがすっきりするのです!! DjangoとVueを一緒に使う DjangoにVueを組み合わせる方法については私のを含め下記の記事が参考になるでしょう。 Django + Webpack を使ってVueを動かす Django REST framework with Vue.js Django + Vue.js な開発環境を作ろう コード 例え
89b18c608dc7dd2b946b
なにをしたいか フロントエンドにはVue.jsを用いたシングルページアプリケーションを、バックエンドにはDjangoとDjango REST frameworkを使ったWeb APIを用意して、組み合わせてみます。 先駆者様が既にいらっしゃいますが、ちょっと異なるアプローチを試したので記事にしました。 Django + Webpack を使ってVueを動かす Django REST framework with Vue.js どうやって？ Djangoプロジェクトでは通常htmlファイルはテンプレートとして解釈されてレンダリングされますが、そのテンプレート構文がVueと丸かぶり。そのためにVue的なテンプレート構文を持ったhtmlはDjangoテンプレートと共存できません。 そこで、webpackを利用してフロントエンドをVueの単一ファイルコンポーネントに分割しながら書いていくことでこの
Vue.jsでSSR（サーバサイドレンダリング）する - Qiita
Vue.jsでSSR（サーバサイドレンダリング）する はじめに この記事はなにかの Advent Calendar 2016の23日目の記事です. Vue.jsは２系がリリースされてそこそこたちました. 日本語ドキュメントもそろっています. フロントの取りかかりとして簡単でスケールもしやすく良いのではないでしょうか. そこで今回はVue.js２系の大きな特徴であるサーバサイドレンダリングを行ったアプリケーションの制作をしてみたいと思います. 最終的に APIコールをして動的ページのSSRを行う 初期表示以後はSPAとして動く こんなアプリケーションを目指します. 完成版は以下です ソースコード Github 使う物 vuejs vue-router vuex このあたりを使います. 詳しくはソースコードのpackage.jsonを... Step1 静的ページのSSR さぁ作成していきます
Vue.jsミニハンズオン（TODOリスト作成） - Qiita
Vue.jsミニハンズオン（TODOリスト作成） AngularでもReactでもriot.jsでも満足できなかったひとに、ぴったりフィットなJSフレームワーク「Vue.js」のざっくりハンズオンです。 このハンズオンではnode.jsのパッケージは使わず、Google ChromeとテキストエディタがあればOKです。 Vue.jsミニハンズオンのシリーズは以下を公開しています。 Vue.jsミニハンズオン（TODOリスト作成） Vue.jsミニハンズオン（TODOリストにアニメーションをつける） Vue.jsミニハンズオン（TODOリストをコンポーネント化する） 今回の目標 目標はシンプルなTODOリストの作成です。 WebStorageに保存してリロードしてもデータを保持できるようにしてます。 Chromeの拡張機能を入れる デベロッパーツールでデータを見やすくするためChromeの拡
iPadでプログラミングしてる人、今まで馬鹿にしててすみませんでしたァァァァ!!!! - Qiita
こちらの記事内容は3年以上前のものなので、記事内にあるアプリケーションなどの動作やUIは実際と異なる可能性があるのでご注意ください。 (2023/01/04追記) iPadでプログラミングwwwアホちゃうかwww ワイ「え？お前全部iPadでプログラミングしてんの？そんなん効率悪いに決まっとるやんw」 ワイ「せいぜいでっかい画面でGithubのコード眺めるくらいしかできないやろwてかハイライトすらないんじゃn」 ?!(Monokaiで表示されとるやんけ...) ワイ「おっ、おう。シンタックスハイライトくらいはできるんやな。」 ワイ「まあ、考えてみればそのくらいは余裕だわなwでもな〜wコードだけ書けてもプレビューは？流石にそれが出来ないことには使えるとはいえn」 ?!?!(localhostで立ててくれるんか...これならCDN使えば簡単なサイトくらいやったらiPadだけで楽に作れるやんけ.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特定の文字列を全て置換する[Javascript] - Qiita![特定の文字列を全て置換する[Javascript] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b7c360c8d6f9e5efc97f32442c0ff046b1c722d2/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMuZ2l0aHVidXNlcmNvbnRlbnQuY29tJTJGdSUyRjE2OTY3MTIxJTNGdiUzRDM_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPWFmNWUxNDE2NzMyYTUxMTA4NWI3MTU2NzgyMGI2Mjcy%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D09eef6a34f2b3c8a982ed7cb9a0dbfe5%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUU3JTg5JUI5JUU1JUFFJTlBJUUzJTgxJUFFJUU2JTk2JTg3JUU1JUFEJTk3JUU1JTg4JTk3JUUzJTgyJTkyJUU1JTg1JUE4JUUzJTgxJUE2JUU3JUJEJUFFJUU2JThGJTlCJUUzJTgxJTk5JUUzJTgyJThCJTVCSmF2YXNjcmlwdCU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTk3NjhlMWFjNDA1NjI2ODVkNzcyNGExYmVmNWY0NzUy%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBEZWNvcmF0ZWRLbmlnaHQmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz1jYmNhYjZmNzRhMjYxZDNkYjAxY2U4N2ZmYmMyNmM2OQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D887f02d935d37cb9c26bc58dc51ef383)
JavaScriptで中規模開発を行うためにTypeScript3（とYarn, DefinitelyTyped, Jest, CircleCI）を導入する - Qiita
Vue で地図を表示する無料で最短の道 - Qiita
Django REST framework with Vue.js - Qiita
Django + Webpack を使ってVueを動かす - Qiita
