ちいさな Web ブラウザを作ってみよう
どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた
2021.02.16 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた WebサイトにIDとパスワードを入力するとき、ときどき「私はロボットではありません」にチェックを求められることがあります。 僕はロボットではないので、当然チェックを入れて認証を進めるわけですが……。でもちょっと待ってください。なぜクリックひとつで、人間かロボットかを判断できるんでしょう。 これはきっと、人間ではないなんらかの不正アクセスを防ぐ仕組みのはず。でもチェックを入れるくらい、プログラムを作ってなんやかんやすれば、シュッとできるのでは？ 「私はロボットではありません」は、どんな仕組みで人間とロボットを判別しているのか。もっといい方法はないのか。これまでの歴史的経緯も含め、情報セキュリティ大学院大学の大久保隆夫教授に聞きました。 気づかないうちに「人間かロボットか」
最近は営業力なくてもクラウドワークスのような便利なサイトで案件が受けれるようだ。 いざチャレンジ! １．まずは実績作りクラウドワークスデビューを果たしたいのだが、自分は実績が1件もないので料金は度外視して「何でもいいから1件実績を作る」という作戦に出てみた。 申し込みが少ない案件を探していると下記のような案件が見つかった 「自社のオリジナル販売サイトの商品ページを解析し、某大手ショッピングモールサイト3社に自動でアップロードするロボットプログラムの作成依頼」 （10,000円） ほう… 相場を分かっていないのか けっこうな難易度のシステムを1万円ぽっきりで依頼するとはなかなかの猛者だ。 だれも申し込みしていない案件かと思いきや、他にも数名の申し込みがあった。 大丈夫か？？こいつら？ ２．案件獲得交渉さっそく申し込んでみるのだが、1件実績を作るという目的を達成するためになるべく案件の獲得率を
「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天 “医療現場の声”励みにスピード公開
「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天 “医療現場の声”励みにスピード公開 新型コロナウイルス感染症の患者数や、感染者用の病床数などを都道府県ごとに表示した「新型コロナウイルス対策ダッシュボード」が、ネットで話題を呼んでいる。Twitterでは「病床の使用率が一目瞭然」「都市部の病床数がギリギリなのが分かる」と好評だ。Facebook上のシェア数は4000近くあり、開発者の福野泰介さんは「バグを疑ったくらいです」と驚く。 福野さんは、福井県鯖江市のソフトウェアメーカー「jig.jp」の会長を務める傍ら、東京都が開設した「東京都新型コロナウイルス感染症対策サイト」や、無償で提供されているオンライン教材やテレワーク用のサービスをまとめた「VS COVID-19 #民間支援情報ナビ」の作成にも携わっている。病床数に特化したサイトを作成した経
ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース
2022年2月24日にロシア軍がウクライナに侵攻しました． 3月7日現在いまだ侵攻は続いており，一般市民にも多くの死傷者が出ているということで早期の収束を願うばかりです． ロシア側はウクライナへの侵攻の正当性として，ウクライナ政権はネオナチ政権であるという主張をしているようです． プーチン氏は安全保障会議で「我々はまさにネオナチと戦っている」と述べ、ウクライナ政府側をネオナチ扱いした。 https://mainichi.jp/articles/20220304/k00/00m/030/061000c 日本のマスメディアでこの主張を入れているところはあまりないようですが，ソーシャルメディア上ではこの主張に沿ってロシアの侵攻を正当化しているグループもあるようです． ロシアによるウクライナ侵攻について、日本では「単なる思い込みによる誤解」から「めちゃめちゃな陰謀論」まで、ツイッターのみならず、ウ
個人開発で 賃貸物件の検索サービス Comfy を作りました1。グラフや地図でサクサク絞り込める UI が特徴のサービスです。とにかく気持ち良い使い勝手を実現するために色々工夫しています。 既にリリースからは 4 ヶ月以上経っているのですが、改めてサービスの概要や、システム構成及び使用した技術・サービスをご紹介しようと思います。2。 サービスの概要 Comfy は日本全国の賃貸物件を検索できる Web サービス です。画面 UI は上の GIF 画像のような感じです。 こだわったポイントを色々書くよりも実際にさわって頂いた方が新感覚の UI や気持ちよさを体感頂けるかと思いますので、 実際のサービス をぜひお試し頂ければ幸いです！ システム構成 図の通り、システムは大きく 3 つに分けられます。 フロントエンド バックエンド データ基盤 使用技術は図の通りではあるのですが、フロントエンドと
記事の概要 私（芝浦工業大学学部4年生）が大学3年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこれを克服することを目標にした。 ログインの時に自動補完が使えない 制作当時はBASIC認証で、スマホからだとログインの自動補完ができなかった。 毎回手打ちでパスワードを入力している人がほとんど ←！？ 次の授業や教室を確認するだけでも、毎回手打ちログインが必
40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita
下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる
思わずWeb開発で使いたくなる便利機能をAPIで提供するサービスを厳選してみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、Webサービスやアプリ開発などで便利に使える機能をAPIで提供しているサービスを厳選してみたのでご紹介いたします。 画像系、ストレージ、CMS、認証系、APIモック…など、さまざまな用途に使えるサービスの特徴や基本的な使い方も合わせて解説しています。いずれも無料で使えるものばかりなので、ご興味ある方はぜひ参考にしてみてください！ ■イラスト風のアバター画像を取得できるAPI 【 Joe Schmoe 】 Webサイト、ブログ、SNSなどに利用可能なアバター画像を取得できるAPIです。 イラスト風の人物画像を取得できるのが特徴で、Webサイトのチームページにアバターとして利用できるほか、自分のプロフィール画像やブログに挿入する画像など無料で利用できます。 使い方は簡単で、以下のような構成のエンドポイントを実行するだけです。 https:/
皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設
pythonを使った株価の自動収集 - Qiita
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
ウェブサイトやアプリケーションを簡単に構築できるクラウドサービスは便利なものですが、その課金システムは非常に複雑です。通信量や利用した計算リソースに応じて課金する従量課金制のサービスもあれば、条件を満たすことで無料で利用できるサービスもあります。そんなクラウドサービスの無料プランを利用したつもりが、7万2000ドル(約750万円)を請求され倒産寸前に追い込まれたと、ベンチャー企業の創設者が当時の状況をブログに吐露しています。 We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] | Milkie Way https://blog.tomilkieway.com/72k-1/ We Burnt $72K testing Firebase - Cloud Run and almost went
Open RSS
Feeds served 281,378 We offer feeds for thousands of popular websites across the internet, and we won't stop until every corner of the internet has one. The more feeds we have, the closer we all get to ditching the intrusive, ad-invested algorithmic feeds that harm and manipulate us. So we can follow internet content on our own terms, in feeds that only we control.
GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん
全１回、このシリーズは今回で最後です！ TL;DR 上場企業 3900 社程に対して、すごく大雑把な「内部コード等の漏洩調査」を GitHub 上で行った 結果としては、重要度の高いものから低いものまで 10社ほどで漏洩が確認された 重要度の高いものとして、社外秘っぽそうなスプレッドシート、社員のハッシュ化パスワード(BCrypt)、 AWS Credential 等 「大雑把な」調査を行ったが、より精度の高い方法等について記事内にて触れていく 脅威インテルとか DLP みたいなエリアとかも、外部企業とかに頼るだけじゃなく「自分たちでも」頑張ってみるのがいいんだと思います GitHub Code Search ... すげえぜ！ Google Dorks ならぬ、 GitHub Dorks + GitHub Code Search でまだまだいろいろできるはず。 はじめに チャオ！ 今回は
個人開発した賃貸物件検索サービスのシステム構成と使用技術
本記事で紹介している賃貸物件検索サービス Comfy は 2021/07/30 13:48 をもって閉鎖いたしました。使用していた物件データに関して、データの掲載元より利用許諾を得られなかったためです。本記事で紹介しているサービスが閲覧いただくことができなくなってしまい、大変申し訳ございません。本記事は、サービスに関する一部の内容を削除した上で、使用技術等に関する内容についてはいったんそのまま残しておきますが、近いうちに記事自体を削除するかもしれません。 ※ 2021/07/30 19:00 頃追記 こちらを見に来ていただいた方に、サービスが動いていた頃の動画を下記ツイートにアップロードしています。 サービスを直接お試しいただけない状態で申し訳ございませんが、少しでもサービスの雰囲気が伝われば幸いです。 下記、元の記事の内容です 個人開発で 賃貸物件検索サービス Comfy (上記サービス
Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
Windows10の無償デスクトップ自動化ツール「Power Automate Desktop」でWebブラウザーでの作業を自動化する
Power Automate Desktopは、自動化可能な作業の流れ（フロー）をデザインし、実行するためのソフトウェアです。第5回では、フローから簡単なExcel操作を行いました。第6回ではPower Automate Desktopフローからのブラウザー（Google Chrome）の操作を使用したフローをデザインします。 ［注意］今回はPower Automate Desktopの作業しているPCにExcelとGoogle Chromeがインストールされている前提としています。 対象読者 Excel／PowerPointなど、一般的なツールの操作を理解している人 RPAツールを用いて業務を自動化したい人 ブラウザー自動化アクション 日常作業で情報収集する場合、ブラウザーで情報を検索して、結果のページで情報を確認し、コピーして保存するという場面があります。例えば、 定期的にホームページ
フィンガープリントとはブラウザフィンガープリント技術（以下、FP技術）とは、文字通り、ブラウザの指紋を使ってブラウザをサーバ側で識別する技術です。 ここでの「識別」とは、同一ブラウザからのアクセスを同一ブラウザからのアクセスと判定し、違うブラウザからのアクセスは違うと判断することを言っています（図1）。 図1 フィンガープリントの識別の概念よく誤解される方がおりますが、これはあくまでサーバ側での識別です。（追記：「Torブラウザがどのサイトへ接続しているのか？」を識別するWebサイトフィンガープリントとも違います）また、どこの誰がアクセスしているのかというように、利用者を特定しているわけでもありませんのでご注意ください。 クッキーによる識別をご存知の方には、「クッキーによるセッション管理やトラッキングでの識別と同じです」と説明した方が分かりやすいでしょうか。FP技術自体は、クッキーの代替技
2022/05/28（土）は、はてなアンテナのサービス開始20周年記念日でした。 2002/05/28 に、有限会社はてな（当時）は、創業サービスである人力検索はてなに続くサービスとしてはてなアンテナをリリースしました。 普段チェックしているホームページのアドレスを登録することで、サービスが自動的に巡回チェックしてくれるという機能は、ユーザが自分で巡回プログラムを配置しなければならなかった難しさを肩代わりするものとして人気を博し、多くの方々に利用いただきました。 サービス開始以来20年、個人ホームページの隆盛からブログや RSS およびフィードリーダーの勃興、ソーシャルネットワークへと個人や組織の発信・交流の場が変化する中、変わらぬ価値を提供するものとして、はてなアンテナはウェブを見つめ続けています。 最近大きな機能追加をしていないはてなアンテナですが、近年では 常時HTTPS化 インフラ
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
TL:DR レポジトリ https://github.com/tanakh/easy-scraper ドキュメント 背景 このところ訳あってRustでHTMLからデータを抽出するコードを書いていたのですが、 既存のスクレイピングライブラリが（個人的には）どれもいまいち使いやすくないなあと思っていました。 HTMLから望みのデータを取り出すのはいろいろやり方があるかと思いますが、 ツリーを自力でトラバースするのはさすがにあまりにも面倒です。 近頃人気のライブラリを見てみますと、CSSセレクターで目的のノードを選択して、 その周辺のノードをたどるコードを書いて、 欲しい情報を取り出すという感じのものが多いようです。 RustにもHTMLのDOMツリーをCSSセレクターで検索して見つかったノードをイテレーターで返してくれたりする、 scraperというライブラリがあります。 例えば、<li>要素
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記
この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ
Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita
Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？GoogleスクレイピングChatGPTBard Google Bardが、日本からも利用できる様になりましたが、ChatGPTとの大きな違いがありました。 それは、ユーザが渡したURLにBardがアクセスができることです。 ChatGPTでは基本的にそういったことはできず、やれている様に見えても違った情報を返してしまっていました。 例えば、以下ページのURLを渡して要約してもらうと、返ってくるのは以下の様な返答になってしまいます。 アクセス先のページ ChatGPTからの返答 なんだか、違うページを読み込んでいそうです・・・完全に間違っています。 -- それに対し、Google Bardは正しくリンク先の記事を読み取って要約をしてくれました。 本当にリクエスト先のURLにア
7594591200220899443 on Twitter: "ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk"
ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk
以前、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」で取り上げたサービスですが、再度リニューアルして復活した模様です。 あきらめずに再び立ち上がる根性があるのを見るのは大好きであります。 これが、また某所で少し話題になっていました。 「使いやすい」、と、多少の支持もあるようですね。大手不動産物件検索サイトの運営者も、自社のサービスに改善の余地があると自戒すべきことです。 ただ・・・ ・そもそもレインズを客に見せない不動産業界が黒い ・レインズ公開しちゃったら宅権協会の入会者が減って稼げなくなる ・レインズの閉鎖性はどうにかしたい。 ・レインズを囲ってる連中に喧嘩を売るのは危険 ・不動産事業者から刺されてもおかしくない だーかーらー ・・・ Orz そういう単純な話しでは無いのであります。詳しくは「レインズの情報を一般公開しない理由とは」と、「巷の「レインズの『オー
レインズの情報を一般公開しない理由｜torum
本日、note運営から「あなたの記事が話題です！先週もっとも多く読まれた記事の一つになりました！」というメッセージを頂戴しました、ありがとうございます。先日の、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」であります。 その関連で色々な人の意見をつらつらと読んでいたところ、やはり、「レインズの情報を公開しろ」、というコメントが散見されました。いわゆるレインズのオープン化、と言われるやつですね。 レインズとそれにまつわるもろもろは、物凄く誤解が多く、適当な話しが出回り過ぎているので、本当にウンザリで、どれだけの人が分かって言っているのかは不明であります。 以前より、「レインズの情報は不動産ジャパンに掲載されている」みたいなデマは何度も何度も見かけます。「米国では一般でも普通にMLSを見れる」、みたいなデマも。 不動産や取引に係る情報は、機微な情報（売り主の特定に繋が
Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita
目次 はじめに 2Captchaとは 2Captchaの使用準備 Python+Selenium+2Captchaで『reCAPTCHAv2』を突破 さいごに 参考 はじめに スクレイピングやブラウザ操作の自動化タスクにおける一番の難所は各種キャプチャの突破だと思います。そもそもキャプチャ機能はロボット操作されないために設置するものなので，それを突破しようとする時点でどうなのという気はしますが，それでもなんとかしたいと思うことがあります。そんなときの解決方法として「2Captcha」というサービスがあります。 最近このサービスを知り利用してみたところ，あまりに簡単にキャプチャ突破できたので，ここで紹介しようと思います。 ※ ご利用は自己責任でお願いします。くれぐれも悪用しないように。 2Captchaとは ロシアの会社が提供するキャプチャ機能を突破するためのサービスです。 2Captcha
勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤怠入力 実装 Pythonのプログラムは、仮想環境を作成して実行しています。 仮想環境の作成及びSeleniumの導入 Pythonの仮想環境はvenvを使用して作成します。 仮想環境を作成するためには、以下のコマンドを実行します。 ＜Dir＞には任意のディレクトリ名を指定します。 $ python3 -m venv ＜Dir＞ $ source ＜Dir＞/bin/activate 仮想環境構築後、seleniumをインストールします。 仮想環境が有効な場合はプロンプトの表
GitHub - microsoft/playwright: Playwright is a framework for Web Testing and Automation. It allows testing Chromium, Firefox and WebKit with a single API.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】
![DeNA ネットワーク運用監視ツールの紹介 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b9acf5c47daa7b9d974947691fc12da8b40f44f/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2024%2F10%2Fdena-network-monitoring%2Fcover.png)
ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg
【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita
自作した時間割アプリが大学の公式アプリに採用された話 - Qiita
Node.js でお手軽スクレイピング 2020 年夏 - Qiita
【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
【自動化】PDF内の表をPythonで抜き出す - Qiita
Twitter障害はスクレイピングではなく“自己DDoS”が原因？
機械学習で競馬の回収率100%超えを達成した話 - Qiita
無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に
Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
ブラウザフィンガープリント、その凄さ〜Torブラウザアクセスの識別可能性まで〜
はてなアンテナは20周年を迎えました - はてラボ 開発者ブログ
使いやすさを重視したHTMLスクレイピングライブラリを作った - 純粋関数型雑記帳
データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita
例のスクレイピングしてる不動産物件検索が復活・・・で、結局「不動産屋が悪で黒い」、という話に・・・Orz｜torum
ルーチンワークはPythonにやらせよう Seleniumで勤怠処理を自動化する - Qiita
nyouman.hatenablog.com
news.yahoo.co.jp
belt.guardner.jp
growingup.hatenablog.com
touno-mitsuki.hatenablog.com
note.com/hamee_831_