Twitter、ログインしないと何も表示できない状態に 「一時的な緊急措置」とマスク氏
6月30日深夜ごろ（日本時間）から、アカウントにログインせずにTwitterにアクセスしようとすると、コンテンツが表示されなくなっている。Webアプリだけでなく、モバイルアプリでも同様だ。以前は一般公開されたツイートが表示できていたが、現在はTwitterにログインあるいは新規にアカウントを登録するよう求める画面にリダイレクトされる。
6月30日深夜ごろ（日本時間）から、アカウントにログインせずにTwitterにアクセスしようとすると、コンテンツが表示されなくなっている。Webアプリだけでなく、モバイルアプリでも同様だ。以前は一般公開されたツイートが表示できていたが、現在はTwitterにログインあるいは新規にアカウントを登録するよう求める画面にリダイレクトされる。
idをautoincrementして何が悪いの？
idをautoincrementしない方が良い理由 こんにちは。株式会社プラハCEOの松原です。 最近プラハチャレンジの参加者とお話している際に 「PKのidはautoincrementするとして...」 とナチュラルにid=autoincrementするものという前提が見えたので、「本当にidをautoincrementしても良いものだろうか？」と気になったことを書いてみようと思います。もしフレームワークが自動的にautoincrementでテーブルを作るからなんとなく使っているという方がいたらご一読いただいた後、それでも連番を使いたい理由があれば教えて欲しいです・・！ 不必要に情報を晒すことになる スクレイピングされたり もしも僕が某大手に勤めているエンジニアで「競合サービスAにのってる物件情報、全部コピーして新しいサービス作ろうぜ」と指示されたらですよ？「人としてそれはやっちゃダメで
Pythonの自動化でできることとはPythonは構文がシンプルで読みやすく、書きやすいプログラミング言語であるため初学者でも習得しやすい言語です。Pythonでは機械学習やデータ分析などさまざまなことができますが、会社で使う場合にはPythonの自動化ツールが活躍してくれます。 この記事では、Pythonの自動化でできることを1つ1つ詳しく解説していきます。そもそもPythonとはどういう言語なのか、どういった人に需要のある言語なのか、Pythonエンジニアの年収について解説します。Pythonを学ぶ初心者の方は、入門編としてぜひこの記事を参考にしてください。
はじめに browser-use を使う上で詳しいドキュメントがなかったので、自分で使ってみたことをまとめてみました。 browser-use の基礎的なところは以下にまとめてあります。 ブラウザを起動させず、ヘッドレスモードで実行したい BrowserConfigのheadlessをTrueにすることで、ブラウザを起動させず、ヘッドレスモードで実行することができます。 from browser_use.browser.browser import Browser, BrowserConfig browser = Browser( config=BrowserConfig( headless=True, ) ) async def main(): model = ChatOpenAI(model='gpt-4o') agent = Agent( task='東京の天気をGoogleで調べて
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
日々のニュースや知りたい情報をWebやメール、SNSから入手することが当たり前になった昨今だが、欲しい情報を能動的に収集することも自動化してみたいそう思った。RSSツールやWeb収集ツールは高速でSNSをサポートするものもある。しかしWebサイトに必ずしもRSSフィードを設置しているわけではないので能動的にPythonなどでWebを解析するスクレイピング技術があるがWebごとに解析する仕様では作成するのはなかなか大変だ。 無償のPower Automate Desktopを使ってみる Windows 11の最新版を入手するためにノートPCを入手したが、デフォルトで搭載されていたPower Automate Desktopでは「ブラウザー自動化」もフローに搭載されている。これを試してみよう。なお、スクレイピングやツールによる過度なアクセスはWebサーバーへの負担がかかるため禁止しているサイト
Webスクレイピングをしたいのだけど、VPNやプロキシーで一番良いサービスはないだろうか！？ Linuxで使えるベストなVPNサービスを教えてほしい！ …という形に、最適なプラクティスをご紹介します。 ということで、こんにちは！ Webサイトを自動で取得する「Webスクレイピング」をする上で、必ずネックとなるのがアクセスするIPアドレスの問題です。 スクレイピングする対象のサービスの営業妨害にならない範囲でスクレイピングするのは言うまでもない当然の話ですが、Webサイトによっては、少しのアクセスでも不正なアクセスと認識してIPアドレスごとブロックしてしまうことがあります。 これを回避するためには、定期的なIPアドレス変更などの対応が必要です。 一般的にはこうした問題はプロキシーやVPNサービスを使って回避することになりますが、具体的にはどうしたら良いのでしょう？ 結論を言いますと、「Nor
![【Linux】スクレイピングにはNordVPNが便利・設定方法を解説【[date]】](https://cdn-ak-scissors.b.st-hatena.com/image/square/a69980a212ecdfd7ae8ae663a2943971f7735423/height=288;version=1;width=512/https%3A%2F%2Ftipstour.net%2Fwp-content%2Fuploads%2FNordVPN_Linux.jpg)
World-class neural retriever for maximizing search relevancy.
こんにちは！ エンジニアリンググループ マルチデバイスチーム 新卒1年目の小林です。 エムスリーでは、2週間に1度、Tech Talkという社内LT会（現在はリモートで）が開催されています。これは、とある回の発表テーマリストです。 Tech Talkのとある回の発表テーマリスト このように、最近エムスリーでは文字列が流行っている（？）ようなので、その勢いに乗って私も文字列照合アルゴリズムについて書きたいと思います！（業務とは全然関係ない話です） Knuth-Morris-PrattやBoyer-Mooreアルゴリズムは解説記事がたくさん出ていると思うので、この記事ではシンプルかつ高速なQuick-SearchとQuite-Naiveアルゴリズムについて説明し、速度比較を行った結果についてご紹介します。 文字列照合アルゴリズムとは テキストとパターンという文字列が与えられたときに、中に出現す
Linuxのコマンドラインで文字列を検索する際に必要不可欠なコマンドといえば「grep」です。しかし、grepは動画ファイルやPDFファイルの文字列を検索できないのが弱点。そんなgrepの弱点を克服し、動画ファイルのメタデータやデータベースのレコード、画像ファイル内の文字列まで検索可能なコマンドが「ripgrep-all(rga)」です。 GitHub - phiresky/ripgrep-all: rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc. https://github.com/phiresky/ripgrep-all rgaはLinuxに限らずWindowsやmacOSでも利用することが可能。今回はUbuntu 20.04でrgaを利用してみます。以下のコマンドを
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
PR TIMES、自社の杜撰な仕様ミス（公開前でもURLを推測して直打ちすれば公開状態）を不正アクセスと言い張る : 市況かぶ全力２階建
トリドールグループの晩杯屋、酎ハイ3杯(750円)をケチろうとしてきたカスハラ客をお店とSNS上のダブルで返り討ちに
はじめに この記事では、LangGraphとFirecrawlを使用して、企業のWebサイトから特定の情報を抽出するWebスクレインピングエージェントを構築する方法を紹介します。具体的には、企業のホームページから社長の名前を取得する方法を解説します。 参考にさせていただいた動画 この動画では特定のキーワードをホームページから取得していますが、今回は正規表現では取得できないより抽象的な情報を取得することに挑戦しました。 使用技術 LangGraph LangGraphは、AIエージェントを作るためのツールで、複雑な処理をいい感じに管理してくれる便利なフレームワークです。状態遷移グラフを使って、どの処理をどの順番でやるかを分かりやすく設計できます。 特徴: 処理の流れを図にして確認できる（Mermaid図対応） 条件分岐や並列処理ができて柔軟 タスクの状態を一括管理 本プロジェクトでの役割:
IMPORTXML関数を使ってsuumoの物件情報ページをスクレイピングし、スプシに一覧化する方法をご紹介します。 suumoから引っ張ってくる情報は以下の通り。 物件名 価格(万円) 広さ(m^2) 築年(年、月) 最寄り駅と駅徒歩 ※友人用に作ったスプシは坪単価も出したかったので、いったんデータを引っ張ってきてからスプシ上で価格と広さのデータをこねこねしてます。これは時間あるときに追記します！ 手順1：suumoで希望の条件で物件を検索するPCでsuumoを開き、希望の条件で物件を検索します。 モバイルサイトだと後々うまくいかないのでPCで検索してください。 ここでは、青山一丁目の中古マンションを検索してみました。 デフォルトでは表示件数が30件になっているので、100件に変更します。 このときのページのURLをコピーしておきます。 手順2：suumoのURLをスプシに貼り付けるまずス
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【Power Automateの新しいRPA機能】Power Automate Desktopの操作方法(ExcelとWebブラウザ操作の自動化) - Qiita
#サンプルファイルについて 2021/7/24 追記 Github に、本ページで扱う Excel ファイルやサンプルのフローをアップロードしました。 よろしければご使用ください。 以下のイベント用にで作成したファイルになります。 #はじめに Microsoft Igniteの発表でPower Automateの「per user with attended RPA plan」で「Power Automate Desktop」が使用できるようになりました。2020年9月24日でPreview版です。 この記事でPower Automate DesktopのWebレコーダーによる自動化やExcel操作を通じて、変数の扱いや画面機能ついて説明します。 また、2020年9月24日時点の既知の不具合情報についても途中記載しています。 トライアル開始手順もまとめてみましたので併せてご覧ください。 【
ストックマークのプロダクト開発・運用では、Node.jsを利用してAWS Lambda を月間1.6億秒利用しています。本記事ではそこから分かった知見を紹介します。
はじめに 開発業務で「情報収集」や「タスク自動化」をするときにスクレイピングやクローリングを用いる場合があると思います。一時期私もスクレイピング関連の本を読んでBeautifulSoup, Seleniumなどを使って自動化をしましたが、CSSセレクタを指定していくのが大変だったり、DOM構造が変わると動かなくなったりと、色々苦労した覚えがあります。 そんな時、browser-useという面白そうなライブラリを見つけたので、この記事では、browser-useを使ってみた内容を自分用のメモとして残そうと思います。 browser-useとは？ browser-useはAIを使ってブラウザ操作を自動化してくれるツールです。 このツールは、Pythonを使ってブラウザで実行する操作をテキストで渡してあげると、AIがそのテキストに基づき操作を行ってくれます。そのためスクレイピング/提携業務の自動
はじめに 過去の記事『淡路島発着の高速バス検索サービス「GO TO AWAJI」をリリースした話』で Python を用いて個人開発サービスのバックエンドを実装したことを紹介しました。 勉強のためにこのサービスのバックエンドの一部を Rust で書き換えたので、本記事で紹介させて頂きます。 クローラーサービス 今回 Python から Rust に書き換えを行ったのはクローラーと呼んでいるサービスです。 これは GCP の Cloud Run 上で動いており、 Cloud Scheduler から定期的に実行されて以下のことを行っています。 クローラーサービスのシステム構成 各バス会社の新着情報をスクレイピングする 取得した新着情報を DB (SQLite) に保存されている過去の新着情報と比較する 新しい新着情報が存在する場合DBに保存し、SendGrid で筆者宛にメールで通知する な
プログラミング言語のPythonで、2007年に存在が公開されたものの修正されなかったバグが再発見されました。任意コード実行可能な脆弱性にもつながるこのバグの影響は、コーディング自動化ツールを介してさまざまなプロジェクトに広まっており、修正するべきオープンソースリポジトリが35万件以上にも及ぶと指摘されています。 Tarfile: Exploiting the World With a 15-Year-Old Vulnerability https://www.trellix.com/en-us/about/newsroom/stories/threat-labs/tarfile-exploiting-the-world.html Tarfile: Exploiting the World With a 15-Year-Old Vulnerability https://www.trell
browser-useメモ
browser-useについて調査する どういうものか ブラウザのデバッグプロトコルを使ってLLMで操作するpythonライブラリ Playwright API → Chrome DevTools Protocol (CDP) ClaudeのComputer useのスコープを狭めたものと理解できる 似たツールとしてMCPのPuppeteerサーバーがある→mcp/puppeteer モデル（LLM）の呼び出しにLangChain Modelのインターフェイスに依存することでマルチプロバイダ対応してる なのでLangChainで動くモデルに対応してる 結果的にLangChain風のAgentフレームワークのミニマムな実装になってる 何ができるの？ ブラウザ操作を自動化してできることはできる Hugging Faceで特定のライセンスを持つモデルを検索し、その情報をファイルに保存する 求人情
クラウドコンピューティングサービスのCloudflareが、不正行為をするボットをAIが生成する迷路に閉じ込める「AI Labyrinth」を発表しました。 Trapping misbehaving bots in an AI Labyrinth https://blog.cloudflare.com/ai-labyrinth/ AIのトレーニングに利用するデータをインターネット上からスクレイピング(収集)するのに使用されるボットがクローラーです。クローラーはインターネット上からあらゆる情報を収集するため、AI企業は「生成AIモデルのトレーニングにコンテンツを利用された」としてコンテンツ制作者から訴訟を起こされています。 こういった動きに対処するため、AI企業の中には「クローラーが収集したデータをAIのトレーニングに利用しないようにするためのオプション」を提供しているところもあります。他に
こんにちは、最近になってつみたてNISAを始めた今年2年目の社会人です。つみたてNISAは運用益が非課税、半自動的に積立運用可能、途中で取り崩し可能と様々なメリットがあり、非常に有益な制度です。そんなつみたてNISAを活用する上でよく耳にするのは「信託報酬が安くてパフォーマンスの高い米国インデックスファンド一択！一時的に暴落しても戻るから気にするな！」という話です。確かに2000年のITバブル崩壊、2008年のリーマンショックという暴落を経験しながらも、S&P500といった代表的な米国インデックスの直近20年のパフォーマンスは素晴らしいです。 しかし、本当に米国インデックスファンドを積立・放置するだけでいいんでしょうか？頭を使わずに、というのは言い過ぎかもしれませんが放置しているだけで資産が殖えるなんて美味い話、不安を感じるのも確かです。そこで過去に米国インデックスファンドを積立・放置して
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの「つらみ」があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には
はじめに 前回と前々回は、browser-useに関する記事を投稿し、AIが自律的にWebブラウザを使ってコンテンツ情報を取得する仕組みについて解説しました。今回は、Webブラウザを介さずに「スクレイピング」という手法でコンテンツ情報を取得するツール、Firecrawlを試してみます。 ただし、「スクレイピング」は誤った使い方をすると他のWebサイトに迷惑をかけたり、トラブルを引き起こす可能性があります。そのため、ご自身が管理しているWebサイトや利用許可を得たサイトでのみ実施するようにしてください。 それでは、Firecrawlを使ったスクレイピングに挑戦してみましょう！ Firecrawlについて Firecrawlは、指定したURLをクロールし、その内容をマークダウン形式や構造化データに変換するAPIサービスです。手軽にウェブ情報を整理・変換できるため、データ収集や分析に役立つツール
気付いたらもう9月ですね。 最近、AWS Lambdaでいろいろと遊ぶ機会があったのでメモとして残します。 はじめに とあるセキュリティゲームの運営用に、SeleniumでWebスクレイピングをやっているRubyのスクリプトをEC2で運用していたのですが、Headless Chromeを扱うため大量に起動するとメモリ食っちゃうし、スケールしようにもEC2インスタンスのAutoScaling組むのもちょっとなあ。とか、インスタンスの起動まで待ってられないからある程度多めにインスタンスを実行したりするのも余分にコストが。。。 1実行に15分もかからないスクリプトだし、ということでLambdaに移行することにしました。 Lambda Layerについて Headless Chromeを扱う場合、単純にFunctionのデプロイパッケージにバイナリを含めると50MBを超えてしまうため、Lambda
みなさん、業務スーパー使ってますか？私は、朝ごはんに業務スーパーのインスタントフォー（チキン味）を食べるようにしていることから、週1回は業務スーパーに通っています。最近、全都道府県に店舗が出店されたそうです（パチパチパチ）。 というわけで、業務スーパーの全店舗の位置をプロットしてみようかと思いました。あと可視化だけだとちょっと退屈なので、気象データを使っていくつかの店舗の気温の比較を行います。foliumで作った可視化は次のようになります。 開発環境: Python 3.9.1 folium 0.12.1 pandas 1.2.3 requests 2.25.1 requests_html 0.10.0 xarray 0.16.2 ハンズオン開催します はんなりPythonで、この記事であったrequests / requests-htmlを使ったデータ取得ハンズオンを行います。ご関心をお
📝数値という理由だけで input[type="number"] 要素を使わない｜たかもそ／Web Creator.
フォームに入力する値といえば、電話番号や年齢、クレジットカード番号など様々です。しかし、数字を使っているからといってむやみに <input type="number"> 要素を使うと問題が起きます。 数字であって数値でないWHATWG の仕様には次のように書かれています。 The type=number state is not appropriate for input that happens to only consist of numbers but isn't strictly speaking a number. For example, it would be inappropriate for credit card numbers or US postal codes. A simple way of determining whether to use type=num
![📝数値という理由だけで input[type="number"] 要素を使わない｜たかもそ／Web Creator.](https://cdn-ak-scissors.b.st-hatena.com/image/square/fabaee500541121aedd5673e2ef24a6ad3fc46aa/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F20987625%2Frectangle_large_type_2_6362b402374299fdb8316dd17855d5fb.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
2023年7月1日にGoogleがプライバシーポリシーを変更し、「GoogleのAIモデルのトレーニング」のために「一般に公開される情報」を使用すると明言したことが分かりました。記事作成時点で、このプライバシーポリシーはアメリカ国内向けに発行されています。 プライバシー ポリシー – ポリシーと規約 – Google https://policies.google.com/privacy/archive/20221215-20230701 Google Says It'll Scrape Everything You Post Online for AI https://gizmodo.com/google-says-itll-scrape-everything-you-post-online-for-1850601486 VPNやインターネットアーカイブなどを通してアメリカ国内向けのプラ
人間の全身や顔、手などを3Dスキャンしたデータの販売を行う「Triplegangers」というサイトが、OpenAIのクローラーボットによりダウンさせられていたことがわかりました。ボットは、販売されている数十万枚のデータについて、それぞれダウンロードを試みるリクエストを送信してきており、CEOは「実質的にDDoS攻撃のようなものだった」と説明しています。 How OpenAI's bot crushed this seven-person company's website ‘like a DDoS attack’ | TechCrunch https://techcrunch.com/2025/01/10/how-openais-bot-crushed-this-seven-person-companys-web-site-like-a-ddos-attack/ Tripleganger
こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの
詐欺られた（注意喚起の拡散希望）
訪れたサイトが扱っていた商材はかなりマニアックなもので、その商品以外の商品もたくさんあってページもひとつひとつしっかりしていて特集バナーなども作ってあり自然な作り しかし実態はヤフオクのスクレイピングで大量に商品が登録されているだけの中古ショップ風のただのダミーのフィッシングサイトだった 自分が買おうとした物があまりにマニアックだったため、そんなマニアックでスーパーニッチなものをまさか詐欺の商材としようとする人間がいるとは思わず、全く警戒してなかったため、サイトの細部までよく調査をせず普通に振り込んでしまった しかし振り込んだあとは待てど暮せど発送されず連絡も取れない 主犯か受け子かしらないが口座名義はおそらくタイかベトナム風の名前（←これについてもこの時点でん？と思ったがスルーしてしまった心境は後述の追記やトラバ参照。この時点では全ての警戒センサーがオフになっていたのでよく考えたらタイ・
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの山川です。 多くのWebサービスにおいて、ブログ記事やドキュメントの公開・下書き共有のためにURLを発行する機能が存在していると思います。このようなURLに関して、第三者に知られたくない場合「推測不可能なURL」を発行するといったセキュリティ観点は広く知られているかと思いますが、それ以外にはどのような観点が存在しているでしょうか。 本稿では、Webサービス上で発行されるURLに関して「どういったセキュリティの観点があるか」や「脆弱性・リスクに対する対策」についていくつかのパターンを前提に解説します。 はじめに 前提 機能一覧 セキュリティ観点 パターン1: URLが推測可能かつアクセス制御に不備がある場合 連番になっている 日付が入っている 単純な値を用いて変換されたハッシュ値 パターン2: URLが推測不可
こんにちは、らくからちゃです 2年連続ステイホームのゴールデンウィークになりそうです。 もはやゴールデンウィークって普段何してたのか忘れかけてきたので、過去の履歴を漁ってみたら、一昨年は伊豆半島の東側をぐるぐる回りながら下田までいってたみたいです。 そういやコロナ前のゴールデンウィークって何してたんだっけ？と思ってGoogleフォトのフォルダ漁ってみたら、伊豆半島をぐるぐるしてたらしい。 また落ち着いたら行きたいなあ。 pic.twitter.com/N0fNxIZ5Uq — らくからちゃ@育休中専業主夫 (@lacucaracha) 2021年5月3日 こんなどこにも行けない日には、家でデータ分析をするに限りますね！！（鼻息） 統計局が、e-statを使って遊ぶ方法も教えてくれるそうなので、ご興味がある方は是非！ gacco.org 統計として公開されているデータを眺めてみるのも面白いっ
expand.ai
expand.ai instantly turns any website into a type-safe API you can rely on. √Reliable scraping infrastructure√High quality with back checking√Great developer experience√Instant API for any website const companies = await expand({ sources: ['https://www.ycombinator.com/companies'], // auto-generated schema by expand.ai schema: Model('Company', { name: Expand.String, batch: Expand.String, url: Expan
米Clubhouseの個人データ約130万件が、米Facebook、米Microsoft傘下のLinkedInのものが公開されたのと同じ犯罪フォーラムで公開されていると、リトアニアのメディアCyberNewsが4月10日（現地時間）に報じた。 「Clubhouseも（FacebookとLinkedInと）同じ運命をたどったようで、人気のハッカーフォーラムで130万件のスクレイピングされたClubhouseのユーザーデータを含むSQLデータベースが無料で公開された」としている。 スクレイピングとは、botを使ってWebサイトの情報をまるごとダウンロードし、その中から必要な情報を抜き出す手法だ。 Clubhouseはすぐに「これらのデータはすべて公開プロフィール情報で公開されているものであり、アプリやわれわれのAPIを使えば誰でもアクセスできるものだ」とツイートした。 CyberNewsによる
AWS の Lambda 経由でクローリング/スクレイピングを行いたい場合、Headless Chrome (chromium) を用いることで実現できますが、更にその際、Tor を用いることで IP アドレスを秘匿化する方法について紹介したいと思います。 ※ 実装は TypeScript で行っていきます。 Tor のレイヤー化 「Tor ブラウザ」があるので勘違いされやすいですが、Tor は別に Tor ブラウザに限定されているものではなく、自分でtorコマンドを実行することで、例えば普段使っている Chrome 等の一般のブラウザも「Tor化」することができます。 torコマンドは こちら の Tor プロジェクトでバージョン管理されており、ダウンロード＆コンパイルすることで誰でも簡単に使用することができます。また、自分でコンパイルせずとも、例えば MacOS だと Homebrew
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで自動化できること8選！面倒な作業を効率化しよう
browser-useによるブラウザ操作自動化のサンプル集
AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
無償のPower Automate DesktopでWeb情報収集の自動化を試みる
【Linux】スクレイピングにはNordVPNが便利・設定方法を解説【[date]】
Reader API
シンプルかつ高速な文字列照合アルゴリズムを紹介します - エムスリーテックブログ
画像ファイルやデータベースの文字列を「grep」のように検索できる「ripgrep-all」
AIスクレインピングエージェントの構築(LangGraph, Firecrawl)
【プログラミング不要】suumoの物件情報をスプシに一覧化する方法｜ハチ
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
GitHub - mgdm/htmlq: Like jq, but for HTML.
月間1.6億秒の Lambda x Node.js 利用から得られた知見
話題のbrowser-use使ってみた - Qiita
個人開発したサービスのバックエンドを Python から Rust に書き換えてみた
Pythonの15年間見過ごされてきた脆弱性が30万件以上のオープンソースリポジトリに影響を与える可能性
CloudflareがAIクローラーを無限生成迷路に閉じ込める「AI Labyrinth」を発表
「つみたてNISAは米国インデックスファンド放置で良い」は本当か？ - Qiita
Twitter Rate Limitsに関するアップデート
クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG
Firecrawlで簡単スクレイピング：Pythonプログラムでの実践例
AWS LambdaでSeleniumとActiveRecordを扱う · フロッピーディスクの残骸
Pythonのみで業務スーパーの各店舗と気象状況を可視化する - Qiita
「オンラインで公開されたものすべてをAIのためにスクレイピングする」とGoogleが発表
OpenAIのクローラーボットが3Dスキャンデータ販売サイトをほぼDDoS攻撃な徹底スクレイピングでダウンさせていた
GASを使ったスクレイピングの作成手順を紹介！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
「推測不可能性」だけで安心？セキュアなURL生成について考える - Flatt Security Blog
どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ
Clubhouseからスクレイピングされたユーザーデータ130万件も無料公開
【悪用厳禁】AWS Lambda で Tor を使う
takuya-blog.com
www.cnn.co.jp
jp.reuters.com
helentech.jp
www.bbc.com
trendburst.us