PlayWright Browser Toolkit で Webスクレイピングを試してみた | keywalker
はじめに PlayWright Browser Toolkitを紹介します。 今回は、PlayWright Browser Toolkitを使って、簡単なWebスクレイピングを行いました。 目次 概要 動作確認：pythonからPlayWrightを操作する PlayWright Browser Toolkit 簡単なWebスクレイピング まとめ 参考情報 1.概要 PlayWrightとは PlayWright(リンク)は、Microsoft社が開発している、Webテストと自動化のためのフレームワークです。 PlayWrightを使うことで、Chrome、Firefox、WebKitをコマンドラインから操作することが可能になります。 PlayWright Browser Toolkit PlayWright Browser Toolkit(リンク)は、LangCahin(リンク)のAge
AI を用いた情報抽出システムの試作 | keywalker - blog
本記事では LangChain を用いて任意の URL から情報を抽出するシステムの minimum viable product について紹介します。 特定のページを対象に情報抽出を行ったところ、ベースラインとしてはある程度の抽出精度が期待できる結果となりました（多様なページに対する定量評価も今後行う予定です）。 一方で一部のクエリに対して抽出誤りが見られました。電話番号や株価など抽出誤りが許容されない情報については、あくまで抽出支援として、人が介在する運用を検討する必要があると改めて感じました。 結論としては、高精度に情報抽出できる従来のクローラと併せて、互いの苦手な領域を補っていく仕組みを整えていきたいなと思います。 おことわり 著者は自然言語処理エンジニアとして絶賛勉強中です。記事の誤り、推奨される方法等がありましたらご指摘いただけますと幸いです。 本記事は読者層を明確に想定した上
データ分析企業Palantir（パランティア）のIPO目論見書を読み解く ～米軍やCIAを顧客に持つPalantirの正体とは～
米国時間8月25日に、データ分析企業である”Palantir”はニューヨーク証券取引所へIPOのための目論見書を提出しました。 日本でも、2019年にSOMPOホールディングスと共同でPalantir Technologies Japan株式会社を設立し、2020年には富士通がパートナーとなり、同社のソフトウェアを活用したソリューションの提供を始める等のリリースが報道されてくるようになりましたが、その事業は謎に包まれている部分が多いとも伝えられています。 公開されたIPO申請書類（S-1）から、秘密のベールに包まれていたPalantirの事業の強さの秘密を読み解いてみたいと思います。 参考：Palantir／IPO目論見書 企業価値200億ドルのPalantirの概要 Palantirは、2003年にPaypalの創業者でもあるピーター・ティール氏により、2011年に発生した米国同時多発テ
【WebクローリングシェアNo.1】ShtockData |キーウォーカー
WebスクレイピングサービスShtockDataは、Webサイトを周期的に巡回し、Webページ上のデータを抽出し、収集するサービスです。データは、標準化された形式に変換され、クラウド上のDWH（データウェアハウス）に格納されます。 Webデータから取得可能なデータには、画像やテキスト（商品価格、レビュー、企業情報、ニュース記事）があり、市場変化の検出や競合他社の商品やサービスの比較（価格や性能）等に使用されています。 WebスクレイピングサービスであるShtockDataにより、価格戦略、商品企画、海外市場調査、企業情報の抽出、求人状況や不動産情報のリアルタイムな把握、様々なマーケティング活動を支援し、組織のDX化を推進します。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
