2024年2月19日のブックマーク (3件)

  • Deno で始めるスクレイピング講座

    初めに 皆様スクレイピングは知っていますか? スクレイピングの定義はこうです。 ウェブスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。 要するにブラウザからFetch等で取得するのではなく、 Python や Cpp でHTTPリクエストを送信し、レスポンスを解析することでサイトの情報を取得する事です。 Python では BeautifulSoup や Requests 、Selenium等が有ります。 レスポンスのHTMLソースをDOM解析して情報を取得することが出来ます。 Deno は言わずと知れた JavaScriptランタイムの大御所です。 PythonよりもDOM解析に優れています。 アプロ

    Deno で始めるスクレイピング講座
    satoshihirai1
    satoshihirai1 2024/02/19
    ノーコードのWebスクレイピングツールScrapeStormも使いやすいですよ~
  • 読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG

    読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピングなどの自動化した手段でデータ収集や抽出、加工、解析、蓄積などをする行為」「生成AIなどに学習させる行為、生成AIなどを開発する行為」を禁じた。 これらの禁止事項を含めた情報解析のために、同メディアの記事を利用したい場合は、読売新聞とライセンス契約を結ぶ必要があるとしている。 生成AIを巡っては、米The New York Timesは2023年12月に米Microsoftと米OpenAIを著作権侵害で提訴するなど、新聞業界は反発している。The New York Timesは「両社が

    読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
    satoshihirai1
    satoshihirai1 2024/02/19
    ScrapeStormを使用する時に、ぜひ法律違反しないようにご注意ください!
  • 国内最大級のクラフトビールのECサイト「逸酒創伝」とは【前編】〜サイト運営者取材〜

    突然ですが皆さん、クラフトビールはどこで購入していますか? コンビニ、スーパーでも取り扱いが徐々に増えて来ていますが、やはりECで“ポチッと”という方も多いのではないでしょうか? 今回はそんな方におすすめしたい、圧倒的な品揃えとちょうど良い価格帯でクラフトビールを購入できる通販サイト「逸酒創伝」(いっしゅそうでん)について。さらに、この「逸酒創伝」のオリジナルとして9月末に発売になった「オラホ ヘイジーセッションIPA」をご紹介します! 「逸酒創伝」(いっしゅそうでん)とは? 酒類卸コンタツ株式会社が運営するお酒の総合通販サイト。 ビールをはじめ、日酒、その他リキュール系など、ありとあらゆるお酒を購入することができ、近年では品の取り扱いも強化し、単月のSKU数は6000を超える。 クラフトビールでは国産で60社以上、海外で10社以上の取り扱いビール製品掲載が有り、逸酒創伝の売上全体の1

    国内最大級のクラフトビールのECサイト「逸酒創伝」とは【前編】〜サイト運営者取材〜
    satoshihirai1
    satoshihirai1 2024/02/19
    ScrapeStormで直接利用できる逸酒創伝からお酒の情報を収集するDemoタスク: https://drive.google.com/file/d/1RxcLu0qTobSdzstfaAKjfiRN3f7YZ8Mq/view?usp=sharing