【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
「学歴がない人が肉体労働に就くのではなく、肉体労働に就けない人に必要なのが学歴」という話→体力もコミュ力も必要な世界で生きていけない
じゅんくり @jjunkuri ブルーカラーを見下すポストを見る度にプロ奢の「学歴がない人が肉体労働に就くのではなく、肉体労働に就けない人に必要なのが学歴」という発言を思い出す。 歳をとるごとに「自分は肉体労働に"就けなかった"人間」という意識が強まっている。 特に「コミュニティの為に動く」って能力がない。 じゅんくり @jjunkuri ブルーカラーを体力に優れた人とだけ捉えてる人が多いけど、実際には信頼関係を築くために面倒くさい人間関係をこなせるところが強みだと思う。他人の敷地、他人の現場で作業する彼らは「中に入れてもらう」ための信頼が重要。信頼を得るため、先輩後輩の関係やら地元の関係やらを大事にする。 じゅんくり @jjunkuri 地域の消防団なんて役場の職員か自営のブルーカラーが8割。ホワイトカラーなんてほとんど加入しない。地域のための面倒くさいことができる人しかブルーカラーとし
あてうま白書 - 高草木こぶ / 特別読切 | マグコミ
あてうま白書 高草木こぶ 【ワンアイデア×動物まんが賞 大賞】「当て馬」。それは競走馬の繁殖で必須の存在にして、生涯童貞の運命を定められたウマ。そんな当て馬として働くアカギファルコの、プロフェッショナルな童貞としての矜持が今明かされる――。
監視ツールを迷ったら CloudWatch から始めてみるのもありなのでは - カミナシ エンジニアブログ
こんにちは、新規プロダクトの開発をしています、a2 （@A2hiro_tim ）です。 昨日、開発してきたプロダクトについて、正式リリースを発表させていただきました 🎉 prtimes.jp employee.kaminashi.jp さて、新規プロダクトの立ち上げは、技術選定や運用ツールの自由度が高く、どの監視ツールを使うか、選択に迷うこともあると思います。 我々のチームでは複数ツールの使用経験はあるものの、特定のツールの導入経験や深い知見があるメンバーはいなかったので、フラットに比較検討し、 Amazon CloudWatch の利用から始めてみよう、と意思決定しました。 主な選定理由は、 AWS エコシステムの中で完結できるため、Terraform Cloud などの既存の設定を流用できて新しく覚えることが少ない、AWS 上でコストを一元管理できる、等のメリットがある。 サービス開
天才は死す - pi / 特別読切 | マグコミ
天才は死す pi 学習塾の生徒と先生。出された問題を解き、新たな出題をする。たったそれだけの、しかし決闘のような関係は、突然に終わりを迎える。「私」を天才と認める前に、先生が逝ってしまったことで――。月例賞出身作家が放つ、凡人と天才の物語。
シモネタ王の死 / シモネタ王の死 - 熊倉献 | webアクション
シモネタ王の死 熊倉献 オカルト研究会の仲間・森が亡くなって8年ぶりに集まった同級生３人。かつてした約束を実行しようと、コックリさんで森の霊を呼び出すことになり…。
「途中下車」 / 週刊あだち充 - あだち充 | サンデーうぇぶり
ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標（登録番号 第6091713号）です。 詳しくは［ABJマーク］または［電子出版制作・流通協議会］で検索してください。
「余暇こそ人生の中心」「好きを分解」デイリーポータルZの企画術
1978年生まれ、甲子園出身。兵庫県西宮市出身と言っても誰もわかってくれないので甲子園出身と言うことにしているけど、甲子園は大阪府だと思われがちなのが悩み。 好きなバレーボールはモルテン。好きな音楽家はKAN。 前の記事：「黒字、出ちゃいました」 独立から半年、デイリーポータルZの今 林雄司に聞く デイリーポータルは「変わったことをしていない」 林 岡田さんはデイリーに書いてみて、どうですか？ 岡田 すごく悩んでいましたし、今も悩んでいます。 最初、デイリーはライターが内面を表現する媒体だと勘違いしていました。でも実は「観察」と「事実」、それに伴う「発見」だけを書いているんですよね。内面を書くときも、自分自身も含めて外から観察し、客観的に書いている。 林 内面の悩みとか生きづらさとかのテキストより、キリンって変な鳴き方すんだよ！ みたいな話の方が面白いと思っているから、そういうことを記事で
[1話・2話]NO＼NAME - Rafal Jaki/MACHINE GAMU | 少年ジャンプ＋
JASRAC許諾第9009285055Y45038号 JASRAC許諾第9009285050Y45038号 JASRAC許諾第9009285049Y43128号 許諾番号 ID000002929 ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。
![[1話・2話]NO＼NAME - Rafal Jaki/MACHINE GAMU | 少年ジャンプ＋](https://cdn-ak-scissors.b.st-hatena.com/image/square/8cd7880ccb12b7722b203fa1a47f38df966bca0a/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak-img.shonenjumpplus.com%2Fpublic%2Frppp-thumbnail_image%2F23481-618bb755597c2f492e5a35c5f59e62d7%3F1721975902)
FigmaがAIでさらに進化！ Web制作はもはや完全自動化目前？ 「Config APAC 2024」現地レポ | 進化が止まらない！ 最新ツール
Figma（フィグマ）が主催する世界最大級のデザインカンファレンス「Config（コンフィグ）2024」が本拠地・米国のサンフランシスコで6月26〜27日に開催された。その翌週、Figma経営陣はシンガポールへと飛び、7月2日に「Config APAC 2024」を開催。アジアで初開催となったこのConfigには約1,000人以上が参加し、新機能の発表を歓声をもって迎えた。 シンガポールの「Config APAC 2024」を現地取材した筆者が、最新の機能アップデートとAI活用を中心にお伝えする。 マリーナベイサンズ・コンベンションセンター内のConfig APACの会場 アジアには72ものFigmaコミュニティがあり、2万人以上の会員がいます。そんなアジアで初のConfigをシンガポールで開催できたことは最高の気分。アジアには、人類、世界にインパクトを与えるデザイナーが生まれてきた歴史が
「サードパーティークッキーの廃止の撤回」ってどういうこと？ | IIJ Engineers Blog
このように、Cookie自体はいきなり誰かの個人情報・プライバシーに触れる仕組みではありません。あくまでアクセスを識別するための技術です。また、ECサイトやSNSのように、利用者を識別して動作しなければならないWebサイトではCookieはかならず必要になります。 サードパーティークッキーって？ 今回話題になっているのは、「サードパーティークッキー (3rd Party Cookie)」です。これもCookieの一種なのですが、ここまで出てきたものと少し扱いが異なります。それは、Cookieが複数のWebサイトをまたがって利用されるという点です。 サードパーティーCookieの説明のために、A社のWebサイト、B社のWebサイトという、無関係な二つのWebサイトがある事にしましょう。そして、ここにP社のWebサイトを追加します。P社のWebサイトと書きましたが、ここで想定しているのは、A社
ファーストペンギン / ファーストペンギン - 華沢寛治 | webアクション
ファーストペンギン 華沢寛治 主人公・飛谷は市民プールで、ある女の子に話しかけられて…。 イノセントな少女に心をかき乱される男の機微を瑞々しい才能で描く、読切34P!!
ロードバランサーってなんやねん
はじめに どもども、インフラ案件で奮闘中の井上弥風（いのうえみふう）です。 現在プロジェクトでELB（Elastic Load Balancing）を使用しており、その内部機能を完全に理解したいと思い、この記事を書きました。 この記事について この記事の最終的な目標は、「ELBとは何か？」を深く理解し、それを自信を持って説明できるレベルになることです。 しかし、ELBを完全に理解するためには、まず基本的なロードバランサーの概念を押さえる必要がありました。 そこで、この記事ではELBの根底にあるロードバランサーとは何かという点に焦点を当てていきます。 ELBの詳細については、この記事の後に公開予定の「ELBってなんやねん」という記事で詳しく取り上げます。 ELBに興味のある方は、ぜひそちらもご覧ください。 記事のゴール この記事を通じて、ロードバランサーがどのようにしてトラフィックの負荷分散
Webサービス公開前のチェックリスト
個人的に「Webサービスの公開前チェックリスト」を作っていたのですが、けっこう育ってきたので公開します。このリストは、過去に自分がミスしたときや、情報収集する中で「明日は我が身…」と思ったときなどに個人的にメモしてきたものをまとめた内容になります。 セキュリティ 認証に関わるCookieの属性 HttpOnly属性が設定されていること XSSの緩和策 SameSite属性がLaxもしくはStrictになっていること 主にCSRF対策のため。Laxの場合、GETリクエストで更新処理を行っているエンドポイントがないか合わせて確認 Secure属性が設定されていること HTTPS通信でのみCookieが送られるように Domain属性が適切に設定されていること サブドメインにもCookieが送られる設定の場合、他のサブドメインのサイトに脆弱性があるとそこからインシデントに繋がるリスクを理解してお
デジタル庁 開発者サイト
デジタル庁 開発者サイトデジタル庁開発者サイトでは、政府のウェブサービスやアプリケーションの開発に関わる人を対象に、各種ガイドラインやAPIリファレンス、ライブラリ、ツール等を提供し、効率的な開発をサポートします。
AIでラフを線画に整えるだけの無料webアプリ『sketch2lineart』公開｜とりにく
結論から言うと、こんなことができます。 カラーイラストを線画にすることも可能です。 先日、AI-AssistantV3なるお絵描き補助AIフリーソフトを公開したのですが、多くの方から『私のPCじゃ動かん！』というご意見をいただきました。 わかる～！ちょっとAIに興味あるだけの人が20万↑のPCに手を出せるわけないよね。それが本当に使えるモノかどうかもまだわからないのに。 私もできる範囲で動作サポートするものの（抜けていたらすみません！） 元々のPCのスペック問題自体はどうしようもないジレンマに葛藤していました。 ならばスマホからでも動くシンプルなwebアプリ作ったろうじゃん！！！ と思ったので作りました。 機能限定版AI-AssistantV3みたいな立ち位置だと思って下さい。まぁ微妙にアルゴリズム違うんで厳密には別物ですが。 【追記】勘違いする方もいるっぽいので明記しておきます！ こちら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
こんなの絶対騙される……古いURL形式を使った巧妙な詐欺リンクの偽装方法が話題に／なるほど、頭いいなぁ【やじうまの杜】
元ゆらゆら帝国・坂本慎太郎さん「何でこんなこと言っちゃったのか」から生まれる日本語ロックの魅力：中日新聞Web
はなれたふたり - タイザン5 | 少年ジャンプ＋
20分で分かるIAM全機能 /20240621-aws-summit-iam
