【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
iPhone15から1年。バッテリー充電上限80％に効果はあったのか？ - iPhone Mania
iPhone15シリーズで、バッテリー充電の上限を80％に設定可能として導入された機能が進化し、先日公開されたiOS18では、バッテリー充電の上限を80％〜100％まで5％刻みで設定可能となっています。バッテリー劣化の軽減を目的としたこの機能に、充電切れのリスクを負うだけの効果はあったのか？米メディアMacRumorsが検証しています。 iPhone15で80％上限導入、iOS18で5％刻み設定可能に 2019年9月に公開されたiOS13では、iPhoneのバッテリーが完全に充電されている時間を減らすことでバッテリーの劣化速度を低下させる「バッテリー充電の最適化」が導入されました。 そして2023年に発売されたiPhone15シリーズでは、バッテリーの充電上限を80％に設定可能となりました。 そしてiOS18とiPhone15以降のモデルの組み合わせでは、充電の上限を80％〜100％の間で
スマホがない時代の待ち合わせ方法を後世に残しておく必要がある→駅の掲示板は有名だが、いつも待ち合わせをする喫茶店に電話をするのは知らないかも
聖月 @miduki_85 スマホ当たり前世代がスマホない時代の創作をする時、キャラが待ち合わせするための手段を調べるための文献を残しておく必要性を感じました。 JL2XKK/1 - take1 @JL2XKK @miduki_85 とにかく下宿(アパート）の留守電に残してもらって公衆電話から遠隔操作で留守電を聞いてましたね。友達の下宿の電話番号は全部覚えてました。 メッセージがなかったら呼び出し音4回で、あれば2回で回線が繋がるので、2回で繋がったら暗証番号を押せば伝言を聞け、3回鳴ったら切れば料金かからない。
WordCamp US 2024でマットとWPEngineが衝突 – Capital P – WordPressメディア
2024年9月17日から20日にかけてオレゴン州ポートランドで WordCamp US 2024 が開催された。毎年おなじみの質問コーナーではWordPress共同創業者であるマット・マレンウェグが大手ホスティング会社であるWP Engineについて突如批判を開始した。 批判の趣旨としては概ね次のとおり。 WPEngineはWordPressにあまり貢献していない。 WordPressを「ハックして」金儲けしている。 マットはイベント開催中もブログ記事 “WP Engine is not WordPress” を投稿（しかもWordPress.orgドメインで！）したり、Xで「次のWordCampにWPEngineを呼ぶべきか？」とアンケートをとっている。 Just wanted to do a community vibes check: If you saw my #wcus pres
スタイルをカスタマイズ可能な新しい `<select>` 要素
Note 2024/09/21 現在、カスタマイズ可能な <select> 要素は Chrome Canary の v130 以降で Experimental Web Platform Features フラグを有効にすることで利用可能です。 従来の <select> 要素は CSS を利用したスタイルを適用できないため、多くの開発者にとって課題となっていました。この課題を解決するために JavaScript を用いて独自のセレクトボックスを実装することが一般的ですが、この方法はアクセシビリティやパフォーマンスの問題を引き起こすことがありました。 この問題を解決するために新しい既存の <select> 要素をカスタマイズする手段が提案されました。<select> 要素と ::picker(select) 疑似要素に対して appearance:base-select を指定することで、開発
role 属性とは、aria-* 属性とは、WAI-ARIA とは、いったい何なのか、いつ使うべきなのか - Qiita
role 属性とは、aria-* 属性とは、WAI-ARIA とは、いったい何なのか、いつ使うべきなのかHTMLアクセシビリティWAI-ARIA 最近、いくつかの場面でWebアクセシビリティについて、コーディングに関する技術的な説明をする機会がありました。そのなかで、そもそもWAI-ARIAというものが、どういう立ち位置のものなのかがわかりづらい状態にあるということに気付きました。その結果として、WAI-ARIAの活用を含めたWebアクセシビリティ向上に取り組むことへのネガティブな印象が生まれてしまったり、理解が足りないままWAI-ARIAの属性を使うことでかえって問題が発生しやすくなってしまったりしている現状があるのではないかと思うようになりました。 そこでこの記事では、なるべくわかりやすい形で、WAI-ARIAそのものや、その中で登場する role 属性や、名前に aria- のプレフ
Macがスリープ中にバッテリーが爆減りしだしたので解決するためにした事
経緯 2023年10月ほどに以前から使用していたMacBook Pro(OS sonoma)がスリープ後に再度開くとバッテリーを消費しきってしまう現象が発生した。前日にMacBookを利用後翌日にはMacが電源なしでは操作できない状態となっていたため非常に面倒なため調査を開始 似たような症状は他の知人MacBook Pro(OS Ventura)でも再現していた 対象の人 Mac設定のログイン項目の見直しを行ったが解決できなかった人、あるいは原因と思われるアプリケーションの設定をオフにすることが出来ない人 MacのSMCのリセットなどを行ったが全然解決ができなかった人 他のサイトなどでMacバッテリードレインについて調べたが解決できずにっちもさっちも行かない人 実行環境 MacBook Pro 2020 13-inch プロセッサ 2.3 GHz クアッドコアIntel Core i7 O
RIP 2024年こそ corepack を使おうとしたら終わった
年初に「今年こそは」と気合いを入れてこんな記事を書きました。 が、そんな快適に使っていた corepack がつい先日 Node.js から削除されることになりました😇 正確には Node.js にバンドルされず分離されることになりました。 今回承認された Proposal の中で分かりやすい3,4を抜粋すると Corepack's documentation should be moved out of the Node.js API documentation and into its own website, or accessible as Markdown files in the Corepack repo. Corepack is a separate project from node and intermingling its documentation within
Node.js Takes Steps Towards Removing Corepack - Socket
Node.js is taking steps towards removing Corepack from its distribution, aiming for changes in the next major release. Following a discussion in OpenJS Slack, Node.js PMWG (Package Maintenance Working Group) members have formalized a plan for eventually removing Corepack. In February, the Node.js community engaged in a heated debate over a proposal to enable Corepack by default that was opened in
「絶対にdisabled属性を避けて、aria-disabled属性を使わなければならない」わけではありません - Qiita
「絶対にdisabled属性を避けて、aria-disabled属性を使わなければならない」わけではありませんHTMLアクセシビリティWAI-ARIA 最近、「アクセシビリティを向上させたいなら、HTMLの disabled 属性ではなく、aria-disabled 属性を使うべき」という主張を見かけますが、本当にそうなのでしょうか？ disabled属性を使っていても、スクリーンリーダーで要素を知覚できる そのような主張をしている人、それを受け止めた人の中には「 disabled 属性を使った要素はスクリーンリーダで読めなくなる」と誤解している人が少なからず存在するように思われます。しかしこれは正しい理解ではありません。 たしかに、disabled属性を付加している button 要素や input 要素、 select 要素、 textarea 要素は、Tabキーによるフォーカスはでき
バンド音楽の楽譜模倣、サイト公開に賠償命令…東京高裁判決「労力にただ乗り」
【読売新聞】 バンド音楽を聞き取って制作した楽譜を模倣され、無断でウェブサイトに公開された場合、損害賠償を求められるか。この点が争われた裁判で、東京高裁が６月、「制作者の労力にフリーライド（ただ乗り）する行為だ」としてサイト運営会社
組み合わせて使う前提のコンポーネントを設計する場合Contextを使うとよい
はじめに 複数のコンポーネントを組み合わせる前提で設計を行うという需要は多くはないですが、必要な場面があります。 HTMLの要素の中でもテーブルやリストなどは複数の要素を組み合わせて利用する前提で設計されています。 これらの要素をラップするようにコンポーネントを作る場合や、複雑な機能の実現などで複数のコンポーネントを設計する場合にReactのContextを利用することでシンプルかつ高機能なコンポーネントの設計ができる場合があります。 注意点 ContextについてはReact 19より下記の変更がありました。 Context.ProviderはContextそのものをProviderとして利用できるようになった useContext(Context)がuse(Context)という書き方ができるようになった しかしこの記事ではReact 18時点での書き方でコードを記載させていただきます
トーバルズ氏、「Linux」カーネル開発状況、「Rust」導入、AIを語る
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2024-08-30 07:30 香港発--Linus Torvalds氏と、その友人でVerizonのオープンソースプログラムオフィスの責任者を務めるDirk Hohndel氏が、The Linux Foundationのカンファレンス「KubeCon + CloudNativeCon + Open Source Summit China」で再び対談し、「Linux」開発とそれに関連する問題について語り合い、聴衆を沸かせた。 両氏はいつものように、Linuxカーネルの現状と今後について語った。具体的には、リリースプロセス、セキュリティ、「Rust」のLinux統合、ソフトウェア開発におけるAIの役割など、Linux開発のさまざまな側面に言及した。 Torv
登壇中にうっかり見せちゃいけないもの見せないようにするための技術
登壇中にうっかりSlackの通知が出ちゃうみたいなことを避けたいですよね。うっかりを防ぐ対策が集まるスクラップです。
5600枚の硬貨を処理した話
実家の整理中に母が数十年間貯め込んだ硬貨が出てきたので、私が処理することになった。 重さは30kgを超えていて、自宅に持ち帰るだけで一苦労だった。 幸い、大半は硬貨の種類ごとに仕分けられていて、ホコリやゴミの付着も少なく比較的綺麗だった。 この時点ではまだわかってなかったが、仕分け済みだったことが後ほど労力の大幅減に繋がることになる。 この量になるとちまちま使って減らすとかそんなレベルではないので、銀行で処理することに決めた。 車で行けそうな銀行はあんまりなく、自転車圏内に支店があって口座を持っている銀行で15kgずつ2回に分けて入金することにした。 候補は三菱UFJ銀行とゆうちょ銀行。以前に別の用事で窓口に行ったときは三菱UFJ銀行の方が客が若くて回転も早かったので、今回はそちらに決めた。 そうと決めたら方法について調べる。ここ数年間でどの銀行でも窓口での大量硬貨取扱手数料が設けられて、
実例で学ぶFlexboxとCSS Gridの使い分け – TAKLOG
タイムラインを見ていると「flexとgridの使い分けがよく分からないよ」という人が多く散見されるので、今回は僕が普段意識していることを皆さんに紹介します。 これから紹介することはあくまで僕のやり方で、絶対的な正解とかではないので参考程度に留めておいてください。実装において頻出するレイアウトをサンプルに、どのように考えてレイアウトを組んでいけばよいかを自分なりに説明できたらなと思います。 はじめに僕がレイアウトを組む上で大事にしていること、および意識していること。それは、レイアウトに変化が起こった際に崩れが生じないことはもちろん、将来的な変更に対して柔軟に対応できることです。 極論を言ってしまえばgridは使わなくても大抵のレイアウトは組めてしまいます。Internet Explorerに苦しめられていたあの頃を思い出してみてください。現在でもgridは難解だからflexだけ使用するって方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フィーチャーフラグの標準規格 OpenFeature の React SDK を試してみる
typescript-eslintでの型情報の利用とルール実装の実際 | yossy.dev
こんなの絶対騙される……古いURL形式を使った巧妙な詐欺リンクの偽装方法が話題に／なるほど、頭いいなぁ【やじうまの杜】
Next.jsの考え方
