【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
｢伝説のエンジニア｣が明かすエヌビディアの死角
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
認証サービスCognito・Auth0・Firebaseを比べる - s-takayanagi’s blog
購入先 Boothでの購入はこちら 技術書典 応援祭での購入はこちら タイトル 概要 本書の目的 対象読者 本書で取り上げない内容 お問合せ先 目次 第1章 ユーザーID管理のサービス 第2章 各サービスの概要 第3章 コストを比べる 第4章 管理‧運用を比べる 第5章 開発を比べる 購入先(再掲) Boothでの購入はこちら 技術書典 応援祭での購入はこちら サークルの他のメンバー クラウドネイティブファーストストーリー AWSを使って学ぶ 監視設計 AWSの薄い本 IAMのマニアックな話 購入先 Boothでの購入はこちら s-takayanagi.booth.pm 技術書典 応援祭での購入はこちら techbookfest.org タイトル 認証サービスCognito・Auth0・Firebaseを比べる 概要 ユーザーのIDを管理するのはWebサービスを展開する上で必要になりますが
AWS Lambdaにblenderを載せてサーバーレスなレンダリングサーバーを作る
初めまして、株式会社Berryの齋藤です。 みなさまLambdaはやっておりますでしょうか。 Berryでも3Dデータの自動処理を行う上で数多くのLambda関数を作成、運用しています。 その中で3Dデータのプレビュー生成が必要になったため、blenderによるプレビュー生成を行うことにしました。 通常であればEC2を使い、レンダリングサーバーを立てることが一般的かと思いますが、費用面・運用面を考慮し、Lambdaによるサーバーレスなレンダリングサーバーを作成することにしました。 非常にニッチなユースケースですが、ざっと検索したところ日本語の情報が少なかったので、今回はblenderをLambda上で動かす方法を紹介したいと思います。 サンプルリポジトリ 前提条件 AWS CLIとAWSアカウントが設定済み Dockerインストール済み (x64のCPUで検証しています。armの場合はダウ
デザインの仕事は身近な所に転がっている｜こばやす｜Webデザイナー
Webデザイナーのこばやす(@kobayas_s)です。 デザインの勉強をしたは良いけど、仕事に繋げるにはどうしたら良いかと問われる機会が増えました。 前回のウェビナーでもお話しましたが、実績を作るには自分で営業をしなければなりません。でも、このハードルって未経験デザイナーにはとても大きな壁となっていると思います。 そこで今回は私が独学でどうやって実績を作ったのか、未経験でもデザインの案件が獲得しやすい場所を深掘りしていく事にしました。 １．自分に合った営業方法を見つける当時、クラウドソーシングなどオンラインで仕事を得るためのサービスは沢山ありましたが、 ・人見知りなので知らない人との取引に抵抗がある ・相手の人柄が文章だけでは分からず、コミュニケーションが取り辛い ・お客様の事業を身近で見て、汲み取ったものをデザインしたい という悩みと希望があり、他の方法を模索していました。 色々試した
摩訶不思議な「金属で呼吸する細菌」、実は量子レベルの操作を行っていたと判明 - ナゾロジー
空気のない場所でも金属に電子を吐きだして呼吸している細菌が発見された細菌は電子の放出効率を上げるために、電子のスピン方向を統一していた仕組みを解明することで量子生物学と生体量子コンピューターの開発に役立つ 全ての生命は呼吸を行っており、私たち人間を含めた全ての多細胞生物は酸素呼吸を行っています。 しかし地球の地下深く、空気の存在しない場所では、なんと酸素の代わりに金属で呼吸する生物がいました。 今回、研究者によって調査されたS. oneidensis（シュワネラ・オネイデンシス）と呼ばれる細菌は代表的な金属呼吸を行う細菌として知られており、マンガンを初めとして鉄、鉛、水銀、ウランなどの固形鉱物を使って呼吸をしています。 なので、菌表面に接続された回路電極や金属を取り去ってしまうと、オネイデンシスは金属呼吸が行えなくなって窒息し、直ぐに死んでしまうのです。 そんな非常にユニークな呼吸を行うオ
Mac やめて Linux PC を自作した - IT戦記
みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
ユニクロの刺繍サービスで猫の刺繍してもらったら可愛すぎて気に入って着てる→「なにこれやりたい」「可愛い」好きな場所につけれる刺繍が素敵すぎる
がんばる細胞ちゃん @ganbaru_cell 細胞に日々翻弄される理系大学院生の日常を呟くアカウント/ 大好きなﾁｪﾝﾁｪ追っかけD進してきました/肝臓の研究してます/お酒と二郎系が大好きです/クソデカアフリカツメガエルとアカハライモリと一緒に暮らしてます
デザインからアプリ実装まで一貫したデザインシステムを構築するベストプラクティス
DroidKaigi 2024 での発表資料
AIの発言を理解するために、量子力学の計算を勉強することにした。で、すごいいい本があった｜shi3z
誰だ。AIが進化すると仕事が楽になると言ったやつは。 AIが勝手に金を稼いでくれて本人は遊んで暮らせるようになるはずとか言ってたやつは。もしくは全ての仕事をAIが奪ってしまって、人間はやることがなくなってしまうとか言ってたやつもいたな。 面白い。お前らが言ったことは実は全部間違ってるAmazong, Every words what you said were wrong。まあ俺も言ってた気がするが。 AIが進歩すればするほど、これまで諦めていたことや、一生縁がないだろうと思っていたことを「やってみようかな」と思う機会が増えてしまう。ちょっと前までは絵を描く練習をしていた。 OpenAIのChatGPT-o1は、「数学をもっと勉強しないとAIとの会話についていけない」という絶望的な体験を提供する。大半の人に必要なさそうな体験だが、ある種の人には「もう一度頑張って勉強しようかな」という動機を
Webフロントエンドの複雑な状態同士の依存をzustandを使ってリアーキテクチャする - KAKEHASHI Tech Blog
この記事は秋の技術特集 2024の 7 記事目です。 カケハシのAI在庫管理チームでフロントエンドエンジニアをしているNokogiri です。今回はAI在庫の入庫ダイアログを zustand を使ってリアーキテクチャした事例を元に取り入れたプラクティスを紹介したいと思います。 イントロ AI在庫では、ユーザーの入力を伴うフロントエンド部分で多くのケースに React Hook Form を利用しています。 React Hook Form は、入力フォームの状態管理やバリデーションを簡単に実装でき、パフォーマンスにも優れた素晴らしいライブラリです。 しかし、ユーザーの操作に応じてインタラクティブに変化する UI では、状態管理が複雑化し、コードの可読性が低下することがあります。その結果、バグが発生し、予測しにくい動作を引き起こすことも少なくありません。 そこで今回は、 zustand を導入
意識は量子現象なのか？「量子意識理論」を支持する有力な研究結果が報告される - ナゾロジー
意識とは何でしょうか？ アメリカのウェルズリー大学（Wellsely）で行われた研究により、脳における意識の基盤が量子的なものであるとする「量子意識理論」を支持する結果が発表されました。 量子意識理論では、意識の本質はニューロン内部の「微小管」とよばれる細い繊維の量子振動であるとされており、量子的な振動がニューロンの電気信号パターンに大きな影響を与えると考えられています。 今回の研究では、量子的振動の「巣」と考えられている微小管に結合して保護する化学物質を加えた場合、麻酔薬によって意識を失うまでの時間が大幅に遅くなることが示されています。 古典的な理解では微小管タンパク質の保護がなぜ麻酔薬への抵抗力につながるかを上手く説明できません。 量子意識理論は30年前は奇妙な仮説に過ぎませんでしたが、ここ十数年で検証が進み、急激に勢いを増してきています。 研究者たちはプレスリリースにて「心が量子現象
抽象度の高い仕事の進め方 - Konifar's ZATSU
仕事をしていると、だんだんと抽象度の高いことを任されるようになる。 たとえば、方針も明確な小さな修正タスク => 修正方法がいくつか考えられるタスク => そもそも何をやるかから明確にしないといけないタスク といった感じで次第にふわっとした依頼になってくる。いわゆるグレード制を採用している会社において、"どれだけ抽象度の高い仕事を任せられるか" がグレードの違いの要素のひとつと言ってもいい。 抽象度の高い仕事を安心して任せられる人は何が違うのか自分もよくわからないので、自分のまわりの人がどういう動きをしているかを雑にまとめてみる。 1. なぜやるかを明確にしている わからないときはドキュメントやチャットのやりとりを探し、直接聞いたほうがよい人には自分でコミュニケーションを取っている やる理由がないと判断したら依頼者に話をして、実際にやらないこともある あとで「自分はこう言われただけなので」
novel-writer - Visual Studio Marketplace
Launch VS Code Quick Open (Ctrl+P), paste the following command, and press enter. Visual Studio小説モード Visual Studio Codeで小説を執筆するための機能拡張です。 エディター機能拡張 サイドパネル・ステータスバー機能拡張 原稿ツリー編集 文字数カウント 原稿用紙プレビュー PDF出力 FAQ References Sponsors 付録 GitHubスポンサー novel-writerの開発はこちらの方々に応援いただいています。 Editor ### 段落ハイライト novel-writerは小説で用いる会話文や青空文庫注記法などをハイライトします。 鉤括弧（「」）で挟まれた会話 青空文庫の注記 ルビ ［＃「」に傍点］ そのほか、［＃……］で記される記法 数字と単位 品詞 名詞、
ただの塾講師がプログラミングを独学して個人開発で月20万円稼ぐまでの話｜Kengo KOSAKAI
こんにちは。 この記事では、できるだけ読み物として面白いように時系列にまとめたリアルなエッセイとして、またできるだけ個人開発者の参考にもなるよう技術スタックも時折説明しながら執筆しています。 そのため、非プログラマの方は具体的な技術の話が出てきたらそこだけ読み飛ばしてもらえたらと思います。 この記事は私が個人で開発しているWebアプリ『小テストジェネレーター』と『暗記カードと辞書』（iOS版）（Android版）の開発の経緯をまとめたエッセイです。タイトルには収益を書きましたが、収益以外に手に入れたものについても、書いています。 アプリは日本全国の教員、学生の方々からフィードバックをもらいながら一緒に育てています。そのストーリーを「A面」とするなら、この記事は私ひとりの個人的なストーリーをまとめた「B面」のようなものです。 新卒時代〜塾を立ち上げるまで 私は2015年に関西学院大学国際学部
ComfyUIのプラグインを作る！
はじめに ComfyUIはStableDiffusion等の画像生成AIをブラウザ上のノードベースUIで操作できるようにしたツールです。ComfyUIについては以前書いた記事もあるので良ければご覧ください。 今回はかなりマニアックですが、ComfyUI自体の裏側の仕組みやそのプラグイン作成に焦点を当てた解説があまり無かったので、そういったところを解説しています。また、ソースコードを眺めていて学びがあったのでそういった知見の共有として書いています。何かの参考になれば幸いです。 ComfyUIの大まかな構成 ComfyUIの構成はPythonで記述されたサーバー側とJavascriptで書かれたクライアント側に分けられます。サーバー側(py)では主にノードで組まれたワークフローの実行やノードの定義などを担っています。一方、クライアント側(js)ではブラウザに描画されるUIの部分を担っています。
RAGは検索エンジンが命！Azure AI Search初心者入門 - Qiita
はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源
AccuRig - 「Character Creator」や「iClone」などでお馴染みReallusionによる自動人体リギングアプリケーションが無料公開！
Blender アドオン プラグイン＆アドオン-Plugin&Addon ANIMAX 2.3 - プロシージャルアニメーションを手軽に実装出来るツールセ... 2024-04-13 Monaime Zaim氏による多彩なプロシージャルアニメーションを実現出来るBlender向けアドオン『ANIMAX』のv2.3がリリースされました！ 続きを読む Maya アセット アセット-Asset gkRig - DreamWorks Animationのキャラクターテクニカル... 2024-04-12 DreamWorks Animationのキャラクターテクニカルディレクター稲垣 教範 （Yukinori Inagaki）氏がMayaのBifrost向けリギング用コンパウンドをGithub上に公開しました！ 続きを読む
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10個の無料で使えるベストFigmaプラグイン集めました。｜Hitomi Bremmer UI UX
https://actorcore.reallusion.com/
