Pythonスクレイピングで403が出たら読む記事 【curl_cffi・Cloudflare対策・2026年版】
本記事で紹介する手法は、対象サイトの利用規約・robots.txtを遵守した上での利用を前提としています。技術的に可能であっても、ToS違反・不正アクセスに当たる行為は行わないでください。 ブラウザで普通に開けるのに、Pythonからアクセスすると弾かれる。User-Agentを変えても、ヘッダーを追加しても、まだ403が出る——そのとき、次の一手が curl_cffi です。 以前、ECサイトの価格データを定期収集するスクリプトを書いていたとき、requestsでは問題なく取得できていたページが、ある日突然403を返し始めました。User-Agentをブラウザのものに変えても、Accept ヘッダーを追加しても改善せず。原因はTLSフィンガープリントの不一致で、curl_cffi に切り替えたところ1行の変更で解決しました。 この記事では、curl_cffi の使い方を requests
httpxとrequestsの違いと使い分け完全ガイド【非同期・HTTP/2・2026年版】
本記事で紹介する手法は、対象サイトの利用規約・robots.txtを遵守した上での利用を前提としています。 はじめに Pythonでスクレイピングを始めると、最初に使うのは requests です。シンプルで直感的で、ほとんどの用途で十分に機能します。 しかし、スクリプトをスケールさせようとしたとき「requests は非同期に対応していない」という壁にぶつかります。そこで調べると httpx が出てきます。「requests の上位互換なのか？」「全部 httpx に移行すべきか？」「curl_cffi はどう違うのか？」——この3択で迷った経験があります。 以前、300件のURLを同期で取得していたスクリプトを非同期化しようとしたとき、httpx に移行するか asyncio + requests を使うか（これはできない）、curl_cffi の非同期版にするかで迷いました。違いを整
製造業RAG実装編：ChromaDB + Cohere でACL-aware retrievalを実装する【コード付き】
はじめに 「田中保守員が冷却システムの点検手順を質問すると、手順書の内容が正確に返ってくる。山田一般スタッフが同じ質問をすると、『提供された文書には冷却システムの点検手順に関する記載がありません』と返ってくる」 ——この動作を、約150行のPythonコードで実現します。 前回の設計編では、製造業向けRAGシステムにおけるアクセス制御の設計原則を解説しました。各文書に「誰が見ていいか」という情報（本記事ではallowed_groupsと呼びます）をメタデータとして持たせ、Query時にApp LayerがIdPからユーザーのグループ情報を取得してフィルタリングする——という設計です。 今回はその設計を実際にPythonで動かします。 本記事で実装するもの: 製造業の社内文書サンプル（設備点検マニュアル・経営資料等）を使ったACL-aware RAGパイプライン。ユーザーごとにアクセスできる
新米データサイエンティストが守るコードの３つの原則 - Qiita
この記事の背景 多くのデータ分析プロジェクトは Jupyter Notebook の中で生まれます。しかしプロジェクトが「一度きりの分析」から「継続的に更新する予測システム」に育つと、ある日こんな壁にぶつかります。 「先月のモデルを再現したいのに、同じ結果にならない」 「前任者が書いた 500 行の関数、どこを直せばいいか分からない」 「新しい特徴量を足したら、関係ないはずの推論パイプラインが壊れた」 こうした問題の多くは、コードの設計で防げます。本記事では、筆者が実務で痛感した失敗をもとに、分析コードを壊れにくくする ３つの原則 と、それぞれの具体的な実装パターンを紹介します。 ３つの原則と対応パターン 原則 1 読み手に優しい名前をつける ├── Python のスタイルガイドに従う ├── 文脈の重複を削る └── 「何をする関数か」が名前だけで伝わるようにする 原則 2 関数は「ひ
PythonフォーラムのPEPクイズが面白い 2つはホントで、1つはウソを見抜ける？
どうもHPかわさきです。 日本で生まれ育ってきた筆者はよく知らないのですが、初対面の人たちが集まる中で緊張（アイス）をほぐす（ブレークする）ための「アイスブレークゲーム」の1つとして、「Two Truths and a Lie」というのがあるそうです。これは自分に関係するホントの紹介文を2つ、ウソの紹介文を1つ用意して、他の人たちにどれがホントでどれがウソかを当ててもらうもの。みんなであーだこーだと話しているうちに緊張がほぐれてくるとか。筆者は友だちが少ないし、いい年のおっさんが友だちを作る場面に遭遇することもないので試せません。誰か試してみてください。 というわけで、今回はこの「Two Truths and a Lie」のPEP版を『Two Truths and a Lie, PEP edition』から紹介しましょう。なお、PEPとはPythonの仕様や提案をまとめた文書のことで、例え
【10分で理解】次世代 Python Notebook「marimo」 - Qiita
はじめに 今年も恒例のアドベントカレンダーの季節となり、なんのテーマで記事を書こうか？と、github上を彷徨っていたわけですが、jupyter等に変わる新たなpython notebookである、marimoがちょっと流行っていそうだったので、チュートリアルを触りつつ、記事にしてみようと思います。 本稿について 本記事では、marimo の公式チュートリアルを実際に操作しながらJupyter Notebook に比べた優位性を確認します。 marimoって jupyter notebookやjupyterlabは以下のようなモヤモヤポイントがありました。 インタラクティブなUIには、別途、ipywidgets, Streamlit等が必要 それ単独では、コードアシストや保管、ヒント等が若干貧弱1 あるセルの変数を更新しても、他のセルを再実行しないと変更が反映されない pythonコードを
ラズパイをHDMI天気モニターに変えるPython製「StormShell」 - FabScene（ファブシーン）
Raspberry PiをHDMIで接続したモニターそのまま天気情報ディスプレイとして使いたいと思っても、デスクトップ環境の構築やブラウザの常駐は意外に手間がかかる。「StormShell」はその手間を省くために作られたPythonツールだ。Pythonの標準ライブラリだけで動作し、追加のパッケージインストールもAPIキーも不要。GitHubでMITライセンスのもと公開されている。 ターミナル上にASCIIアートで天気情報をリアルタイム描画する仕組みで、気温・体感温度・湿度・風速・4時間予報を表示する。天気の状態に応じたアニメーション（晴れ・曇り・雨・雪・霧・嵐など11種類）が自動で切り替わり、日没後は星空と月の満ち欠けアニメーションに移行する夜間モードも備えている。月の満ち欠けはAPIなしでローカル計算する。気圧トレンドや大気質指数（AQI）、花粉情報も表示できる。 Raspberry
Pythonが本当に分かりやすい言語かRubyと比較してみる。｜Hiroaki Satou
比較１Pythonの代表的な表記方法、リスト内包表記を例にして偶数だけ２乗にするコードはこんな風に書く # Python squares = [x**2 for x in a if x % 2 == 0]Rubyで同じことをするには # Ruby squares = a.select { |x| x.even? }.map { |x| x**2 } # または squares = a.filter_map { |x| x**2 if x.even? }こういうコードを書く 比較２Pythonでは複雑な内包表記になる場合はジェネレーターを使う。下記はEffective Pythonより引用。 #python ジェネレータ式は () で囲んだリスト内包表記のような構文で生成します。以下のコードは、ファイ ルを読み込んで各行ごとの文字数を返す機能をジェネレータ式で実装したものです。ジェネレータ式
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python 3.15ではより正確な型チェックが可能に（なる予定） PEP 800で導入される非交和基底とは？
GitHub - itsmeadarsh2008/backlit-kbd: A beginner-friendly Python package for controlling keyboard backlight.
Pythonの仮想環境パスが.venvに統一される？ PEP 832が提案される
GitHub - dropseed/plain: The Python web framework for building apps.
GitHub - arc53/fast-ebook: fast, rust based epub library for python
CPythonはRustの夢を見るか Rust for CPythonがPython 3.16に向けた計画を公表
What’s new in 3.0.2 (March 30, 2026) — pandas 3.0.2 documentation
Monarch: an API to your supercomputer – PyTorch
Streaming sort-merge joins in Polars
VS CodeのPython拡張機能が強化、venv内パッケージのシンボル検索が可能に
ExecuTorch Becomes a Part of PyTorch Core to Expand On-Device Inference Capabilities – PyTorch
PyTorch Foundation Welcomes Helion as a Foundation-Hosted Project to Standardize Open, Portable, and Accessible AI Kernel Authoring – PyTorch