プログラミング言語のPythonは、データ分析や機械学習の領域で使われるイメージがありますが、様々なサービスのAPIを利用することも簡単にできます。 今回は、Pythonを使ってGoogleのCustom Search APIを利用し、Google検索結果を取得するプログラムを作成してみようと思います。 １．Google Custom Search APIとは Google Custom Search APIは、Googleの検索結果の情報をJSON形式で返してくれるAPIです。 ■Custom Search JSON API なお、Google検索結果を取得する方法として、Pythonでスクレイピングという手段も考えられますが、Googleは許可なく検索結果をスクレイピングすることを禁止しているようです。 そのため、スクレイピングではなく、Googleが提供しているAPIを使って検索結果

巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作

Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが

今回は、「スクレイピング」をテーマでお送りします。過去の記事で何回かスクレイピングを利用した情報収集をしていたところ、具体的に解説してほしいとのリクエストをいただきましたので、応えていきたいと思います。 スクレイピングとは 今スクレイピングが注目されている理由 Excel VBA 【参考】IEのサポート期限切れに対する対応> Python スクレイピング実行時の注意 >最後に スクレイピングとは ウェブスクレイピングを指しており、wwwから自動的に情報を集める方法です。ここでは、wikiの説明を引用しておきます。 『ウェブスクレイピングとは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。ウェブスクレイピングはユーザーが手動

Webスクレイピングに興味はあっても、「クローリングと何が違うの？」「スクレイピングは違法だって聞いたけど本当？」など、疑問や不安があるという方もいるのではないでしょうか。スクレイピングは情報収集を効率化するうえで非常に役立つ技術でもあるため、できれば限りなくリスクを減らしたうえで活用したいですよね。 この記事では、Webスクレイピングの概要をはじめ、スクレイピングのメリット・デメリット、クローリングとの違い、活用の際の注意点について解説しています。自社の業務効率化やスクレイピングの導入をお考えの方は、ぜひ参考にしてください。 目次 Webスクレイピングとは？ Webスクレイピングとは、インターネット上にある情報の中から特定の情報をピックアップする技術のことです。「Scraping」には「削る」という意味があり、収集した大量のデータの中から余分なデータを削ぎ落とし、特定のデータだけを抽出す

すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返

データサイエンスの分野では、PythonとRスクリプトを組み合わせて使用することが一般的です。この記事では、PythonとRスクリプトを効果的に連携させ、データサイエンスの実践的な応用例に焦点を当てて解説します。 PythonとRの連携の重要性 Pythonは機械学習や深層学習などの分野で強力であり、豊富なライブラリが揃っています。一方で、Rスクリプトは統計解析やデータ可視化において優れた性能を発揮します。これらの言語を組み合わせて使用することで、データサイエンティストは幅広いツールを手に入れ、柔軟かつ効率的に分析を行うことができます。 PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出す方法として、subprocessモジュールを使用することができます。以下は、PythonからRスクリプトを呼び出す基本的な例です。 import subprocess # Rスク

弊社で毎月開催し、PHPエンジニアの間で好評いただいているPHP TechCafe。 2023年5月のイベントでは「型定義」について語り合いました。 弊社のメンバーが事前にまとめてきた情報にしたがって、他の参加者に意見を頂いて語り合いながら学びました。 今回はその内容についてレポートします。 rakus.connpass.com PHPと型 静的型付け言語 動的型付け言語 一般的な誤解 PHPの型 単一の式が持つ型 型システムで扱える型 never型について void型について self,parent,static型について resource型について evalでresource型を宣言すると リテラル型について ユーザー定義型について 複合型について 型のエイリアス mixed iterable PHPで取り入れられた型表現 型宣言のメリット PHPの歴史を振り返る PHPのドキュメント

画像生成AIを開発・運営するMidjourneyが、競合するAIのStable Diffusionを開発するStability AIの従業員が所有するアカウントを無期限で自社サービスから追放したと報じられています。Midjourneyは、Stability AIの従業員がBOTを使ってプロンプトと画像のペアを大量に取得するデータスクレイピングを行っていた疑いがあるからだと説明しています。 Midjourney bans all Stability AI employees over alleged data scraping - The Verge https://www.theverge.com/2024/3/11/24097495/midjourney-bans-stability-ai-employees-data-theft-outage Image-scraping Midjou

こんなかんじで記録・確認できるようにしています 一昨年、PPAの制度を利用して自宅に太陽光発電を導入してそれなりに便利に活用していたのですが、唯一引っかかっていたのが、その実績値の確認や記録のこと。 我が家で利用しているシステムの場合、↓のようなWebサービスでそれを確認することができるんですが、 なんと、これだけしかみられなくって。 1時間単位でどれくらいの消費/発電量だったか 当月以前の過去の消費/発電量の推移はどんなだったか といったような情報は、このWebサービス単独では得ることができません。......つらい！ ただ、"このWebサービス単独では" と書いたとおり、何らかの仕組み、もしくは努力によって以下のようなことをすることで、補うことはできます。 毎時間、このサイトにアクセスし、その時点での消費/発電量を取得（いわゆるスクレイピングですね）、前回アクセス時のそれらとの差分を取

2023年8月現在、よく利用されている画像生成AIは大きく分けて２つ。 一つはStableDiffusion系、もう一つはMidjorney(Nijijorney)である。 なかでもStableDiffusionはオープンソースで公開され、それを利用した様々な派生モデルが登場してる。 よって、関係性が非常に複雑だが、データセットが公開されていることなどから、画像生成AIの構造及び問題点を理解する上でよい例と考える。 画像生成AIはデータセットをもとに画像を生成を行う。 そのデータセットはインターネット上の画像を権利者の許諾なしにWEBスクレイピングすることによって取得したものである。 StableDiffusionに使用されているLAION-5Bデータセットには著作権で保護された画像や、医療記録、家族写真、戦争の写真等が含まれている。 日本の法律や海外のフェアユースの概念では研究目的として

コーディング面接に使われるWebサービスなどを手掛けるCoderPadは2024年1月17日（米国時間）、「需要の高いプログラミング言語 トップ10」を発表した。ランキングは、技術者の採用担当者、人事リーダー、採用マネジャーと開発者を対象とした同社による調査「State of Tech Hiring 2024」に基づくものだ。 需要の高いプログラミング言語 TOP10 ランキングの結果は以下の通り。括弧内の数字は、その言語のスキルを持つ候補者を求める回答者の割合だ。 関連記事 2024年に人気が出る言語は？　「2023年の言語」はやはりC#に プログラミング言語の人気ランキング「TIOBEインデックス」の2024年1月版が公開された。C#が「2023年のプログラミング言語」となり、Fortran、Kotlin、Scratch、PHPもこの1年で順位を伸ばした。 2023年の言語はC#で決ま

ユーザベースは2月29日、ソーシャル経済メディア「NewsPicks」のアプリやWebサイトで、他の報道機関やメディアの写真を許諾を得ずに掲載し、著作権を侵害していたことを認めて謝罪した。日本新聞協会から著作権侵害の指摘を受けて精査したところ、侵害が認められたとしている。 2024年2月からは、利用許諾を得た報道機関・メディアのコンテンツのみで編成する方針に切り替えた。著作権侵害による経済的補償については、誠実に協議・対応するとしている。 NewsPicksのアプリ、Webの「ワールド」「ビジネス」「今日のニュース」「話題をまとめ読み」などのコーナーや、PC版のコメントページに、利用許諾を得ていない写真などを掲載したことが著作権侵害だったとしている。 また、NewsPicks上に掲載するために、元の写真・画像をトリミングしたことについて、同一性保持権を侵害していたと認めた。 2月から、許諾

ぜんぶ翻訳 「AI と著作権に関する考え方について」への協議 CISACについて 私は、国際作家・作曲家協会連合である CISAC を代表してこの文章を書いています。 CISACは、著作者団体の世界的なネットワークとして、116カ国から225の団体が加盟しています。 CISACは、会員を通じて、音楽、演劇、文学、オーディオビジュアル、グラフィック、ビジュアル・アートなど、あらゆる芸術分野の500万人以上のクリエイターの利益を代表しています。 CISACは、「人工知能と著作権に関する協議」について、日本政府にコメントを提出する機会を得たことを嬉しく思います。 AIについて このテクノロジーは人間の創造性を高め、イノベーションを支援する一方で、クリエイターの権利や生活を脅かす存在にもなっています。 重要な問題のひとつは、テキストマイニングやデータマイニング（TDM）を含むAIの学習目的で、権利

この度縁あって『増補改訂版 Python クローリング & スクレイピング, 加藤耕太 著, 2019年, 技術評論社』（以下、本書）を技術評論社よりご恵贈賜りました。