プログラミング言語のPythonは、データ分析や機械学習の領域で使われるイメージがありますが、様々なサービスのAPIを利用することも簡単にできます。 今回は、Pythonを使ってGoogleのCustom Search APIを利用し、Google検索結果を取得するプログラムを作成してみようと思います。 １．Google Custom Search APIとは Google Custom Search APIは、Googleの検索結果の情報をJSON形式で返してくれるAPIです。 ■Custom Search JSON API なお、Google検索結果を取得する方法として、Pythonでスクレイピングという手段も考えられますが、Googleは許可なく検索結果をスクレイピングすることを禁止しているようです。 そのため、スクレイピングではなく、Googleが提供しているAPIを使って検索結果

すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返

データサイエンスの分野では、PythonとRスクリプトを組み合わせて使用することが一般的です。この記事では、PythonとRスクリプトを効果的に連携させ、データサイエンスの実践的な応用例に焦点を当てて解説します。 PythonとRの連携の重要性 Pythonは機械学習や深層学習などの分野で強力であり、豊富なライブラリが揃っています。一方で、Rスクリプトは統計解析やデータ可視化において優れた性能を発揮します。これらの言語を組み合わせて使用することで、データサイエンティストは幅広いツールを手に入れ、柔軟かつ効率的に分析を行うことができます。 PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出す方法として、subprocessモジュールを使用することができます。以下は、PythonからRスクリプトを呼び出す基本的な例です。 import subprocess # Rスク

コーディング面接に使われるWebサービスなどを手掛けるCoderPadは2024年1月17日（米国時間）、「需要の高いプログラミング言語 トップ10」を発表した。ランキングは、技術者の採用担当者、人事リーダー、採用マネジャーと開発者を対象とした同社による調査「State of Tech Hiring 2024」に基づくものだ。 需要の高いプログラミング言語 TOP10 ランキングの結果は以下の通り。括弧内の数字は、その言語のスキルを持つ候補者を求める回答者の割合だ。 関連記事 2024年に人気が出る言語は？　「2023年の言語」はやはりC#に プログラミング言語の人気ランキング「TIOBEインデックス」の2024年1月版が公開された。C#が「2023年のプログラミング言語」となり、Fortran、Kotlin、Scratch、PHPもこの1年で順位を伸ばした。 2023年の言語はC#で決ま

価格.com: 商品価格比較サイトの利用方法とPythonによるスクレイピング 価格.comとは 価格.comは、日本国内で最も有名な商品価格比較サイトの一つです。家電製品、家具、ファッションアイテムなど、さまざまな商品の価格を一覧で比較することができます。また、ユーザーレビューや評価も掲載されており、商品選びの参考になります。 価格.comの特徴 豊富な商品情報: 価格.comには、数多くの商品情報が掲載されています。家電製品やゲーム機、食品や衣料品など、さまざまなカテゴリーの商品が網羅されています。 価格比較機能: 価格.comでは、同じ商品を複数の店舗で比較することができます。これにより、最安値やお得なセール情報を簡単に見つけることができます。 ユーザーレビュー: 商品ごとにユーザーレビューや評価が掲載されており、実際の利用者の意見を参考にすることができます。これにより、購入前に商品

この度縁あって『増補改訂版 Python クローリング & スクレイピング, 加藤耕太 著, 2019年, 技術評論社』（以下、本書）を技術評論社よりご恵贈賜りました。

開発経緯 Pythonでapiってどうやって作るんだろうってなったので試しに作ってみただけです。 阿波連さんを見てたら一瞬で開発終わった。 作ったもの curl https://mcapi.ziaenso.me/status?address=<サーバーアドレス>&port=<ポート> で呼び出せます。 address=でアドレス又はIPを指定します。これは必須。 port=でポートを指定します。25565番の場合は必要ないです。 jsonで帰ってきます。 ハイピクセルでやってみるよ。あとcurlだとjsonが見にくいのでブラウザでやりました。

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

Python3におけるWEBスクレイピングのやり方について初心者向けに解説した記事です。 Requests、Beautiful Soup、Selenium、Pandas、newspaper3kなどの基本的なライブラリの使い方を、サンプルコード付きのチュートリアル形式で、具体的な例を用いて解説していきます。 またこれらのライブラリについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。 >> 「Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）(Udemyへのリンク) WEBスクレイピングとは、スクレイピングのやり方WEBスクレイピングとは、WEBサイトからデータを自動的に取得し、必要な情報の抽出・加工などを行うこ

Webスクレイピングってよく耳にするけど、何のこと？ PythonでWebスクレイピングをする方法が知りたい！ 今割と界隈ではお熱であるWebスクレイピングですが、あなたは知っていますか？ Webスクレイピングとはウェブサイトから任意の情報を取得する技術です。スクレイピングができると、プログラマとしてもスキルの幅が広がりとても便利です。 ぼくも様々な方法でスクレイピングを行なっていますが、その技術のみで仕事も取れるくらい需要のあるスキルですので、是非マスターしてきましょう！ 今日は、

IT業界は変化が激しく、人気の言語も時代とともに移り変わっていきます。最新の情報を追い続けるのは簡単ではないので、「将来性のある言語はどれ？」「単価が高くて稼げる言語は？」と気になっている人も多いのではないのでしょうか。 本記事では、「レバテックフリーランス」に蓄積されたデータを元に、プログラミング言語別の月単価・案件数を集計しランキングを作成しました。ランキング上位の言語については、将来性や市場価値を上げるためのポイントなども紹介しています。今回のランキングデータを元に、今後の案件選びやスキルアップの参考にしてみてください。 最新版のランキングはこちら▼ 【1位はGoの87万円】プログラミング言語別単価ランキング｜2023年7月最新版 ※本記事の調査結果や画像を引用する際は【レバテックフリーランス調べ】とご記載ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェ

動画教材紹介私(清水 義孝)が作成したコース「Pythonによるビジネスに役立つWebスクレイピング」(Udemyへのリンク)が発売中！ 発売数９,０００本突破を記念して、今だけ期間限定で８７%オフの大セール中！！！ Pythonにおけるデータ型の定義(指定)方法変数名を付けた後に、通常は代入という変数に対して値を設定する処理をします。Pythonでは、その際に代入した値によって変数のデータ型（数値、文字列など、どのようなタイプのデータか）が決まります。 例えば変数testに対して文字列'abc'を代入すると、 変数testのデータ型はstr（文字列）になり、 一方で、変数testに対して整数6を代入すると、 変数testのデータ型はint（整数）になります。 Pythonにおけるデータ型の種類一覧Pythonの主なデータ型は以下になります。

※2024年9月時点での情報 Pythonの副業内容 Pythonのおもな副業内容は以下のとおりです。 Webサイトの情報収集 自動化ツール開発 Webツール作成 データ分析 Pythonの案件や需要は今後も増えていく見通しのため、未経験・初心者でもPythonで副業できるチャンスがあります。 Pythonの学習を始める前に、Pythonではどのような副業ができるのか確認しておきましょう。 Webサイトの情報収集(スクレイピング) Pythonの副業で多い仕事内容は、Webサイトの情報収集です。 例えばWebサイトの情報を収集する場合、以下のように複数種類のデータを一度に取得できるのがスクレイピングです。 メディアファイル 記事URL 各種ファイル情報 スクレイピング自体はPython未経験者でもできますが、案件によって難易度が大きく異なります。 著作権や動産不法侵入といった法律に触れてい

この記事では、newspaper3kというライブラリを使ってPython初心者でも簡単にできるスクレイピングの方法を確認していきます。ここでは、ニュースサイトのトップページに表示されている複数の記事を順に巡回し、記事を取得する方法を紹介いたします。 newspaper3kのインストール方法や基本的な使い方については、以下の記事をご覧ください。リンク先の記事では、newspaper3kの基本的な使い方を理解する為、ニュースサイトから１つの記事をピックアップし、その記事の全文やサマリー、キーワードを取得しています。

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 Pythonでは、newspaper3kというライブラリを利用して、非常に簡単にテキストデータをWEBサイトから自動的に取得することができます。 ニュースサイトやブログから、 自動的にデータを取得し保存したい。キーワードを取得して、トレンドを把握したい。自然言語処理を用いてサマリーだけを取得したい。という場合に利用すると便利です。 これを応用して、次のようなこともできます。 ニュースサイトのトップページに表示されている複数の記事を順に巡回し、ニュース記事やサマリー、キーワードをダウンロードし、後からまとめて読む。ブログ村やはてなブログなどのブログサイトや、個人ブログのトップページに表示されている複数の記事を順に巡回し、ブログ記事

最近、プログラミング言語Python（パイソン）の人気が高まっています。Pythonを使いこなせば、Excel操作やWeb操作からデータ分析まで、さまざまな作業を自動化することができ、DXを進める際に、必要な要素を兼ね備えていることが人気の理由の一つです。 今回は、Web上に存在するデータを自由自在に取得すること、いわゆる「スクレイピング」について実際にプログラミングを動作させながら体験をします。 スクレイピングを行い、自由自在にWeb上からデータを取得できれば、下記のような幅広い用途に使用することが可能です。 ・「デジタル・AIを使った新技術」など、新規事業のための情報収集を行う ・自社商品のマーケティングのために、競合他社の値段設定を収集する ・WEBからExcelなどへ、転記を行っている業務を自動化する 本セミナーでは「Pythonとは」という基本的な部分から、スクレイピングを行う際

国内におけるIT人材不足の深刻化を背景に、ITエンジニアといったプログラミングスキルがある人材の需要は増し、他の職種に比べ高い報酬を設けるケースが増えてきました。 そんな現状から、プログラミングに関心を抱いている人も多いですよね。 なかでも「Python」は、国外を問わず人気が高いプログラミング言語の1つです。AI開発に活用できる汎用性や需要の高さから、就職・転職や副業を見据えた習得に適した言語といえます。 本記事では、Pythonというプログラミング言語の特徴を、できることや将来性も交えわかりやすく解説します。Pythonを扱う代表的な職種も紹介するので、ぜひ参考にしてください。 また、次の動画でも「Pythonとは何か」を解説しているので、良ければご覧ください。