こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

IT業界は変化が激しく、人気の言語も時代とともに移り変わっていきます。最新の情報を追い続けるのは簡単ではないので、「将来性のある言語はどれ？」「単価が高くて稼げる言語は？」と気になっている人も多いのではないのでしょうか。 本記事では、「レバテックフリーランス」に蓄積されたデータを元に、プログラミング言語別の月単価・案件数を集計しランキングを作成しました。ランキング上位の言語については、将来性や市場価値を上げるためのポイントなども紹介しています。今回のランキングデータを元に、今後の案件選びやスキルアップの参考にしてみてください。 最新版のランキングはこちら▼ 【1位はGoの87万円】プログラミング言語別単価ランキング｜2023年7月最新版 ※本記事の調査結果や画像を引用する際は【レバテックフリーランス調べ】とご記載ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェ

インターネットから情報やデータを得るのは、今や常識です。しかし、インターネット上には膨大な量のデータがあるため、人間が手動で収集を行うのは不可能に近いのも現実です。そんな問題を解消しWebデータ収集用に開発されたのが、Webスクレイピングツールです。Webスクレイピングツールを使用すれば、手間をかけずに分析が可能なデータを収集できます。 この記事では、Webスクレイピングのメリットを解説した上で、おすすめのツールを9個紹介します。Webデータ収集や、データの分析をする業務を行っている方は、ぜひ参考にしてください。 そもそもWebスクレイピングとは？ Webスクレイピングとは、Webサイト上にあるデータの中から、必要なデータだけを抽出する方法のことです。さらに、データの抽出だけではなく、分析をしやすいようにデータを加工した状態で入手することができます。スクレイピングはクローリングとは異なり、

この記事では、newspaper3kというライブラリを使ってPython初心者でも簡単にできるスクレイピングの方法を確認していきます。ここでは、ニュースサイトのトップページに表示されている複数の記事を順に巡回し、記事を取得する方法を紹介いたします。 newspaper3kのインストール方法や基本的な使い方については、以下の記事をご覧ください。リンク先の記事では、newspaper3kの基本的な使い方を理解する為、ニュースサイトから１つの記事をピックアップし、その記事の全文やサマリー、キーワードを取得しています。

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 Pythonでは、newspaper3kというライブラリを利用して、非常に簡単にテキストデータをWEBサイトから自動的に取得することができます。 ニュースサイトやブログから、 自動的にデータを取得し保存したい。キーワードを取得して、トレンドを把握したい。自然言語処理を用いてサマリーだけを取得したい。という場合に利用すると便利です。 これを応用して、次のようなこともできます。 ニュースサイトのトップページに表示されている複数の記事を順に巡回し、ニュース記事やサマリー、キーワードをダウンロードし、後からまとめて読む。ブログ村やはてなブログなどのブログサイトや、個人ブログのトップページに表示されている複数の記事を順に巡回し、ブログ記事

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 WEBサイトに公開されている情報は、テキスト情報や画像、動画など様々な情報がありますが、その中の１つとしてテーブルに格納されている情報があります。 Pythonのデータ分析用ライブラリPandasではread_htmlという関数を利用して、WEBサイト上のテーブルに格納されているデータを非常に簡単に取得することができます。 また取得したデータはPandasのDataFrame（データフレーム）と呼ばれるデータ構造を利用してすぐに分析やグラフ化、データ保存することもできます。（DataFrameの詳しい説明は、こちら「Pandas DataFrameの基本」を参照ください。） これらPandasを用いたWEBスクレイピング方法は、

Webスクレイピングとは？Webスクレイピングとは、Webサイトから大量の情報を自動的に抽出するソフトウェア技術のことです。 データの多くはHTML形式の非構造化データであり、スプレッドシートやデータベースの構造化データに変換することで様々なアプリケーションに利用することができます。 Webサイトから入手した情報を加工して新たな情報として生成されるため、手動でデータ収集を行う際に掛かる手間や時間の大幅な削減が見込めます。 Webスクレイピングの構成WebスクレイピングはWebクローラーとWebスクレーパーの２つの仕組みで構成されています。 WebクローラーWebクローラーでは、インターネット上でコンテンツのインデックスを作成、検索を行います。 一般的にはWebや特定のサイトを「クロール」してURLを発見し、Webスクレーパーに渡します。 WebスクレーパーWebスクレーパーとは、Webペー

Pythonの開発環境にはいくつかの種類があり、代表的なのが「Anaconda」（アナコンダ）だ。Anacondaの概要やインストール方法、基本的な使い方を紹介する。 Anacondaを使って、プログラムを作りましょう。Anacondaには様々なツールが同梱されており、開発するプログラムの内容に応じて、使いやすいツールを選べます。本稿では、「Anaconda Navigator」（アナコンダ・ナビゲーター）を使ってツールの一覧を確認した後に、Anaconda PromptとJupyter Notebookを使ってプログラミングを行います。 Anaconda Navigatorでツールを確認する 「Anaconda Navigator」は、Anacondaに同梱されている各種のツールを起動するためのソフトウエアです。Pythonの実行環境を管理する機能もあります。いくつかのツールはWindo

この記事では、PythonでYahoo!天気をスクレイピングしてデータ取得する方法について紹介します。 [jin_icon_pencil color=”#405796″ size=”12px”]行うこと Yahoo!天気から今日の天気と明日の天気を取得する。 https://weather.yahoo.co.jp/weather/jp/13/4410.html 事前準備 今回紹介するコードでは「requests」と「BeautifulSoup」を使用します。 pip install requests pip install beautifulsoup4 サンプルコード import requests from bs4 import BeautifulSoup def GetYahooWeather(AreaCode): """ Yahoo天気予報をスクレイピングする関数。 Paramete

動画教材紹介私(清水 義孝)が作成したコース「Pythonによるビジネスに役立つWebスクレイピング」(Udemyへのリンク)が発売中！ 発売数８,５００本突破を記念して、今だけ期間限定で８７%オフの大セール中！！！ Requestsとはrequestsとは、HTTP通信用のPythonのライブラリです。主にWEBスクレイピングでHTMLやXMLファイルからデータを取得するのに使われます。 インターネット上に公開されているWEBサイトでは広くHTMLやXMLが使われており、これらの情報の取得に大変便利なライブラリです。 スクレイピングは、大まかに３つのステップに分けることができます。 １つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。 そこで２つ目のデータの

データ分析や AI技術が進歩するにつれて「データ収集」が注目され、それとともにデータ収集法である「スクレイピング」が注目を浴びています。スクレイピングは自社でデータを蓄積していない場合でも手軽に使えるという点で便利です。今回はその「スクレイピング」について解説します。 スクレイピングとは？ スクレイピングとは、任意の Web サイトやプログラムなどから入手したデータを解析し、不要な部分を取り除いて特定の情報のみを抽出し、ソフトウェアで処理がしやすいように整形するコンピュータソフトウェア技術を指します。スクレイピングは、「こする」や「かき集める」といった意味を持つ英語「Scraping」が語源となっています。「Webスクレイピング」と呼ばれることもあります。近年は、データや情報の価値が高まるとともに、スクレイピングを利用し始める企業も増えました。 この技術はさまざまな場面で利用されています。

特定のWebサイトを定期的にチェックしている読者は多いだろう。例えばテック系ニュースサイトの閲覧は、技術情報の収集には欠かせない。業務に特化した情報収集もある。ネットワーク管理者であれば、ネットワーク機器などの脆弱性情報を定期的に取得しているだろう。 しかし脆弱性情報はそう頻繁に更新されるわけではない。手作業で個々のベンダーのWebサイトにアクセスしても、空振りに終わることは少なくない。 このため、こうした作業は自動化するのがよい。漏れや抜けをなくし、しかも素早く情報を収集できる。そこで使われるテクニックが、Webサイトに掲載された情報から必要なところだけを取得する「スクレイピング▼」である（図1-1）。

こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの「つらみ」があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には