話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握する - Qiita
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与
【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita
個人開発で 賃貸物件の検索サービス Comfy を作りました1。グラフや地図でサクサク絞り込める UI が特徴のサービスです。とにかく気持ち良い使い勝手を実現するために色々工夫しています。 既にリリースからは 4 ヶ月以上経っているのですが、改めてサービスの概要や、システム構成及び使用した技術・サービスをご紹介しようと思います。2。 サービスの概要 Comfy は日本全国の賃貸物件を検索できる Web サービス です。画面 UI は上の GIF 画像のような感じです。 こだわったポイントを色々書くよりも実際にさわって頂いた方が新感覚の UI や気持ちよさを体感頂けるかと思いますので、 実際のサービス をぜひお試し頂ければ幸いです！ システム構成 図の通り、システムは大きく 3 つに分けられます。 フロントエンド バックエンド データ基盤 使用技術は図の通りではあるのですが、フロントエンドと
Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita
目次 はじめに 2Captchaとは 2Captchaの使用準備 Python+Selenium+2Captchaで『reCAPTCHAv2』を突破 さいごに 参考 はじめに スクレイピングやブラウザ操作の自動化タスクにおける一番の難所は各種キャプチャの突破だと思います。そもそもキャプチャ機能はロボット操作されないために設置するものなので，それを突破しようとする時点でどうなのという気はしますが，それでもなんとかしたいと思うことがあります。そんなときの解決方法として「2Captcha」というサービスがあります。 最近このサービスを知り利用してみたところ，あまりに簡単にキャプチャ突破できたので，ここで紹介しようと思います。 ※ ご利用は自己責任でお願いします。くれぐれも悪用しないように。 2Captchaとは ロシアの会社が提供するキャプチャ機能を突破するためのサービスです。 2Captcha
Vtuberのチャットログを取得するシステムをpythonとGoogle Cloudで構築した話 Ver.2｜おあ
バーチャルYoutuber（通称Vtuber）のチャット欄をデータとして抜き出すことができれば、スパチャ金額の合計を調べたり、草コメントの数を調べたりすることができる。 以前、Vtuberの配信アーカイブからチャットログを抜き出すシステムを構築した。今回はそれをパワーアップさせたので紹介する。 システム全体像 システム全体像はこんな感じ。前回から引き続き、Google Cloudで構築した。サーバーは使わないアーキテクチャにしている。システムの流れは以下のようになる。 0. httpリクエストでシステム起動 1. Youtube Data APIから動画情報を取ってCloud Storageに保存 2. チャットログ未取得の動画IDをPub/Subに送る 3. 動画のチャットリプレイが有効か調べる 4. 有効ならばチャットログURLを取得してPub/Subに送る 5. チャットログを取得し
Google翻訳とPythonを使ってPDF論文を一発で翻訳する - Qiita
概要 Google翻訳APIをPythonで実行するでは、四苦八苦しながらも、Google翻訳APIにより、テキストファイルに書かれた英文を日本語に翻訳するPythonスクリプトを書いた。 元々の動機は論文の翻訳する際に、ちまちまGoogle翻訳にコピペするのが面倒くさいということであった。 そこで今回は、Pythonスクリプトを拡張し、PDFの論文を一気に翻訳するようにしたので共有したい。 そもそもなんで日本語に翻訳して論文を読むの？ もちろん、細かい内容は原文を精読する必要がある。そりゃそうだ。 日本語で読む理由はなんといっても、論文の内容を俯瞰的に把握できるということに尽きる。 俯瞰的に把握できることで、以下のメリットがある。 俯瞰的に把握した上で原文を読むことになるため、より早く理解することができる。 俯瞰的に把握できるため、原文を読む前に、自分にとって読む必要がある論文かどうかか
Google Colaboratoryを使えばブラウザ上でPythonの実行環境が簡単に手に入る - タダケンのEnjoy Tech
こんにちは! タダケン(@tadaken3)です。 Googleが機械学習の教育や研究用に提供しているGoogle Colaboratoryを試してみました。ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクトです。Chromeのデスクトップ版で動作します。 Colaboratoryを使えば、Chromeブラウザ上で無料でPythonの実行環境を手に入れる ことができます。今回は、Colaboratoryの使い方を解説します。 バリバリのデータ分析者にも、Pythonでプログラミングを学んでみたいと思っている初学者にもおすすめのツールです。 そもそもJupyter notebookとは Google Colaboratoryを起動する Google ColaboratoryでPythonのコードを実行する 作成したnotebookを保存する まと
TensorFlowを算数で理解する - Qiita
TensorFlowは主に機械学習、特に多層ニューラルネットワーク(ディープラーニング)を実装するためのライブラリになりますが、その基本的な仕組みを理解するのにそうした難しい話は特に必要ありません。 本記事では、TensorFlowの仕組みを、算数程度の簡単な計算をベースに紐解いていきたいと思います。 TensorFlowの特徴 初めに、TensorFlowの特徴についてまとめておきたいと思います。 TensorFlowは、その名前の通りTensor(多次元配列、行列などに相当)のFlow(計算処理)を記述するためのツールです。その特徴としては、以下のような点が挙げられます。 スケーラビリティ PC、サーバー、はてはモバイル端末まで、各マシンのリソースに応じてスケールする。つまり、低スペックなものでもそれなりに動くし、GPUを積んだハイスペックなサーバーであればそのリソースをフルに活用した
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。