jupyter/datascience-notebookなどのJupyterのDockerのTips - Qiita
jupyter/scipy-notebookや、jupyter/datascience-notebookなど、JupyterをDockerで使える(Jupyter Docker Stacks)についてまとめてみます。 このdockerイメージは、例えば普段使っているPCはWindowsやMacだけど、Linuxでしか動かないモジュールを使いたい人や、データ分析のタスクで、本番環境と開発環境を同じにしつつJupyterで開発したい人などはよく使っていると思います。ただこのdockerイメージは少し癖が強くデフォルトの状態で起動するとapt-getすらできないとか使い方がよくわからない部分があると思います。そこでこの記事で個人的にTipsをまとめてみました。 また私が使っているDocker + VSCode + Remote Containerのリポジトリもアップします。 SolKul/vsc
ChatGPTとLangChainで便利な検索ツールを作る - Qiita
この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、何でもできるAIをコンセプトに個人開発したものです。 よかったら見てみてください。 CreateToolAGI：ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです! 今回はLangChainやllama-indexなどのOSSを使いURL vector searchという，URLを与えるだけでベクトルデータベースを作成し，質問を与えると類似している内容のURLとそのリンク先ごとに質問内容を踏まえた説明を出力してくれるツールを作成しました． まとめサイトや個人のブログなどでChatGPTを使った検索や内容の解説をさせたりする際に参考になるかと思います．実装内のプロンプトを書き換えればそれぞれのサイトにあったものが構築できると思います． 記事に誤り等ありましたらご指摘いただけま
AWS Lambdaで並列処理を行うことで処理を高速化する(Python編) - Qiita
はじめに みなさんAWS Lambda(以降はLambdaと表記)使ってますか？ Lambdaには対応している言語が複数あるので、Go言語で記述されている方、Node.jsで記述されている方、Pythonで記述されているかたなど、 様々いらっしゃるかと思います。 APIのバックエンドとしてLambdaを設置する場合、Lambdaの処理時間は出来る限り短くしたい、と思われる方がほとんどだと思います。 理由としては、下記が挙げられるかと思います。 API Gatewayの時間制限が29秒のため、29秒を超える処理が出来ない APIの呼び出しに時間がかかると、ユーザービリティを著しく損なう では、Labmbdaの処理時間を短くしたいのですが、方法としては下記があります。 Lambdaの性能を上げる Lambdaの中で並列処理(マルチスレッド化、マルチプロセス化)を行う 今回は、Lambdaでの並
watsonx.ai と langchain を使用して、長めの文章を要約してみた - Qiita
初めに watsonx.ai においても、他のLLMと同様に、Tokenの制限があり、長い文章だとToken不足で正常に要約できない場合がある。 そこで、LangChainのSummarization（Map-Reduce)機能を使用して、長めの文章の要約をためしてみました。 ※LangChian:ChatGPT等のLLMを用いたアプリケーション開発を効率的に行うためのライブラリ https://www.langchain.com ※Map-Reduceによる要約 文章をいくつかに分割して、分割した単位で、LLMで要約を実行。分割してできた要約結果を結合し、 再度LLMで要約を実施。最終的なアウトプットとなる。 https://python.langchain.com/docs/use_cases/summarization 実行例 要約に使用する文章は、WikipediaでIBMの項目を
Macでgifアニメーションを作る恐らく一番楽な方法 - Qiita
# ffmpeg -i [変換元の動画ファイル] -r [フレームレート] [変換後のgifファイル] ffmpeg -i ~/Desktop/画面収録\ 2020-06-22\ 18.29.41.mov -r 10 ~/Desktop/20200622.gif 5秒くらいで変換できると思います。 ffmpeg はオプションがたくさんあるので、細かくやりたい人は色々設定してみてください。 フレームレートだけ変えれたら良いかなって自分は思っています。 オススメは 10 これで、変換したファイルをアップロードすればgifアニメーションが完成です！ ↓こんな感じ Qiitaなどなら、ドラッグ&ドロップで自動でいい感じにしてくれます。投稿したいページなどで確認してください。だいたい動くと思います。 参考 ffmpeg --help ffmpeg version 4.3 Copyright (c)
自然言語によるタスク指示で、所定の処理に所定のAPIを使うよう誘導する - Qiita
背景 一連の処理から成るタスクを自然言語でLLMに指示する場合、「この部分はLLMのchain of thoughts / planningに任せず、所定のpython関数や所定のAPIコールで行いたい」という場合があると思います。そんなときに同様の話を 参考issue: https://github.com/hwchase17/langchain/issues/832 で見つけたので、自分用にまとめてみました。 LangChain × OpenAI の枠組みで検証していますが、一般化すれば「LLM promptingとplanningの話」だと思っています。 概要 langchainカスタムツールのdescriptionをうまくpromptingすることで、 所定処理だけをそのtoolに誘導し 処理の入出力をそのtool func用の形式（例えばJSON化したdict）に誘導できる to
LangChain + Claude3(Amazon Bedrock) を動かしてみる 〜ローカル実行編〜 - Qiita
はじめに こんにちは！yu-Matsuです！ 皆さんBedrockしていますでしょうか。 3/4に Anthropic Claude3 が発表され、界隈はかなり盛り上がっていますね！ 特に Claude 3 Opus はあのGPT4を性能で上回るとのことですから、注目されています。それだけでなく、画像処理が出来るのもかなり魅力的です！ そんな Claude3 ですが、つい先日、PythonのLangChainからBedrockのClaude3 Sonnetが呼び出せるようになったので、試してみたいと思います！ なお、記事のタイトルを「ローカル実行編」としているのは、今回で検証した内容を LINE Bot に乗せて、画像情報も取り扱える AI LINE Bot を作ろうとしているからです。こちらは実装次第別途記事にしたいと思いますので、お楽しみに！ 事前準備 まずは何よりもBedrock上で
LangChainでPDFを要約してかんたんな日本語に変換するWebアプリを作ってみた - Qiita
はじめに LangChain入門ついでに何かシンプルなアプリケーションを作れないかと思い、PDFを要約してかんたんな日本語に変換するWebアプリを作ってみました。 上記は令和4年版情報通信白書の第4章第7節「ICT技術政策の推進」を要約したものです。 難しい言い回しもある程度やさしく変換されるので、内容が堅くとっつきにくい文章をざっくり把握したいときに使えそうです。 この記事では、主にLangChainを使用して実装した部分を解説します。 LangChainを使用した実装 前提として、モデルはgpt-3.5-turboを使用しています。 この場合、モデルのインスタンス生成にはChatOpenAIを使う必要があります。 llm = ChatOpenAI(model_name=MODEL_NAME, temperature=TEMPERATURE) LangChainのissueでも案内があり
LCEL形式になったLangChainにおけるReActの処理の流れ - Qiita
前回 概要 前回のLangChainを用いてReActフレームワークの理解からバージョンの更新が進み、 LangChain Expression Languageという記法が導入されました。 記法の導入に伴い前回（v0.0.198）からLangChainの中身が大きく変わっていましたので、中身について改めて確認したものとなります。 Agentを改造する際にどの部分を見ればよいかの手助けとすることが目的です。 確認した今回のLangChainのバージョン langchain 0.1.4 langchain-community 0.0.16 langchain-core 0.1.17 langchain-openai 0.0.5 langchainhub 0.1.14 LCELによるReActの実装の説明 LCELを用いたReActの実装については以下のページをベースとして考えます。 http
Chroma db × langchainでpersistする際の注意点 - Qiita
Documentオブジェクトからchroma dbでデータベースを作成している。最初に作成する際には以下のようにpersistディレクトリを設定している。 db = Chroma.from_documents(documents, embeddings, persist_directory=persist_directory, collection_name="pdfs") しかし、ボットを再起動すると、persist済みのディレクトリを指定してそこからデータベースを作成したにも関わらず、推論時に Index not found, please create an instance before queryingと言われてしまった。 Githubのissueを見てみると、同様のエラーが挙がっていた。 https://github.com/hwchase17/langchain/issues
OpenAI の Embeddings API はイケてるのか、定量的に調べてみる [AWS の Embeddings を追加] - Qiita
OpenAI の Embeddings API はイケてるのか、定量的に調べてみる [AWS の Embeddings を追加]Python自然言語処理OpenAIbertembedding TL;DR OpenAI の Embeddings を JSTS で評価したところ、 BERT を JSTS でファインチューニングした場合には劣るものの、分散表現を得る手法としては十分な性能を持っていることが分かった。 Amazon Titan Embeddings が 2023 年 9 月 29 日に GA (一般提供) になったので追加調査したが、 JSTS スコアは OpenAI がまさった。 Cohere Embed Multilingual が Amazon Bedrock にて 2023 年 11 月 13 日に利用可能になったので追加調査したが、 JSTS スコアにおいて OpenAI
![OpenAI の Embeddings API はイケてるのか、定量的に調べてみる [AWS の Embeddings を追加] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/be9e9d2c068ced038e3e8d2c654a137f1b82d114/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9T3BlbkFJJTIwJUUzJTgxJUFFJTIwRW1iZWRkaW5ncyUyMEFQSSUyMCVFMyU4MSVBRiVFMyU4MiVBNCVFMyU4MiVCMSVFMyU4MSVBNiVFMyU4MiU4QiVFMyU4MSVBRSVFMyU4MSU4QiVFMyU4MCU4MSVFNSVBRSU5QSVFOSU4NyU4RiVFNyU5QSU4NCVFMyU4MSVBQiVFOCVBQSVCRiVFMyU4MSVCOSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiUyMCU1QkFXUyUyMCVFMyU4MSVBRSUyMEVtYmVkZGluZ3MlMjAlRTMlODIlOTIlRTglQkYlQkQlRTUlOEElQTAlNUQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTJhNGI3NTJhYmUwYTUzMGFkODk3YzNkNGYxOWUxZjgw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwYWtleWhlcm8lMjBpbiUyMCVFNiVBMCVBQSVFNSVCQyU4RiVFNCVCQyU5QSVFNyVBNCVCRSVFMyU4MiVCMCVFMyU4MyVBRCVFMyU4MyVCQyVFMyU4MyU5MyVFMyU4MiVCOSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZTc5NzE4ZTQ4NTI4MjdiYjFmYWNiYmVjMjhkZTNiOTU%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D892bb4ae55a3336049e0a03113b5d4b3)
RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
TypeScript(Next.js)のCIをGitHub Actionsで構築してみる！ - Qiita
はじめに こんにちは、H×Hのセンリツ大好きエンジニアです。 自分で新規プロダクトを開発してみよう！となった際に、「CIを最初に作っておくと便利だから作ってみるか〜」という軽い気持ちで手を出してみました。 （思ったより苦戦しました。。。） なので、同じ思いを抱いている方に少しでも楽をして欲しいので、記事に書きました！ フロントエンド(TypeScript)とバックエンド(Golang)のCIを作成したのですが、今回はフロントエンドについてです。バックエンドも記事を書いたら載せます。 GitHub Actionsとは？ こちらの記事が非常に分かりやすいので、詳しく知りたい方は参考にしてみて下さい！（他力本願寺） 【初心者向け】【入門】GitHub Actionsの書き方についてデバッグ設定、runs-onやcheckoutなどの仕組みや構造も含めて徹底解説 簡単に言うと、GitHub上でCI
画像から文字を瞬時に読み取る！Tesseractとpytesseractの驚異の力【Python】 - Qiita
Tesseractとpytesseractで画像から文字を読み取る 画像から文字を読み取るには、OCR（Optical Character Recognition）技術を使用します。 PythonでOCRを実装するためには、TesseractというオープンソースのOCRエンジンと、それをPythonで使えるようにしたライブラリであるpytesseractを使用します。 事前準備 Tesseractのインストール 以下からTesseractをインストール。 Windows: https://github.com/UB-Mannheim/tesseract/wiki macOS: brew install tesseract Linux: sudo apt install tesseract-ocr ■ 環境変数にパスを入れる。 Windowsの場合はデフォルト以下
FastAPIを用いたAPI開発テンプレート - Qiita
はじめに FastAPIはPythonのWEBフレームワークで、同じ分類のフレームワークとしてFlaskやDjangoなどが挙げられます。FlaskとDjangoはよく比較され、Flaskが最小限のコードで書き始められるシンプルなマイクロフレームワークと呼ばれるのに対し、Djangoはログイン機能、データベース管理などが初めから備わっておりフルスタックフレームワークと呼ばれています。 FastAPIはFlaskと似ているマイクロフレームワークで公式ドキュメントでは次のように紹介されいます。FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するためのモダンで高速(高パフォーマンス)な、Web フレームワークです。[1] 本記事では、以下の内容を扱います。 特徴である型ヒントとそれにより実現できるAPIドキュメントの自動生成 SQLAlch
【Python】Poetry で設定してFastAPIを使う環境構築 - Qiita
はじめに いろいろ version up をしたいのですが、ここではpoetry を使ったpython のコード開発の方法をはじめるための調査結果をメモしておきます。 おじさんがやりたかったのは、 WSL2(Ubuntu20.04), Linux (Ubuntu22.04)で開発。ターミナルとVisual Studio Code で。 python の仮想環境とパッケージ管理ができるのか そのままDockerイメージ作れる というこれまで virtualenv を用いていた環境をそのまま poetry, pyproject.toml で管理できるようにしたい、というのが目的です。 特に仮想環境が含まれるているのかよく分からない状態だったので、試してみました。できるかな。下記に作業結果を置いてあります。 内容 準備 poetry はインストールしなければなりません。本家の指示に従い、インスト
ブラウザで簡単画像リサイズ！Jimpライブラリの活用ガイド - Qiita
JimpをWebアプリケーションで使用するための手順をまとめます。Jimpは純粋なJavaScriptで書かれた画像処理ライブラリで、Node.js環境だけでなくブラウザ環境でも使用できます。以下の手順では、ウェブページで画像をアップロードし、Jimpを使って画像を処理し、最終的な結果を表示する一連の流れを説明します。 1. Jimpのブラウザ版を読み込む ウェブページにJimpのブラウザ版を読み込みます。CDNを介して簡単に追加できます。 <script src="https://cdn.jsdelivr.net/npm/jimp/browser/lib/jimp.min.js"></script>
Next.js のための Remark / Rehype 入門 - Qiita
この記事は Jamstack Advent Calendar 2020 4日目の記事です。 はじめに Markdown -> HTML の変換に使われる事が多い、Remark / Rehype について書いていきます。 検索すると、Gatsby.js のプラグイン関連の記事は結構出てくるのですが、素の Remark / Rehype にフォーカスを当てた記事は少ないので、よく分からないまま使っているという人も多いのではないでしょうか。 全体像 実はこれらは、Unified と呼ばれるエコシステムの一部に属しています。その中でも、 Markdown を扱う処理系が Remark HTML を扱う処理系が Rehype となっています。 処理の仕組み その処理の仕組みは、Babel や PostCSS によく似ていて、 Parse : 文字列を AST に変換する Transform : AS
zsh: no matches found: HEAD^と出たときの解決策 - Qiita
コミットを取り消したい Node.jsでプロジェクトを始めようと思ってたら間違えて、node_modules一式もコミットしてしまった。 ヤバイヤバイ、と思ってコミットを取り消そうと思う。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChain+Chromaを使ってLangChainの専門家を作ってみる - Qiita
