ローカルLLMを使った全部盛り(streaming, RAG, Streamlit, ...)の作り方 - Qiita
ローカルLLMを使った全部盛り(streaming, RAG, Streamlit, ...)の作り方PythonstreamingragStreamlitLLM 前回の投稿で一部しか紹介出来ておらず、詳細は別途記事にする予定がだいぶ遅くなってしまいました。今回はStreaming, RAG, Streamlitを使って、アップロードしたPDFファイルの内容に関する質問に、ストリーミング形式で回答してくれるチャットボットの作り方を紹介をさせてもらいます。 各個別の機能の詳細は既にQiitaを始め多くの記事で紹介されていますので、本記事ではちゃんと動かせることに焦点を絞り、全体像を掴んでもらえることが出来ればと考えてます。 １. 前提となる環境 ・Python 3.9以上（ただしGPUで使用する場合はtorchの関係で3.11を推奨）。 ・必要なパッケージ： Pythonのバージョンに合わせ
標的型攻撃ランサムウェア「Ryuk」の内部構造を紐解く | 技術者ブログ | 三井物産セキュアディレクション株式会社
2019年末現在、Emotetによる被害が国内で収まる気配がありませんが、昨年のブログ記事でも言及したように、Emotetはメール情報を窃取するだけでなく、他のマルウェアを呼び寄せるダウンローダーの性質を持つことが特徴の一つです。海外ではすでに以前よりEmotetからTrickBot等、他のマルウェアがダウンロードされているケースが報告されていますが、最近になり、Emotetから最終的に「Ryuk」という標的型攻撃ランサムウェアの感染に繋がるという事例が海外で複数確認されています。つまり、場合によっては日本国内でもいずれRyukの感染被害が明るみに出てくる可能性が今後想定出来なくはありません。 そこで本記事では、標的型攻撃ランサムウェア「Ryuk」についてその詳細を解説します。 ■Ryukとは 2018年夏頃に初めて存在が確認された「Ryuk」という標的型ランサムウェアは、これまで海外で多
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
Chat VectorでLLaVAを日本語対応させる
import torch from transformers import AutoTokenizer, AutoModelForCausalLM from llava.model.builder import load_pretrained_model if __name__ == "__main__": vlm_model_name = "liuhaotian/llava-v1.5-7b" vlm_tokenizer, vlm_model, image_processor, context_len = load_pretrained_model( model_path=vlm_model_name, model_base=None, model_name="llava-v1.5-7b", load_bf16=True, device_map="cpu", device="cpu" )
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
Pythonでおしゃれなアプリを作りたい？ ならpywebviewをオススメします！ - Qiita
1. Pythonでアプリを作りたい 先日、「Pythonで画像処理アプリを作りたい」という相談を受けました。画像処理と言っても複雑な物ではなく、「フォルダ内の画像を一括でトリミング・縮小する」くらいのアプリです。 さて、先方の希望が「画像処理を学びたい」だけならOpenCVやnumpyについて教える流れになると思うのですが、ゴールは画像処理ではなくアプリ開発です。それも、仕様を詳しく理解していないユーザーでも簡単に使いこなせるようなアプリが目標地点のようです。 ふーむ、これは一筋縄ではいきませんね。 ここでPythonに詳しい人ならPython・GUIアプリと聞くとtkinterやQtを思い浮かべると思います。ですが、これらを使って「おしゃれで使いやすい」アプリを作るのはなかなかに骨が折れる作業です。 そこで私はpywebviewをオススメすることにしました。これはhtmlを使って作った
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
Gemini API の File API を試す｜npaka
「Gemini API」の「File API」を試したので、まとめました。 1. Gemini API の File API「Gemini API」は、マルチモーダルプロンプトとも呼ばれる「テキスト」「画像」「音声」によるプロンプトをサポートしています。 小さい画像をプロンプトに含める場合は、ローカルファイルを直接指定できますが、 大きな画像、動画 (画像フレーム)、音声は、「File API」でファイルをアップロードする必要があります。 「File API」は、プロジェクトごとに最大20GBのファイルを保持できます。各ファイルのサイズは最大2GBで、48時間保存され、その期間内に利用できます。「Gemini API」が利用可能なすべてのリージョンで無料で利用できます。 2. サポートしているファイル形式「Gemini」でサポートしているファイル形式は、次のとおりです。 2-1. 画像フォ
Google Colab で BAAI/bge-m3 を試す｜npaka
「Google Colab」で「BAAI/bge-m3」を試したので、まとめました。 1. BAAI/bge-m3「BAAI/bge-m3」は、多機能、多言語、多粒度の特徴を持つ埋め込みモデルです。「JapaneseEmbeddingEval」でも高スコアをマークしています。 ・多機能 : 埋め込みモデルの3つの一般的な検索機能 (dense retrieval, multi-vector retrieval, and sparse retrieval) を同時に実行可能 ・多言語 : 100 以上の使用言語をサポート ・多粒度 : 短い文から最大8192トークンの長文まで、さまざまな粒度を入力可能 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U FlagEmbedding
1行もコードを書かずに画像生成AIツール作ってみた - Qiita
以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト Createは、1行のコードを書かなくても自然言語を使って、高度なAIを搭載したアプリやツールが作成できる生成AI搭載のノーコードツールです。 エンジニアでなくともChatGPT APIやStable Diffusion APIを組み込んだアプリが簡単に作れ
Power Apps・Power Automate・Teamsによる承認者数を自在に設定できるワークフローを作成する - Qiita
はじめに Power Automateには承認機能が存在します。 TeamsとOutlookで申請に対する承認・否認、コメントの付与ができ、簡単なワークフローの構築が実現できます。 UdemyやKindle、Web上にも承認ワークフローの例が豊富に出てくるので、実装までの道のりはそう遠くないです。 ■ Udemyおすすめ ■ Kindleおすすめ Power Automateではじめる業務の完全自動化 Microsoft learnにも例があるので、ステップバイステップで本格的なワークフローの構築も目指せます。 動的な承認段階への対応 ワークフローを作成する中で、 承認段階が固定的ではないと対応が難しい、この点に課題感を感じていました。 多段階への対応を実装するにも、非常にPower Automateフローが冗長になる傾向を感じています。 実際の業務を想定すると、ワークフローを要するシーン
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
Summarize.ing - YouTube動画の瞬間要約 | AIによるコンテンツダイジェスト
OpenAI aims to restrict harmful uses of AI like misinformation while enabling beneficial ones.Demand for AI compute power will drive breakthroughs in fusion, solar and energy storage.AI will augment and enhance human productivity more than replace jobs.OpenAI seeks partnerships with news publishers to properly attribute content.Advanced AI may discover new scientific knowledge and even do AI resea
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
AI で文章をかしこく比較！ Sentence-Transformers のご紹介 | SBテクノロジー (SBT)
DX station AI で文章をかしこく比較！ Sentence-Transformers のご紹介 印刷する こんにちは。データサイエンスチームの高橋です。 以前の記事では Transformers というライブラリを活用して BERT や ELECTRA の利用方法を紹介しました。Transformers は BERT をはじめとする自然言語処理モデルを使うときに必ずと言ってよいほど利用するライブラリで、当社でも様々な案件や業務で活用しています。 非常に汎用性の高い Transformers ですが、一方で特定のモデルをより簡単に実装できるライブラリも存在しており、目的に応じて使い分けると効果的です。そこで今回は、文章の処理に有効な Sentence-Transformers というライブラリを取り上げたいと思います。 Sentence-Transformers では文章を適切なベ
レイテンシ(遅延)とスループット(帯域幅)と帯域幅遅延積 - Qiita
マルチクラウド展開にまつわる既成概念を覆すより データ転送では、特に長距離の場合にレイテンシ（遅延）が問題になることがありますが、現在はすべてのクラウド・プロバイダーがそれぞれの物理インフラストラクチャを互いの近くに配置（専門用語では「コロケーション」）しているため、これはさほど問題となりません。この近接性（場合によっては同一コロケーション施設内の別の部屋）は、クラウド間のレイテンシがミリ秒単位であることを意味します。それに加え、クラウド・データセンター・リージョンは世界中で増加しており、クラウド・リージョン間の距離は縮まっています。 という事で、レイテンシ(遅延)について、まとめてみてみます。 ■ Agenda レイテンシ(遅延)とスループット(帯域幅) レイテンシと TCP の動作 帯域幅遅延積(Bandwidth-Delay Product) TCP Window Size の調整と
YouTubeを学習したChatGPTの実装方法【Python / LangChain】
【📩 仕事の相談はこちら 📩】 お仕事の相談のある方は、下記のフォームよりお気軽にご相談ください。 https://forms.gle/G5g1SJ7BBZw7oXYA7 もしもメールでの問い合わせの方がよろしければ、下記のメールアドレスへご連絡ください。 info*galirage.com（*を@に変えてご送付ください） 🎁 「生成AIの社内ガイドライン」PDFを『公式LINE』で配布中 🎁 「LINEで相談したい方」や「お問い合わせを検討中の方」は、公式LINEでご連絡いただけますと幸いです。 （期間限定で配信中なため、ご興味ある方は、今のうちに受け取りいただけたらと思います^^） https://lin.ee/3zRuqKe おまけ①：生成AIエンジニア塾 より専門的な「生成AIエンジニア人材」を目指しませんか？ そんな方々に向けて、「生成AIエンジニア塾」というプログラムを
ChatGPTにyoutubeの要約をさせてみた
ChatGPTにyoutubeの要約をさせてみた 何かと便利なChatGPTですが、音声や動画には対応していません(アプリ版では音声入力は可能)。今回はyoutubeの動画をwhisperを使って文字起こしを行い、その後LangChainを使ってその内容をChatGPTに参照させてみます。 結果から言うと結構いい精度でまとめてくれます。whisperは話者によって精度が結構下がるのですが、それをChatGPTが補っているような結果になりました。 現在はネットから情報を収集する手段はスクレイピング(html解析)ですが、今後は動画サイトから情報をとってくるような世の中になるかもしれませんね。 Whisperとは WhisperはOpenAIが開発した文字起こしAIです。翻訳も行え、字幕作成など様々な用途で使えます。OpenAIのAPIからでも使えますがお金がかかるので、google cola
ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
AIアニメの作りかた ComfyUI｜852話
AIアニメの作り方を説明していきます。 ざっくりな説明は上の動画を見ていただければわかるんですが、 少し細かい説明がこの記事になります。 完成物これはワンダープロジェクトJ2というゲームの二次創作アニメですが、30年近く前の作品です。 今回の流れは ・AIの一枚立ち絵を用意する ・AnimateAnyone-Evolvedで骨に沿って動かす ・AAEでつくった画像をControlnetをかけつつAIブラッシュアップ ・AfterEffectsで背景抜き ・AI背景一枚絵を用意する ・Runwayで動かす（ComfyUIでもできるが質がいいし時短になる） ・キャラの後ろに配置、キャラの画像を複製して影にして足元に配置 ・完成 です。 作業はComfyUIで行います。 ・AIの一枚立ち絵を用意する ・AnimateAnyone-Evolvedで骨に沿って動かす 骨を抜いたのはこちらのフリー動画
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
