obsidianを使って1週間を楽に振り返る方法 - Qiita
この記事は ウェブクルー Advent Calendar 2023の6日目の記事です。 昨日は@wc-peiさんの「Rails7.1環境で認証機能Rails deviseの導入方法」でした！ 6日目は @wchikarusato が担当いたします。宜しくお願いします。 はじめに Obsidianは MarkDownで書けるノートアプリです。 メモるだけなら VSCodeやメモ帳でも十分ですが、Obsidianには各ファイルにハッシュタグを付けて検索しやすくする機能や、 ファイル間の簡単なリンク付けができるため参照しやすくなるなど、様々な利点があります。 が、これはまだまだ初歩的な部分です。 Obsidianの真価はテンプレートによる手間を省いた操作や、リンク付け、ファイル内容の読み込みによる半自動化にあると考えています。 その実例として、1週間の自身の記録を簡単に振り返る方法を以下に紹介し
【備忘】Dify workflow/run で60秒 Timeout問題｜bodybeat
こちらの記事（とても有用なWorkFlowを公開してくれています！）を参考に、GASからDifyのAPIを実施していたところ、私の環境で60秒を超える処理がTimeoutしてしまうという事象が起きました。 1. 事象GASからDify(0.6.16)にworkflow/runを実施。 ワークフローの処理は問題なく実行され、想定の値を返しているが、GAS側には504（upstream timed out）が返ってきている。 Difyのコンテナを立てたホストOS（ubuntu 22.04 LTS）のNginxログ（/var/log/nginx/error.log）に「upstream timed out ～ while reading response header from upstream」の出力。 何回か実施した結果、60秒以内の処理については問題なくGASで結果が受け取れるが、60秒を
あなたのアバター、他の人からこう見えていませんか?｜久寝べる
がんばって改変した"こだわりのアバター" そのアバターが、こんな風に 他の人からみると、 色も明るさも頬も崩れていたら悲しいですよね。 僕は悲しかったです（n敗）。 そこでこの記事では、この崩れについて、 確認方法 修正方法 の2つに分けて、簡易的に説明します。 概要この記事は、VRChatのアバターにおいて、 シェーダーのフォールバック（後述）によって発生する見た目の変化を簡単に低減させる手法について示したものです。 記事の対象以下の条件に当てはまる方に向けた記事となっています。 アバター改変を行ったことがある※ VRChat Creator Companion (VCC)を利用している lilToonを利用している ※ lilToon, シェーダー, マテリアルといった単語を知っているくらいを想定しています 前提アバター利用者、表示者ともにPCユーザーであることを想定しています。 qu
ローカル環境で音声・動画ファイルの文字起こし&話者分離 - Qiita
筆者の環境 macOS version14.5 Python3.12 GitHub コード以外で必要なもの メディアファイル（音声又は動画）を用意する 話者分離も行う場合は、HuggingFaceのトークンを用意する（手順については後述） GPU搭載のPCがあればVeryGood（筆者の家にはない） ネタバレ（コピペ用） クリックして表示 # transcription.py import json import math import mimetypes import os from datetime import timedelta from typing import Iterable import pandas as pd import torch import torchaudio from faster_whisper import WhisperModel from fast
Whisperで文字起こしをした議事録の発話者の名前を自動的に判定する！ - Qiita
こんにちは！逆瀬川 ( @gyakuse ) です！ 今日は最近作った議事録文字起こしアプリに話者分離機能をくっつけたものを作っていきたいと思います。 ChatGPT APIの使い方、Whisper APIの使い方、Hugging Face Spacesへのデプロイ方法等を知りたい場合は以下の記事をぜひ！ できたもの openai_keyにOpenAIのAPIキーを入れる メイン音声ファイルに会話音声 (wav, 25MB以内) を入れる 話者 (1) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (1) の名前を入れる 話者 (2) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (2) の名前を入れる 上記を行って送信ボタンを押すと処理が開始されます。なお、参考音声は10秒程度で大丈夫です。実装全体は以下で確認できます。 話者分離 (S
RAG入門: 精度改善のための手法28選 - Qiita
RAGの精度改善するために何があるかを学びました。基本系のNaive RAGを知っている人向けの記事です。 方法が多すぎるので、Youtubeの「RAG From Scratch」を中心に少し整理してみました。LangChainをよく使っているので、LangChain出典が多いです。 全体像 まずは、RAGの全体像。Indexingが同じ流れにあるのが少しわかりにくいのですが、実行タイミングとしてはRAGの前準備としてやっておきます。 画像出典: RAG from scratch: Overview もう少し粒度を細かくした図です。 画像出典: RAG from scratch: Overview 表形式で分類します。Generationだけ少し特殊です。 大分類 中分類 内容
colabの無料枠でLLMを用いた議事録生成をできるようにした話 - Qiita
はじめに 最近、OPENAIのGPT3.5turboやwhisperAPIを使用した議事録生成プロダクトが登場し、その革新性に注目が集まっています。 これらの議事録生成ソリューションは、APIを使用する際に商談内容などの機密情報をOPENAI社のサーバー内で扱う必要があり、セキュリティ上の懸念がついて回りました。しかし、このプロダクトは、GPU8GBあれば動作し、音声データの約1/5の時間（※）で議事録を生成でき、クラウドやオンプレミス環境での実行が可能です。 この議事録生成AIは、音声データから文字起こし、話者の割り当て、要約までを自動的に行い、最終的に生成された議事録を提供します。これにより、会議やセミナーの記録作成が大幅に簡素化され、時間と労力を節約することができます。 この記事では、議事録AIの簡単な処理内容とcolabでの使用方法と議事録生成結果について解説します。 ※ 以下の実
【令和6年最新版】Azure OpenAI でRAG構築〜各種パラメータと機能についてまとめてみた〜
はじめに この記事では、Azure OpenAIを利用した、特定の文書に関するRAG（Retrieval-Augmented Generation）の構築について、特に各パラメータ・機能の役割や最適値に焦点を当てながら、解説していきたいと思います。 今回主に利用するサービスは以下の３つです。 Azure OpenAI Service Azure AI Search Storage Account 想定している読者 Azure OpenAI Serviceを触ったことのある方 Azure OpenAI Serviceを使ってRAG構築をしてみたい方 社内規約を始めとしたpdf文書を元にカスタムチャットボットを作りたい方 Azure上でRAGを組んでみたけど、パラメータの設定基準が曖昧な方 TL;DR 今回は学校の規則についての質問に答えるようなチャットボットを作っていきます。 動いている様子
RAGに質問分類させる「Adaptive-RAG」の解説
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
ProxmoxのVMにOllama + OpenWebUIを入れた
先日GPUパススルーしたProxmoxのVMにOllamaをインストールし、Webに公開するところまで行った。 やったことを思い出しながらここに書いていく。 この記事で言及すること# dockerコンテナからGPUを使えるようにする docker composeでOllamaとOpenWebUIを立ち上げる 前提# VMのOSはDebianのBookworm Linux xx 6.1.0-23-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.99-1 (2024-07-15) x86_64 GNU/Linux # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/ap
proxmoxの非特権LXC内でGPU(Nvidia)を認識させる備忘録 - Qiita
注意事項 proxmoxのバージョンは8.2.2 ホストとLXC内のnvidia-driverバージョンは合わせる モチベーション 複数の非特権LXCでGPUを共有したい VMにGPUパススルーする方法では、vGPUを使わないと複数のコンテナでGPUが共有できない vGPUは一般のコンシューマGPU非対応(RTXシリーズなど) ホストの初期設定手順 # /etc/apt/sources.list にproxmoxのベースとなっているDebian 12のリポジトリを追加 [+] deb http://deb.debian.org/debian/ bookworm main contrib non-free non-free-firmware [+] deb-src http://deb.debian.org/debian/ bookworm main contrib non-free non
Nodeで公式API使わずYoutubeLiveのチャットを取得するやつv2を公開した
// チャンネルIDから配信中のチャット欄を取得 // 配信IDは毎度変わるのでこちらが推奨 const liveChat = new LiveChat({channelId: "CHANNEL_ID_HERE"}) // 配信IDから特定の配信のチャット欄を取得 // まだアーカイブ対応とかしてないし多分使いにくい const liveChat = new LiveChat({liveId: "LIVE_ID_HERE"}) // チャットの取得開始時に発火するイベント liveChat.on("start", (liveId) => { /* Your code here! */ }) // チャット取得終了時に発火するイベント // エラーで終了する場合も発火する liveChat.on("end", (reason) => { /* Your code here! */ }) //
YouTubeのリアクションを配信画面に表示させる「Miterun」というアプリを作った
こんにちは。 私は、VTuber事務所StarryCherryという事務所を運営しているんですが、その中で、YouTubeのリアクションを配信画面に表示させたいという希望がありました。 ちなみにリアクションとは、これのことです。 そこで、私はウェブエンジニアでもあるため、ぜひこれを叶えようと思いアプリケーションを制作しました。 それが今回制作したアプリケーション、Miterunです。 サーバーから切断されているとOBS上でオーバーレイとしてこんな画面が出て、素敵です ソフトウェアの命名については、視聴者が配信を「見ている」ことをより実感できるという意味の見てる、と、開発者の私 巳波みなと と、フロント周りの開発者である tererun の名前をあわせた、という感じです。 我ながら良い命名だと思っています なお、実際に動いている様子はここから見れます さて、前置きが長くなってしまいましたが、
LLMプロンプトの26原則｜Pogo / gmoriki
ATLAS: An LLM Inquiry Principle Benchmarkの翻訳記事です 12月26日に公開されたプレプリント"Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4"、そのGithubのプロジェクトページより、26個のLLMプロンプト・プリンシパル(原則)をその5カテゴリごとに共有します。 5カテゴリ： Ⅰ. プロンプトの構成と明快さ Ⅱ. 具体性と情報 Ⅲ. ユーザーへの関与と相互作用 Ⅳ. コンテンツと言語のスタイル Ⅴ. 複雑なタスクとコーディングのためのプロンプト ⚠️原則の内容・分類には問題がある可能性があります⚠️使用されたデータセットと提言された原則との相違や分類の雑さ、研究の体裁・手法に問題があることが指摘されているため、プロンプトの教科書・ベストプ
Difyの活用について
Difyを導入しました 弊社では主にデータ分析やプログラミングの効率化などでLLMを活用しています。 GPT-4が出て4ヶ月後には誰でも利用可能な形でチャット機能をリリースするなど環境整備を行ってきました。 当時はフロントエンドとして以下のOSSを使いLLMはAzure OpenAI Serviceとつなぎ、RAGは自前のサーバーで実現していました。 しかしながら、LLMの進歩も著しく最先端モデルや各種周辺サービスの発展速度に対して、画像チャット機能の導入やClaude3やGeminiの導入などに対して、速度感をもってスタッフに機能を提供することが難しい状況でもありました。 そういった経緯があり、今月Difyをセルフデプロイ版でクラウド上で稼働させて全社向けチャットツール環境を刷新しましたので、どのような形になったのかご紹介いたします。 導入に際しての検討 アカウント管理 Difyはまだま
Vertex AI Gemini ProとLangChainで実現するMultimodal RAG
はじめに この記事は、Google Cloud Champion Innovators Advent Calendar 2023 18日目の記事です。 機械学習エンジニアをしています、原です。Google Cloud Champion Innovators(AI/ML)として選出いただき、活動しています。Google Cloud Innovatorsは、Google Cloud開発者/技術者のためのメンバーシッププログラムです。誰でも参加可能ですので、Google Cloudユーザーの方はぜひ参加をおすすめします！ 先日、下記のような記事を公開し、Vertex AIにおけるGemini APIの概要と簡易的な実装例を紹介しました。 今回は少し実践寄りで、Vertex AIでのGemini APIとLangChainを組み合わせて、MultimodalなRAGを構築する一例を紹介します。実現
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TRMNL: The e-ink dashboard to keep you focused
Gemini Nano with Chrome, Angular, Kendo Guide
chatGPTとn8n使ってカウンセリングしてくれるdiscord botを作った件 - aod-knowledgebase
GitHub - adithya-s-k/omniparse: Ingest, parse, and optimize any data format ➡️ from documents to multimedia ➡️ for enhanced compatibility with GenAI frameworks
