Pythonで行う音楽ファイルのノイズ除去と可視化 - Qiita
最初に 音楽ファイルからノイズを除去することは、オーディオ信号処理における重要なスキルです。今回は、https://www.music-note.jp/bgm/fantasy.html のフリーBGMのファイル "adventurers.wav" を使って、高速フーリエ変換でのノイズ除去とそのプロセスを紹介します。 フーリエ変換とは？ フーリエ変換は、信号を時間領域から周波数領域に変換するための数学的な手法です。これにより、信号を構成するさまざまな周波数成分を分析できます。フーリエ変換の基本式は以下のようになります： 高速フーリエ変換(FFT) 逆フーリエ変換(IFFT) ここで F(ω) は周波数領域の信号、f(t) は時間領域の信号、ω は角周波数、j は虚数単位です。 この変換を用いることで、信号の周波数的な特性を把握し、特定の周波数成分に対して操作を行うことが可能になります。 ノイ
生成AIでテスト作業（要件の品質評価→テストケース抽出→コード生成→実行→洞察）まるっと自動化がスゴい - Qiita
はじめに テストのための生成AIを搭載した「UiPath Autopilot for Testers」が2024年7月に一般公開されたので、個人の学習目的で期限なく無料で使えるUiPath Community版で、さっそく体験してみました。第一印象、何これ？スゴいの一言です！今後、テスト市場に新風がくるかも？と感じたので広く知ってもらうためにブログを書くことにしました。既にグローバルでは轟いているそうです。 本ブログを見て興味ある、体験してみたいと思った人向けにUiPath Autopilot for Testersの簡単なチュートリアルも書いたので、こちらも是非ご覧ください。 全体像（何ができるのか） これまでのAI搭載テスト自動化ツールは、テスト実行のみにフォーカスされていたことも多かったと思います。（既に過去形）そこから、ちょっと進んで、生成AIを使ったテストコードの自動生成ぐらいで
Google AI Studioでモデルをチューニングしてみる - Qiita
はじめに 企業での生成AI活用では、GPT-4などのLLMをそのまま利用するのみではなく、企業内の様々なナレッジや特定ドメインの追加情報を活用したいという要望がほとんどです。その場合の方法として、RAG(Retrieval-Augmented Generation) とファインチューニングという選択肢があると思いますが、ファインチューニングに関しては機械学習やプロンプトエンジニアリングに関する専門知識が無いと太刀打ちできない、ということでまずはRAGに取り組んでいる事例が多いと思います。 一方、RAGの精度に関しては課題も多く、Vector検索のみではなくハイブリッド検索を試す、ナレッジグラフを使う、クエリ拡張を行う、など様々な手法で精度向上に取り組んでいることかと思います。 ファインチューニングに関しても、今やる必要は無いと思っていたところ、各社機械学習の専門家でなくてもノーコードでモデ
Streamlit入門＋応用 ～ データ分析Webアプリを爆速で開発する - Qiita
はじめに この記事では、Streamlitの概要を説明し、Streamlitを使ってデータ分析Webアプリを実際に開発する中でStreamlitの機能をいろいろと紹介していきます。最終的に以下のようなApacheやTomcatなどのアクセスログを解析するWebアプリをつくります。 Streamlitとは Streamlitは、Pythonで実装されたオープンソースのWebアプリケーションのフレームワークであり、機械学習やデータサイエンス向けのグラフィカルなWebアプリを簡単に作成して全世界に公開（クラウドサービスにデプロイ）できます。 主な特徴 Pythonのみで実装可能（HTMLやCSS、JavaScriptなどフロントエンドのコードを書かなくていい） 豊富なウィジェットが利用可能 Google ColabやJypter Notebookで作成したPythonのコードがほぼそのまま利用で
ChatGPT プロンプト集 - Qiita
はじめに 「ChatGPTでよく使うプロンプト」を整備して、みんなで使いやすくしていきたいと思います。 手始めに、プロンプトのアイデアをシェアするところから始めてみます。 環境 ChatGPT Plus (GPT-4) 使用しているプラグイン Prompt perfect Consensus Search WebPilot custum instractionの設定 # What would you like ChatGPT to know about you to provide better responses? 私は日本国内の独立系SIerのCTOです。私に必要なのはダイレクトで明確な応答です。 全社の開発生産性向上をミッションとして持ちます。 人、モノ、金、情報の流れと扱いを、常に考えます。 # How would you like ChatGPT to respond? 入力言語
郵便番号・住所 相互変換 Excelアドイン - Qiita
ようやく目的のものを作成できました。 長かった・・・苦労した・・・ この記事は、そんな開発の記録です。 郵便番号と住所とを、相互に変換するExcelアドインです。 作成を考えていた時期 郵便番号と住所との変換機能は、顧客管理ソフトガンジスを開発した頃から作成したいと考えていました。2018年頃の話です。 当時、独自に開発はせず、Webのサービスを利用してソフトにその機能を実装しました。 作成しなかった理由 その後、時々、機能作成の方法を考えることがあったのですが、住所から郵便番号への変換の精度を高める方法が難しく、断念していました。 また、私の場合、Excel上で、郵便番号・住所・名前・電話番号を、整形・正規化することが多いです。それには、それらの機能がアドインとしてあると便利だなぁ、と思っていました。しかし、C#に慣れてしまった今となっては、今更VBAで作成したくありませんでした。 Ex
robot.brain を永続化する Hubot スクリプトをつくろう - Qiita
これは Hubot Advent Calendar 2014 の 19 日目の記事です。 また、今回は @bouzuya の Hubot 連載の第 12 回です。目次は、第 1 回の記事にあるので、そちらをどうぞ。 前回まで、そして今回は さて、前回は robot.brain を使った Hubot スクリプトをつくろう ということで、robot.brain で永続化する Hubot スクリプトをつくりました。 今回は robot.brain を永続化する、永続化される側ではなく永続化する側の Hubot スクリプトをつくりましょう。 テキストファイル (JSON) に brain の内容を書き出して、永続化する Hubot スクリプトをつくります。Heroku にデプロイする場合には(Heroku はEphemeral filesystemなので)実用的ではありませんが、ローカルで rob
LLMアプリ開発の必須ツール？！Langfuseがすごい！ - Qiita
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
hubot-line を使って晩ごはんの献立を考えてくれる LINE BOT を作ってみた - Qiita
注意 以下の文章は2016年上半期に利用可能だった旧 API トライアルアカウント (LINE BOT API Trial Account) についての内容です。 このトライアルアカウントは 2016/11/16 に削除され、今後使用できなくなります。以降は Developer Trial にて新 API を利用してください。 また、 Developer Trial では今のところ下記コードそのままでは動かないため本記事は参考程度に留めておいて下さい。 -- 注意ここまで -- はじめに はじめまして、sfusです。 以前から Slack で献立提案 Bot を個人用に作ろうとしていましたが、ちょうど LINE BOT API Trial Account が公開されたので、Slack BOT ではなく LINE BOT で運用してみることにしてみました。 LINE BOT API はオフィ
お名前.comのドメインをAWSで使用する4つの方法 - Qiita
はじめに 以前、お名前.comで購入したドメインがあって、そのドメインをどうにかしてAWS（特にELB）で使用したいと思い、いろいろ調べたのでその結果を書きます。 Agenda お名前.comのドメインをRoute53に移管する お名前.comにRoute53のDNSを登録してサブドメインを委任する お名前.comのレコードに直接AWSサービスのFQDNをCNAMEで設定する Route53でドメインを購入し、お名前.comのドメインからCNAMEで参照する 前提条件 お名前.comでドメイン取得済み AWSアカウント作成済み 1.お名前.comのドメインをRoute53に移管する ドメインをRoute53に移管するには以下の制約をクリアしなくてはいけない。 お名前.comで購入したドメインが購入から60日以上経過していること 移管対象のドメインがRoute53に登録できるドメインであるこ
ソースコード管理の進化：Excel管理からGitHubまで、エンジニアの戦いを振り返る！ - Qiita
ソースコード管理の進化：Excel管理からGitHubまで、エンジニアの戦いを振り返る！ プロローグ 先日、弊社のとある案件内での会話です。 熟練エンジニア（以降「熟練」と表記）：GitHubのプルリクが来てたからコードレビューしておいたよ。 若手エンジニア（以降「若手」と表記）：ありがとうございます。助かります。 熟練：他の人のコードにも指摘した内容がキミのコードにもあったので指摘しておいた。他の人のプルリクは見ていないの？ 若手：いや、他の人のプルリクは見てないですね。。 必要ですかね・・？ 熟練：必要だよ。昔はそういうのやりたくてもできなかったんだから！ 若手：（はじまった、熟練さんの昔語り・・。長いんだよなぁ。。）なるほど！そうなんですね。他の人のコード読んで勉強します！ はじめに 皆さん、こんにちは。エンジニア歴約20年目の立脇です。今日は、エンジニアにとって切っても切り離せない
【Dify】RAGとして自分のWordPressサイトを読み込むならFirecrawlよりテキストとしてインポートが良かった - Qiita
【Dify】RAGとして自分のWordPressサイトを読み込むならFirecrawlよりテキストとしてインポートが良かったWordPressragDify Difyが面白そうだったので、自身の管理するWordPressサイトにチャットボットを埋め込んでみました。 その際の気付きなどを共有します。 設置したサイトはこちらです。 https://vocaloid.haruinoue.net/ 目的・前提 最終的な目的はWordPressサイトに、サイトの内容を元にして回答してくれるチャットボットを埋め込むことです。 Difyにはローカル環境や自身の用意したサーバー上で動かせるOSS版と、ブラウザでアクセスするだけで利用できるクラウド版があります。 今回はサイト内に埋め込む=常時稼働していて外部から接続できるようにしておく必要があるため、クラウド版を利用します。 またOSS版のDifyはすべて
プロダクションでOllamaを使う場合のインストールメモ - Qiita
はじめに Windows WSL2 dockerでOllamaを起動し検証をしたが最初の読み込みの時間が遅く、使い勝手が悪かったので、docker抜きで検証することにした。結論、ロードのスピードが早くなり、レスポンスも向上した。 プロダクションでOllamaを使う場合は、Dockerは使わないほうがよいかなといった印象。そもそも、Docker使う場合、色々とケアする項目（Dockerの設定など）増えるので、プロダクションでのOllama利用は、サーバーに直接Ollamaをインストールして扱うほうが無難かも。 以前の作業メモはこちら(ollama (llama3) + docker + wsl2 + ubuntu24メモ)。 開発環境 以下の開発環境に、WSLでubuntu22.04をインストール。ubuntu22.04を選んだ理由は、cuda toolkitが、現時点(202406)で、U
プロキシ環境下のローカルPCに"Dify"と"Ollama"を導入して、インターネットを通らない「完全ローカルRAGアプリ」を作る - Qiita
はじめに お疲れ様です。yuki_inkです。 「生成AIでRAGやりたい！」と言われると、反射神経で「S3！Kendra！Bedrock！」などと言ってしまうのですが、いざRAGで扱うドキュメントが自社やお客様の機密文書レベルになってくると、途端にその声のトーンは小さくなってしまいます。 なるほど、ローカルPCで全部完結すれば万事解決ですわ！！ というモチベーションで色々やってみたという記事です。 前提条件 以下2点を前提条件とさせていただきます。 固定IPがPCに割り当てられていること PC（Windows）の管理者権限が利用できること なお、この記事では、プロキシの IP アドレスを 192.168.11.9、プロキシのポートを 3128 として説明します。 この記事を参考にされる際は、実際のプロキシの情報に置き換えて設定してください。
Dify×Weaviateを使ったRAG - Qiita
記事の概要 Difyの登場により、LLMを使ったワークフローがローコードで構築できるようになったので、「Weaviate」というベクトルDBと「intfloat/multilingual-e5-large」というエンベディングモデルを使ったベクトル検索と、Groqが提供しているllama 3のAPIを使って、RAG（Retrieval-Augmented Generation）のワークフローを構築してみる。 （ワークフロー構築時、GroqはAPIが無料なので、これを利用する。） このワークフローでは、以下のような入力を実行すると、ベクトルDBの情報（今回は個別に用意したQAリスト）を参考に、テキストを出力することができる。 ■入力 ■出力 動画でも解説しています。 環境構築 以下のようなフローを構築する。 Dify上だと以下のようなフローとなる。 Docker・Dify・Weaviateの
Difyで作る独自知識ベース搭載のAIチャットボット開発 - Qiita
DIFYは、チャットボットを簡単に作成できるプラットフォームです。本記事では、DIFYを使って独自知識を持ったチャットボットを構築する方法を解説します。 pdfからテキストを抽出する URLからテキストを抽出する 特定知識の応答 このアプリケーションの最大の特徴は、「KNOWLEDGE」という変数に注目すべき点です。ユーザーはここに、モデルが参照すべき知識ベースを記述することができます。これは、Retrieval Augmented Generation (RAG)のようにモデルの応答を特定の知識に根ざしたものにすることを示唆しています。 設定ファイル内の pre-prompt は、モデルに対して、提供された知識ベースを最大限に活用し、正確で関連性の高い回答を生成するよう指示しています。ユーザーが入力した質問に対して、モデルは知識ベースの中から関連する情報を抽出し、それを基に回答を生成しま
Docker Desktop を使わないで Docker を使う方法 - Qiita
概要 本稿では Docker Desktop for Windows を使わずに、「docker.com の Docker(Docker Engine)」を WSL2 環境にインストールする手順について解説します。 本稿は Windows を対象としています。Mac は本稿のスコープ外です。 本稿の内容を実施することで、以下のことが実現できます。 docker.com の Docker が WSL2 環境にインストールされ、WSL2 のコマンドラインで docker compose コマンドなどが使用できるようになります。 起動したコンテナに対して Windows の VSCode からアタッチして、コンテナ内のリソースやソースコードを操作することが可能になります。 WSL2 が起動するタイミングで docker サービスが自動的に起動するようになります。 以下のことは実行できません。 W
Ollama を内部ネットワークで共有する - Qiita
Windowsの設定 固定IPの設定 内部ネットワークで利用可能な固定IPを用意する。 このドキュメントでは、以下の固定IPで構築しているので、個々の環境に適宜変更する必要がある。 固定IP 「設定」を立ち上げる 「ネットワークとインターネット」→「イーサネット」 (1) 「認証設定」→「IEEE 802.1X」を必要なら変える (2) 「IP 割り当て」の右にある「編集」ボタンを押す 「IP 設定の編集」を「手動」を選択→「IPv4」をON 「IP アドレス」、「サブネット マスク」、「ゲートウェイ」、「優先 DNS」を設定して、保存する スリープをOFF 「設定」→「 システム」→「電源」 「画面とスリープ」 「電源接続時に、次の時間が経過した後に画面の電源を切る」→「5分」 「電源接続時に、次の時間が経過した後にデバイスをスリープ状態にする」→「なし」 スクリーンセーバーをOFF 「
Power Query で正規表現を使って取得したい Match/Matches - Qiita
背景 URL パラメーターの分解取得しようとしたら・・ 前回の記事では Replace しか使わなかったので、その Match 版を記録しておく これ使って Forms の URL から FormsId 取得して、FormsAPI を利用したカスタムコネクターが作ろう！ Replace 版は以下 Matches/Match の実装例 (expression as text, optional original as text, optional indexBeginWith1 as number ) as text => let originalText = Text.Combine({original, ""}), expressionText = Text.Replace(expression, "\", "\\"), replaceResult = Web.Page("<script
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dify on WSL2に外部のPCからアクセスできない - Qiita
