PythonとLLMで作る！カレー好きのための知識グラフQAシステム - Qiita
はじめに こんにちは、カレー愛好家の皆さん！今回は、Pythonと大規模言語モデル（LLM）を使って、カレーに関する知識を管理し、質問に答えるシステムを作ってみました。このシステムでは、カレー好きの人々のネットワークや、お気に入りのカレー店、新しいメニューなどの情報をグラフ構造で表現し、それをベースに質問応答を行います。 システムの概要 このシステムは以下の主要な機能を持っています： カレー関連の知識をグラフ構造で表現 ユーザーのコメントを分析し、新しい知識をグラフに追加 グラフの可視化（日本語対応） グラフ情報を基にした質問応答 それでは、知識グラフの魅力について詳しく見ていきましょう！ 知識グラフのメリットと有益性 皆さんは「知識グラフ」という言葉を聞いて、どんなイメージを持ちますか？難しそう？複雑そう？確かに最初はそう感じるかもしれません。でも、実はとてもパワフルで、私たちの日常生活
Cloudflare、AI対応を大幅強化 ー Workers AIの一般提供開始、Pythonサポート、Hugging Faceとのパートナーシップ拡張
4月3日、Cloudflareは「Workers AI」の一般提供開始（GA）と複数の新機能を公開した。 この発表は、AI推論プラットフォームの信頼性とパフォーマンスの向上、GPUハードウェアの更新、Hugging Faceとのパートナーシップの拡張、独自のLoRAファインチューニング推論の提供、WorkersにおけるPythonサポート、AI Gatewayにおけるプロバイダーの追加、およびベクトル化メタデータフィルタリングなど、幅広い領域に及ぶ。 Workers AIが一般提供開始 Workers AIが正式に一般提供を開始し、オープンベータ期間からのフィードバックを元にサービスが強化された。Cloudflareは、AI推論を同社ネットワークの他のサービス同様に信頼性が高く利用しやすいものにする目標の下、内部のロードバランシング機能をアップグレードし、リクエストをより多くのGPUに、1
Metaがコード生成AIモデルの新バージョン「Code Llama 70B」をリリース、コードの正確性が向上・Pythonに最適化されたバリアントも提供
FacebookやInstagramを運営するMetaが、テキスト入力を元にプログラムのコードを生成するAI「Code Llama」の700億パラメータのモデルをリリースしたと発表しました。モデルはLlama 2と同じ「Llama 2 Community License」で公開されており、月間アクティブユーザー数が7億人以下の場合は無償で商用利用することが可能です。 Introducing Code Llama, a state-of-the-art large language model for coding https://ai.meta.com/blog/code-llama-large-language-model-coding/ Code LlamaはMetaが2023年7月にリリースしたLlama 2をコード固有のデータセットでさらにトレーニングしたもの。Python、C++
画像入力で楽々！ChatGPT-4V と Python GUI 開発 - Qiita
1. はじめに ついに ChatGPT-4V が使えるようになりました！ これまでGUIを作成するときには、ChatGPT に 「まず左上にテキストボックスがあって、その右にボタンがあって...」 とちまちま指示する必要があったのですが、GPT-4V により画像を渡せるようになります。 この記事では、ChatGPT-4V を使うと GUI 作成がどのくらい楽になるのかを検証してみたいと思います！ 作成するGUIはこちらのものです。 2. GPT-4V の読み取り精度の確認 2.1. 日本語のポンチ絵 まず、元の記事で使用した日本語のポンチ絵を渡して、どのように読み取れるのかを確認します。 GUIの各要素の位置はなんとなく読み取れている感じがしますが、日本語の読み取り精度はあまり高くないようです。 2.2. 英語のポンチ絵 先ほどのポンチ絵を英語に変換してみます（左下だけ詳しく書き直しました
Pythonの高速なスーパーセットをうたうAI向け新言語「Mojo」、開発ツール公開 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 Modularは、Pythonの高速なスーパーセットだと同社が位置づける新言語「Mojo」をローカル環境で実行可能にする、コンパイラなどのツール群を公開しました。 Modularは、コンパイラ基盤として広く使われているLLVM、Swift言語、GoogleがAI処理のために設計したCloud TPUなどの開発に関わってきたChris Lattner氏が共同創業者兼CEOを務める企業です。 その同社が5月に初めてMojoを発表した際に、MojoはAI処理を高速に実行するための言語だと説明しました。 下記はMojoの動画「Product Launch 2023 Keynote」から。画面右がChris Lattner氏。 MojoはPython
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
AIの仕組みをアニメーション化できるPythonライブラリ「ManimML」 米研究者らが開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ジョージア工科大学に所属する研究者らが発表した論文「ManimML: Communicating Machine Learning Architectures with Animation」は、機械学習（ML）アーキテクチャの概念をアニメーションやビジュアライゼーションに変換できるPythonライブラリを提案した研究報告である。 アニメーションは、学習者の興味を効果的に高めることが示されており、システムの状態間の遷移を示すのに特に有用である。このため、複雑な関係を持つ多くの相互作用するコンポーネントを含むことが多いMLアルゴリズムを伝達す
ChatGPT、データ分析もできちゃうのか 新機能「Code interpreter」でデータ読み込み、Python実行が可能に アイデア続々
米OpenAIがAIチャットサービス「ChatGPT」に「Code interpreter」という機能のβ版を追加した。これによりファイルをアップロードできるようになった他、ChatGPT上でのPythonプログラムの実行にも対応。Twitter上ではさまざまな利用方法が考え出されている。 Code interpreterは有料プラン「ChatGPT Plus」で提供している機能。アカウントの設定画面から有効化すると使える。これまではユーザーが文字で入力し、ChatGPTが結果を文字で出力していた。しかし同機能を使えばCSV形式のデータやPDFファイル、画像などをアップロードして分析させられる。結果は文章だけでなく画像でも出力できる。 利用例 Twitterの上手な運用方法を聞いてみる 例として、筆者の個人Twitterアカウントのリツイート数やフォロワー数などをまとめたデータをアップロー
【Python】OpenAIのWhisperで音声文字起こしアプリを作成！ - Qiita
はじめに OpanAI社の音声文字認識エンジンのWhisperを使って、音声文字起こしするプログラムを作成しました。 プログラムはPythonからAPIでWhisperを使って、音声文字認識する形式です。 約2分の音声を試したところは、Whisperの音声文字認識の精度は99%とAmiVoiceCloudPlatform(96%)以上の精度でした。 2分の動画を約9秒で変換できるなど、非常に使い勝手の良いAPIです。 価格は1分あたり0.9円（0.006ドル）です。 ただし、Whisperのインプットの音声ファイルの容量は25Mバイトですので、それ以上のファイルは分割する必要があります。 環境 Windows10 Python3.8.8 VSCode 使用ライブラリー openai pydub tkinter openpyxl pandas 処理の流れ: 今回作成した処理は、音声ファイルを
XboxでStable Diffusionを動作させる猛者が登場、ONNX利用でPythonへの依存をゼロにしてNVIDIAのCUDA・AMDのROCm・AppleのCoreML・QualcommのQNN・MicrosoftのDirectMLでも動いてWindows・Linux・macOS・Android・iOS・WebAssemblyなど全てOK、ほぼあらゆるアプリケーションへの統合が可能に
Stable Diffusionは文字や画像を元に新たな画像を生成してくれるAIですが、実行環境としてPythonが必要とされてきました。そんな中、ONNXモデルおよびONNX Runtimeの活用とC++での実装でPythonへの依存をなくし、Xbox上で動作させることに成功した猛者が登場しました。 Stable Diffusion running on Xbox Series X and S for the first time - YouTube 左端の大きなアイコンが今回作成された「Unpaint」というアプリ。記事作成時点ではストアには存在せず、インストールするにはユーザーが自分でパッケージに署名する作業が必要になります。Xbox Series XおよびXbox Series Sのどちらでも動作可能とのこと。左の大きな画面にXbox Series Xの出力が表示されています。 起
Stable Diffusionを用いたアニメーション生成をPythonとWeb APIで実装してみた - Qiita
Supershipの名畑です。私の大好きなアニメイト池袋本店と言えばそのすぐそばには惜しまれながらも4月で営業を終えたハレスタ。ハレスタと言えば私の中では0.1gの誤算。0.1gの誤算と言えば「入場と同時に「受付で演奏を開始したら」バンギャはどんな反応をするか検証してみた」はここ最近で最も笑わせていただいた動画です。 はじめに 前々回の記事「Stable Diffusionでの画像生成をPythonとWeb APIで実装してみた記録」と前回の記事「Stable Diffusionにおける同一人物の別表情生成をPythonとWeb APIで試みた記録」に続いて、今回はStable Diffusionでアニメーション生成をしてみます。Stability Animationで紹介されているものです。Animation SDKを用います。 「画像生成AI「Stale Diffusion」開発元がテ
【ChatGPT x LINEBot】PythonでChatGPTのLINEBotを作ってみた - Qiita
目次 １.はじめに ２.実行環境 ３.OpenAPI作成 ４.Line Developer登録 ５.Git hub登録 ６.Git bash登録 ７.Render登録 ８.スクリプト&関連ファイルの準備 ９.Line Developer設定変更・トーク画面起動 10.最後に １.はじめに 私がこのLINEBotを作成しようと思ったきっかけは、カスタマーサービス等で使用していることが多いLINEBotですが、決まった質問・返答がメインのためもっと自由に質問できればより疑問が解決されると思ったからです。 ChatGPTを使用することで、データセットなしで自然な会話が可能なLINEBotが作れるのでは？と考え作成してみることにしました。 目標として、自然な会話ができるChatGPTを使用し、事前のデータセットをすることなくLINEBotを作成したいと思います。 また、最近ChatGPTの返答内容
勉強メモ_Pythonライブラリについて(人工知能プログラミング03回) - Qiita
はじめに 情報系の学部に所属する学生です。 人工知能プログラミングの授業で与えられたコードがよくわからなかったのですが、ライブラリを全部調べたら意外と分かったのでそのメモを残します。 正確さに欠ける点もあると思いますが、ご了承ください。 Tensorflowについて こちらのサイトを参考にしました。 Googleが開発した機械学習用ライブラリ ニューラルネットワークの構築、訓練のシステムを作成するのに優れている。 データの読み込み、前処理、計算、上体、出力処理にテンソル(多次元配列のようなもの？)を用いる。 分散学習ができるためどんな環境でも扱える。 問題点 分散学習の実行によって障害が起こる可能性がある。(Fault Toleranceで障害を防いでいる。) ハードウェアの性能もある程度必要。 Tensorflowってテンサーフローかと思ってました（笑）正しくはテンソルフローですね。 K
Pythonを使ったAIモデルの構築に必要なスキルと手法 - Qiita
AI技術は今日の社会でますます重要な役割を果たしています。Pythonはその中心で、AIモデルを構築する際に必須となるスキルの多くにおいて主要な役割を果たします。この記事では、Pythonを使ってAIモデルを構築するために必要なスキルとそのスキルを身につけるための手法や技術について解説します。自分自身が独学でPythonを学び、業務で活用できるようになるまでの経歴について詳しく語った記事もありますので、ぜひこちらもご覧ください。 1. Pythonプログラミング AIモデルの構築にはPythonが主要な言語として使用されます。NumPy、Pandas、Matplotlibなどのライブラリの理解が不可欠です。これらのライブラリはデータ分析やデータ前処理に使われ、Pythonの強力なツールセットの一部を形成します。 2. 基本的な統計知識 AIや機械学習のモデルは、その根底に統計を持っています
Mojo🔥：PythonとC言語のパフォーマンスを併せ持つ新しいAIプログラミング言語 - Qiita
はじめに 今話題のMojo🔥（PythonとC言語のパフォーマンスを併せ持つ新しいAIプログラミング言語）について紹介します。 本記事の前半パートではMojo🔥について解説し、後半パートではMojo Playgroundで遊んでみます。 【前半パート】Mojo🔥について Mojo🔥とは Mojo🔥は、Pythonの使いやすさとC言語のパフォーマンスを併せ持つ新しいプログラミング言語です。Modularというソフトウェア開発スタートアップが開発しています。CEOのChris Lattner氏は、Apple時代にプログラミング言語「Swift」の開発にも携わってきた方です。 Mojo🔥の特徴 Pythonとの互換性：既存のPythonコードやライブラリをMojo🔥で直接使用できる システムプログラミングのサポート：Mojo🔥はシステムプログラミングに対応しており、メモリ管理や並
Whisper + GPT-3 で会議音声からの議事録書き出し&サマリ自動生成をやってみる！ - Qiita
こんにちは！逆瀬川 (https://twitter.com/gyakuse)です！ 今日は議事録の音声からの書き出しとサマリの自動生成を行います。 概要 会議音声(wavとかmp3ファイル)からWhisperを用いて書き出しを行い、GPT-3.5でサマリを自動生成します。 会議音声としていますが、べつにどんな音声でも大丈夫です。 Colab whisper.cpp版(処理に動画秒数×10倍程度の時間がかかりますがGPU不要です) whisper.fp16版(処理は動画秒数/4程度の時間で済みますがGPU必須です) 使い方 OpenAIのAPIキーを貼り付け ランタイム > すべてのセルを実行から実行し、最初の処理の下に出てくるファイル選択で録音ファイルを選択します ひたすら待ちます 実装 Whisperの軽量化 Whisperの軽量化としては、cpp実装のwhisper.cppがあります
OpenAI APIでGPT-3にFine-tuningでアニメの放送開始日時を学習してもらうPython実装の記録 - Qiita
モデルになにを学習してもらうか？ Fine-tuningを実施した場合「Fine-tuningの効果があったか」が判定できる必要があります。 何を学習してもらえば効果が実感できるのか？ Modelsを見るとCompetions APIで使えるmodelには下記があります。 text-davinci-003 text-davinci-002 text-curie-001 text-babbage-001 text-ada-001 どれも学習データは2021年9月以前のようです。 ということは2021年10月以降に発生した情報を学習させれば、どのモデルにおいても効果が実感できるのではと考えました。 ぼっち・ざ・ろっく! ぼっち・ざ・ろっく!という漫画並びにその漫画を原作としたTVアニメがあります。人気なのでご存知の方も多いでしょう。超余談ですが、私、この作品を見るとBECKを思い出すんですよね
OpenAIのChat API(Chat completions)を用いての会話をPythonで実装してみた記録 - Qiita
Supershipの名畑です。GW中に島本和彦先生 画業40周年突破記念『炎の原画展』を見に行ったので、心が熱い。 はじめに ネットだけではなくテレビだ雑誌だといたるところでChatGPTの話題だらけで今更感ありまくりですが、自環境でOpenAIのChat API(Chat completions)を試した際の諸々を書き残しておきます。 ライブラリのインストール、アカウント作成から始まってChat APIとの会話の実装までの記録です。目新しいことはなにもないですが、少なくとも未来の自分の役には立ちそう。 大体の内容は公式のAPI ReferenceとGuideのままです。 自環境 macOS(Monterey)です。 Pythonはすでにインストール済みでした。3.10.7です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Kindleセール】最大50%オフ・500冊以上「講談社「講談社サイエンティフィク」高額理系専門書フェア」ROS2とPythonで作って学ぶAIロボット入門・最適輸送の理論とアルゴリズム・予測にいかす統計モデリングの基本（2/8まで） - ネタフル
ChatGPTの「Code Interpreter」は、Pythonのコード生成だけでなく設計・実行・結果の評価までしてくれる驚異の新機能【イニシャルB】
