並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 806件

新着順 人気順

Pythonの検索結果281 - 320 件 / 806件

  • StreamDiffusionをローカルで遊ぶ|omiz

    StreamDiffusionってなに?めちゃくちゃ速い画像生成ができるやつです。 いくつか機能が用意されていて、text2img、img2img、画面キャプチャからの画像生成、vid2vidができます。 個人的にvid2vidが激ヤバで感動しました。 リアルタイムAIお絵描き(?)も高fpsでできちゃう・・・ 下のリンクからでも動画が見れるので見てない人は見て欲しい。すごい。 (https://x.com/IMG_5955/status/1731971307732918532?s=20) (https://x.com/cumulo_autumn/status/1732309219041571163?s=20) (https://x.com/cumulo_autumn/status/1728768642052182231?s=20) インストールするよはやく遊びたいのでインストールします。

      StreamDiffusionをローカルで遊ぶ|omiz
    • OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう

      ベクトルの準備 次にタイトル文章をベクトル化していきます。 OpenAIのアカウントを作成し、こちらからAPIキーを取得し、それを環境変数OPENAI_API_KEYに設定した後、次のコードを実行するだけで、入力文章のベクトルを取得できます。 import os import openai openai.api_key = os.environ["OPENAI_API_KEY"] client = openai.OpenAI() def get_embedding(text, model="text-embedding-ada-002"): text = text.replace("\n", " ") return client.embeddings.create(input=[text], model=model).data[0].embedding get_embedding("入力し

        OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう
      • Streamlitの後継者を求めて② - Qiita

        はじめに お世話になっております。 猫ミームを見すぎて、X(旧Twitter)もYoutubeも猫ミームだらけになってしまい危機感を感じています。 さて、前回書いた記事をもとにReflex、Solara、Taipyを使用して、Webアプリケーションを弄っていましたが、まったく理解できずに 僕「Streamlitしか勝たん。」 と心の中に住んでいるギャルがつぶやいていたところ、コメントでStreamsyncというフレームワークがあることを教えていただきました。 Streamlitのパチモンか?と気になりながら、調べてみるとJuliaのGenieBuilderのようにGUIなどのコンポーネントをビジュアライゼーションで組み立てることができるとのこと。 気になったらやってみる精神のため、とりあえず触ってみたので、簡単にまとめたいと思います。 前回記事↓ Streamsyncとは フロントエンドは

          Streamlitの後継者を求めて② - Qiita
        • FinTechの現場でバリバリ活躍するFastAPIの理想と現実 (PyCon APAC 2023)

          FastAPIの人気が日に日に増している昨今ですが、まだまだ「他のフレームワークでいいじゃん」「本当に本番投入して大丈夫?」など様々な思いで導入をためらっている方も多いかと思います。 理想的な姿はあれど、現実的には理想を追い過ぎると準備やメンテナンスのコストが高すぎうまくいかないこともあります。そのため、ある程度の妥協をして開発・運用していくことになりますが、”コスパ”のいい塩梅をお届けします。 私は、日頃FinTechというミッションクリティカルなドメインにおいてFastAPIをかれこれ2年以上運用しており、その現場からの開発の現実を紹介します。これならFastAPIを実務で使えそうだな、という実感を抱いて帰っていただきたいと思っています。 同じ思いで、「動かして学ぶ!Python FastAPI開発入門」という本を今年出版しました。本では体系的に学べるようにするため盛り込めなかったTi

            FinTechの現場でバリバリ活躍するFastAPIの理想と現実 (PyCon APAC 2023)
          • Writing Python like it’s Rustの紹介・邦訳

            いきなりですが,「これ,なーんだ!?」のお時間です. 正解は,くまモンって眉毛あるんだ じゃなくて,私が研究室内に設置したトラップです. 見た人は当該ブログを読まなくてはなりません. それがこちらです. Pythonで疲弊しているそこのあなたも,読みましょう読みましょう. ただ,英語が母国語ではない人間に英語の記事を投げつけて「オラ読めぇ!!!」というのは横暴だなぁ,という気がしてきたので,ここで和訳を提供しようと思い至りました. 私の翻訳が不正確な場合もあると思いますので,是非Kobzolさんによる原文も読んでいただければ. では,失礼して, 邦訳「RustのようにPythonを書く」 私がRustによるプログラミングを始めたのは数年前のことだが,このことが他の言語(特にPython)での私のプログラム設計指針を徐々に変えていった. Rustを始める前は型ヒントも使わず,いつでも関数の引

              Writing Python like it’s Rustの紹介・邦訳
            • pythonで咄嗟に実装できて便利だった機能3選

              こんにちは。株式会社シグマアイリサーチャーの@k_arakiです。 今回は初めて携わったアプリ開発で簡単に導入できて便利だった機能を3つ紹介します。 はじめに この記事を書くきっかけとなった体験についてお話しします。 入社してまもなく、ある企業に対する業務サポートの効果検証プロジェクトに参加しました。 まず初めにサポート用のプログラムだけ作成し、過去のデータを用いて有効性を調べました。 その次のステップである試験運用を行うために簡易的なアプリ化が必要でした。 今回の話はこの時の開発に関するものです。 本体のプログラムはそれまでの検証で既に出来上がっているため、アプリとしての開発項目は以下の2つでした。 業務サポートプログラムのWebAPI化 データの入出力・整形を担当するフロントエンド開発 あくまで試験用だったこともあり、要件定義は表面的に必要な機能の洗い出し程度のものでした。 その結果出

                pythonで咄嗟に実装できて便利だった機能3選
              • OpenAI の Assistant Playground の Code Interpreter を試す|npaka

                「OpenAI」の 「Assistant Playground」の「Code Interpreter」を試したので、まとめました。 前回 1. Code Interpreter「Code Interpreter」は、アシスタントがサンドボックス実行環境でPythonコードを作成および実行できるツールです。さまざまなデータと形式を含むファイルを処理し、データとグラフの画像を含むファイルを生成できます。 2. アシスタントの作成アシスタントの作成手順は、次のとおりです。 (1)  「Playground」を開き、左端の「Playgroundアイコン」とタイトル横の「Assistants」を選択し、「+Create」を押す。 (2) WebUIで以下のように設定して、SAVEボタンを押す。 ・Name : 数学の家庭教師ボット ・Instructions : あなたは数学の個人家庭教師です。数学

                  OpenAI の Assistant Playground の Code Interpreter を試す|npaka
                • なっとく!関数型プログラミング を読んで関数型プログラミングを学んだ - Qiita

                  EDOCODEでエンジニアをしているYutakaです。 こちらは社内勉強会で発表した資料を元にしています。 関数型言語の知識がほとんどないエンジニアがなっとく!関数型プログラミングで学んだ用語を一部まとめました。原著はGrokking Functional Programmingです。本書はScalaとJavaで説明がされていますが、できる限り社内で使われている言語(Go, JavaScript, TypeScript)でサンプルコードを記載しました。 書籍のソースコードはこちらに全て公開されています。 そもそも関数型プログラミングとは? プログラミングのパラダイムには大きく①命令型プログラミング②宣言型プログラミングがあります。 ①命令型プログラミングとは どのよう(HOW)に計算するかに焦点を合わせ、段階的なアルゴリズムを詳細に定義します。これは実際のハードウェアの計算処理の流れに沿っ

                    なっとく!関数型プログラミング を読んで関数型プログラミングを学んだ - Qiita
                  • Raspberry Piを使って気象衛星ひまわりの最新画像を表示する装置を作ったらいつもと違った視点に出会いながら生活ができそう

                    そぞら@Raspberry Pi 電子工作 @sozoraemon ラズパイを使って、気象衛星ひまわりの最新画像を表示する装置を作りました。プログラミング言語Pythonを使い、インターネットから画像を取得しています。 今の地球を俯瞰しながら生活することで、いつもと違った視点に出会えそう。 pic.twitter.com/RT6m74RyH3 2023-08-04 20:15:33

                      Raspberry Piを使って気象衛星ひまわりの最新画像を表示する装置を作ったらいつもと違った視点に出会いながら生活ができそう
                    • AIチャットボット「ニャンぺい」のテストをPython×GPT-4oで自動化する!|自治体AI活用マガジン(運営:横須賀市)

                      こんにちは、横須賀市生成AI推進チームのM田です。 横須賀市がChatGPTを全庁利用を始めて1年経ちましたが、現在、いよいよ市民向けのAIサービスの実現に向けて相談AIチャットボットの実証実験をはじめたところです。 既に多くの人から話しかけてもらっていて、想定したよりも多くのアクセスがあったため一時停止するトラブルもありました…。 (現在は動いています) 今回は、この「ニャンぺい」を公開するにあたって、内部で行うテストをChatGPT(GPT-4o)とPythonプログラムを使って超効率化したよ、という話です。 AIチャットボットのテストAIチャットボットを作るにあたって、チャットボットの挙動(望んだ返答をしているか)のチェックをするテストは欠かせません。 テストは、まず複数のシナリオを作り、チャットボットへ質問し、回答を採点します。そして、採点結果をもとにチャットボットを修正して、再度

                        AIチャットボット「ニャンぺい」のテストをPython×GPT-4oで自動化する!|自治体AI活用マガジン(運営:横須賀市)
                      • データ解析用ライブラリ - Qiita

                        はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか? 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算

                          データ解析用ライブラリ - Qiita
                        • Bluesky のフォロー推薦モデルを書いた - HackMD

                          Social Network を活用するには自分の興味にあったアカウントをフォローすることが大事です.そのために重要な役割を果たすのが「おすすめユーザ推薦 (friend recommendation)」です.

                            Bluesky のフォロー推薦モデルを書いた - HackMD
                          • LINE LLMをMacで動かす - きしだのHatena

                            先日、LINE(現LINEヤフー)のNLP Foundation Devチームから日本語言語モデルが公開されました。(以降LINE LLMと表記します) 36億パラメータの日本語言語モデルを公開しました Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルを公開します でも「NVIDIAのGPUがないと動かないんでしょ」と、試していない人も多いんではないでしょうか。 そこでこのブログでは、MacでLINE LLMを動かす手順をまとめたいと思います。 Windowsや他のLLMでもほぼ同じ手順で動かせるはずです。 次のような手順で進めます。 pythonインストール ライブラリインストール 1.7Bのサンプルコードを動かす チャットインタフェースで1.7Bを動かす CTranslateによる3.6B llama.cppによる3.6B Pythonインストール

                              LINE LLMをMacで動かす - きしだのHatena
                            • PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載

                              Modular社がAI処理を高速化するプラットフォーム「MAX」をプレビュー公開。PyTorchやTensorFlow、ONNXなどのAIモデルと入れ替えるだけで処理が最大5倍高速になる。 Pythonの高速なスーパーセット「Mojo」言語を発表したことで話題となったModular社が、AI処理を高速化するプラットフォーム「MAX」(Modular Accelerated Xecution)のデベロッパーエディションをブレビュー公開しました。 MAX Developer Edition Preview has officially launched! It's a drop-in replacement for running and serving @PyTorch, @tensorflow and @onnxai models much faster and leverages the

                                PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載
                              • LLaVAを使っておうちのパソコンでも画像からコード生成 - きしだのHatena

                                ChatGPTが画像対応して、画像からいろいろなコードが生成できて楽しいことになっていましたが、同じようなことをおうちで動かせるLLaVAが出ていたので試してみました。 GPUはVRAM 12GBあれば十分、8GBはギリギリという感じ。 LLaVA-1.5 先週、LLaVAのバージョンアップ版、LLaVA-1.5が出てました。 🚀 LLaVA-1.5 is out! Achieving SoTA on 11 benchmarks, with simple mods to original LLaVA! Utilizes merely 1.2M public data, trains in ~1 day on a single 8-A100 node, and surpasses methods that use billion-scale data. 🔗https://t.co/y0k

                                  LLaVAを使っておうちのパソコンでも画像からコード生成 - きしだのHatena
                                • プログラミング言語ごとのコミュニティの最大規模はJavaScriptの約2520万人、続いてPythonが1820万人、Javaが1770万人など。SlashDataの調査

                                  プログラミング言語ごとのコミュニティの最大規模はJavaScriptの約2520万人、続いてPythonが1820万人、Javaが1770万人など。SlashDataの調査 ソフトウェアデベロッパーを中心とした調査会社のSlashDataは6月15日、2024年第1四半期時点のプログラミング言語ごとのコミュニティの大きさについてのレポートを発表しました。 これは同社が行った世界135カ国から1万人以上の回答者を集めたアンケート結果などを基に同社が推測しレポートとして発表する予定の内容の一部を公開したものです。 下記は同社が発表したプログラミング言語別のコミュニティを大きさ順に示した図の一部を切り取ったものです。 これによると、最大のコミュニティを持つプログラミング言語はJavaScriptで2520万人。もっともポピュラーな用途はWeb開発となっています。ただしこの人数にはTypeScri

                                    プログラミング言語ごとのコミュニティの最大規模はJavaScriptの約2520万人、続いてPythonが1820万人、Javaが1770万人など。SlashDataの調査
                                  • Cloudflare WorkersがPythonをサポート、WebAssembly版Pythonランタイムの「Pyodide」を採用で

                                    Cloudflare WorkersがPythonをサポート、WebAssembly版Pythonランタイムの「Pyodide」を採用で Cloudflareは、CDNエッジでJavaScriptランタイムによるアプリケーション実行基盤を提供する「Cloudflare Workers」で、Python言語のサポートをオープンベータとして開始したと発表しました。 これによりCloudflare Workers上でPythonを用いたアプリケーションの構築が可能になります。 Introducing Cloudflare Workers in Python, now in open beta! We've revamped our systems to support Python, from the runtime to deployment. Learn about Python Worke

                                      Cloudflare WorkersがPythonをサポート、WebAssembly版Pythonランタイムの「Pyodide」を採用で
                                    • Pythonのパフォーマンスを向上する9つのヒント

                                      Pythonのパフォーマンスは、Javaなどの言語と比べて評価が低い。本稿では、Pythonコードの問題点を見つけて解決し、パフォーマンスを高めるヒントを紹介する。 アプリケーションやWebサイトを最適化する出発点は、コードをしっかりと構築することだ。とはいえ、実際にはコードの90%、多くのスクリプトのほぼ100%ではパフォーマンスを懸念する必要はない。1回だけ実行されるETLスクリプトや夜間に実行されるETLスクリプトではスクリプトの実行にかかる時間が1秒であろうと1分であろうと問題にならない。 だが、アプリケーションの実行が遅く、タスクが完了するまで時間がかかったり、Webページに結果が表示されるのに時間がかかったりして、ユーザーが待たなければないとしたらそれは問題だ。そうだとしても、その原因はコードベースのごく一部にある可能性が高い。 パフォーマンスを最大限に高めるには、パフォーマン

                                        Pythonのパフォーマンスを向上する9つのヒント
                                      • Dify.AI · The Innovation Engine for Generative AI Applications

                                        Release v0.5.10 - Create an AI Agent as Your Assistant and Customize Your Tools.

                                          Dify.AI · The Innovation Engine for Generative AI Applications
                                        • Pythonを使った株価のデータ取得や分析・予測方法を徹底解説!|Udemy メディア

                                          ライブラリについて知る Pythonでデータ分析をする際は、データの整理や数値計算を簡単にできるライブラリを使うと便利です。ライブラリは、コードを簡略化や綺麗なグラフの作成にも役立ちます。 データ分析のための代表的なライブラリは、「NumPy」「Pandas」「Matplotlib」などです。 NumPy 数値計算や配列操作を行うためのライブラリで、高度な数学関数が利用できます。NumPyは、機械学習にもよく利用されるプログラミング言語で、大量のデータ処理にかかる時間もNumPyを利用することで短縮できます。 NumPyについて詳しくは、「Pythonの拡張モジュール「NumPy」とは?インストール方法や基本的な使い方を紹介!」をご覧ください。 Pandas 表形式の配列データを扱うライブラリで、データの読み込み切り出し、並び替え、欠損値の保管など様々なデータ処理に役立ちます。Pandas

                                            Pythonを使った株価のデータ取得や分析・予測方法を徹底解説!|Udemy メディア
                                          • Pythonでデスクトップアプリを手軽に作成、強い味方の「Tkinter」

                                            「Tkinter」というGUIライブラリを利用することで、PythonでもデスクトップのGUIアプリを作成できる。その方法を解説しよう。 「デスクトップアプリをPythonとTkinterを使って作ろう」というのが本特集のテーマです。はじめに、デスクトップアプリ、Python、そしてTkinterとは何かを確認しましょう。 デスクトップアプリとは? デスクトップアプリは「アプリ」の一形態です。 アプリは「アプリケーション」の略で、WindowsやmacOS、iOS、Androidといった「オペレーティングシステム」(OS)の上で動作するソフトウエアのことです。 現時点で、アプリは大別すると、次の3つに分類できるでしょう。 CUIは「キャラクターユーザーインタフェース」(Character User Interface)の略です。CUIアプリは、一般的にはキーボードによるコマンド入力で操作し

                                              Pythonでデスクトップアプリを手軽に作成、強い味方の「Tkinter」
                                            • WebUIについて調べた - laiso

                                              WebUIはデスクトップアプリを作るためのライブラリ。HTML, CSS, JavaScriptでフロントエンドを作り、バックエンドをC, C++, Python, Go, TypeScriptなどの言語で開発できる。システムにインストールされているWebブラウザで動作する https://webui.me/webui.me 2023年にhassandragaさんが公開し、V言語コミッタのttytmさんらも参加した 本体はCで開発されていて、Python, Go, TypeScriptにバイディングが提供されている 似た技術としてはElectronやTauri、Gluonなどが存在する laiso.hatenablog.com zenn.dev アーキテクチャについて ElectronやTauriと比較すると、WebUIのアーキテクチャはWebアプリをブラウザで開くだけなのでより単純かつ制

                                                WebUIについて調べた - laiso
                                              • ExcelでPythonを使えるようにするとMicrosoftが発表

                                                Microsoftが表計算ソフト「Excel」上でPythonを動作させることを可能にすると発表しました。Microsoft 365 Insider Programを通して使用できるベータ版のExcelで既にPythonが利用可能になっています。 Announcing Python in Excel https://techcommunity.microsoft.com/t5/excel-blog/announcing-python-in-excel-combining-the-power-of-python-and-the/ba-p/3893439 新たに導入される「PY」関数を使用すると、セルに直接Pythonのスクリプトを書き込むことができ、書き込まれたスクリプトがMicrosoft Cloud上で実行されてシートに結果が表示されます。サーバーで実行されるPythonにはデータ分析用

                                                  ExcelでPythonを使えるようにするとMicrosoftが発表
                                                • LangChainを用いた4種類のRAG質問応答chainの実装と性能比較

                                                  はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。 stuff chain map reduce chain map rerank chain refine chain 今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてchainごとの性能比較を行いました! 比較では単純な応答能力の比較に加えて, 生成時間やAPI料金の観点からも比較を行なったので, ぜひ読んでみてください! TL;DR 今回の実験は以下のgif画像のようなデモアプリを用い

                                                    LangChainを用いた4種類のRAG質問応答chainの実装と性能比較
                                                  • Python命名規則の基本

                                                    はじめに Pythonの命名規則は、コードの可読性を高めるために非常に重要です。 実はPeP8というPythonのスタイルガイドには、命名規則に関する詳細なガイドラインが記載されています。 本記事では、Pythonの命名規則について、PeP8に基づいてまとめたいと思います。 なぜ命名規則が重要なのか 命名規則(Naming Convention)は、コードの可読性を高めるために非常に重要です。 最も重要なのは一貫性(Consistency)で、コードが一貫性のある命名規則に従っていると、変数や関数の目的が明確になり、コードの理解が容易になります。 また、命名規則に従っていると、他の開発者がコードを読んだり、メンテナンスしたりする際にも、迷うことなく作業を進られるため、作業効率UPにもつながります。 Pythonの命名規則のタイプ Pythonの命名規則には、大きく分けて以下の4つのタイプが

                                                      Python命名規則の基本
                                                    • Rye × uvでPython環境と機械学習環境を整える

                                                      チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 1. Rye × uvとは? RyeはPythonの包括的なプロジェクトおよびパッケージ管理のツールです。これまでもPoetryなど管理ツールはありましたが、pyenvなどPythonのバージョン管理ツールが必要でした。Ryeは、Pythonのバージョン管理からパッケージ管理を行えて、Poetry同様にpyproject.tomlの設定ファイルを使用したプロジェクト管理も可能です。 uvは非常に高速なパッケージインストーラおよびリゾルバーで、一般的なpipおよびpip-too

                                                        Rye × uvでPython環境と機械学習環境を整える
                                                      • sqlcを新規サービスに採用してみた!

                                                        golang.tokyo #35 〜カンファレンス 後夜祭!〜 LT会登壇資料 https://golangtokyo.connpass.com/event/317973/

                                                          sqlcを新規サービスに採用してみた!
                                                        • uv: Python packaging in Rust

                                                          TL;DR: uv is an extremely fast Python package installer and resolver, written in Rust, and designed as a drop-in replacement for pip and pip-tools workflows. uv represents a milestone in our pursuit of a "Cargo for Python": a comprehensive Python project and package manager that's fast, reliable, and easy to use. As part of this release, we're also taking stewardship of Rye, an experimental Python

                                                            uv: Python packaging in Rust
                                                          • SSH keys stolen by stream of malicious PyPI and npm packages

                                                            A stream of malicious npm and PyPi packages have been found stealing a wide range of sensitive data from software developers on the platforms. The campaign started on September 12, 2023, and was first discovered by Sonatype, whose analysts unearthed 14 malicious packages on npm. Phylum reports that after a brief operational hiatus on September 16 and 17, the attack has resumed and expanded to the

                                                              SSH keys stolen by stream of malicious PyPI and npm packages
                                                            • 自作パケット処理系の性能測定と可視化&改善のPDCAを回して最強のパケット処理系の作り方を学ぼう / Let's Measure the Performance of Packet Processing System with Python Tools.

                                                              Pycon APAC 2023で登壇した時の資料です。 https://pretalx.com/pyconapac2023/talk/G3LDSG/ https://2023-apac.pycon.jp/timetable?id=G3LDSG

                                                                自作パケット処理系の性能測定と可視化&改善のPDCAを回して最強のパケット処理系の作り方を学ぼう / Let's Measure the Performance of Packet Processing System with Python Tools.
                                                              • 継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development

                                                                この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n

                                                                  継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
                                                                • GitHub - Plachtaa/VALL-E-X: An open source implementation of Microsoft's VALL-E X zero-shot TTS model. Demo is available in https://plachtaa.github.io

                                                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                    GitHub - Plachtaa/VALL-E-X: An open source implementation of Microsoft's VALL-E X zero-shot TTS model. Demo is available in https://plachtaa.github.io
                                                                  • [pandas超入門]Pythonでデータ分析を始めよう! データの読み書き方法

                                                                    連載目次 本シリーズと本連載について 本シリーズ「Pythonデータ処理入門」は、Pythonの基礎をマスターした人を対象に以下のような、Pythonを使ってデータを処理しようというときに便利に使えるツールやライブラリ、フレームワークの使い方の基礎を説明するものです。 Pythonだけを覚えれば何でもできるわけではない、というのはハードルが高く感じられるかもしれません。それでもプログラミング言語に関する基礎が身に付いたら、後は各種のツールを使いながら、言語とツールに対する理解を少しずつ、しっかりと深めていくことで自分がやれることも増えていきます。そのお手伝いをできたらいいな、というのが本シリーズの目的とするところです。 なお、本連載では以下のバージョンを使用しています。 Python 3.12 pandas 2.2.1 pandasとは pandasはデータ分析やデータ操作を高速かつ柔軟に

                                                                      [pandas超入門]Pythonでデータ分析を始めよう! データの読み書き方法
                                                                    • ExcelにPythonコードを埋め込める「Python in Excel」の紹介 | gihyo.jp

                                                                      筒井(@ryu22e)です。2024年2月の「Python Monthly Topics」は、Excelの新機能Python in Excelについて紹介します。 なお、Python in Excelは本記事執筆時点(2024年1月29日)ではプレビュー段階です。正式版リリース時には仕様が変更される可能性があります。 誰向けの機能なのか Python in Excelは、以下のようなことをしたい人に最適な機能です。 Excelに入力したデータを集計、分析したい Excelに入力したデータでグラフを作成したい 従来も上記を行うための機能はありましたが、Python in ExcelではPythonを使うことでより複雑な処理を書くことができます。 導入方法 冒頭でも説明した通り、Python in Excelは本記事執筆時点ではプレビュー段階です。今のところWindows版Excel(Exce

                                                                        ExcelにPythonコードを埋め込める「Python in Excel」の紹介 | gihyo.jp
                                                                      • Python3.12で新たにサポートされたsub-interpretersの紹介 | gihyo.jp

                                                                        門脇(@satoru_kadowaki)です。11月の「Python Monthly Topics」は、Python 3.12の新機能であるsub-interpretersについて紹介します。 2023年10月2日に「 Python 3.12.0 」がリリースされました。今回も気になる新機能が多く、本記事で紹介するsub-interpretersもPythonで並列処理を行うための新機能です。 Python 3.12の新機能については以下のリンクを参照してください。 What’s New In Python 3.12 -Python 3.12.0 Documentation 本記事ではPythonにおける並列実行のこれまでと、sub-interpretersが現状どのように使用できるかについて説明します。 なお、執筆にあたり先日開催されたPyCon APAC 2023において、sub-in

                                                                          Python3.12で新たにサポートされたsub-interpretersの紹介 | gihyo.jp
                                                                        • まるで“LLMがツールを使う”かのように動作する デモから見るLangChainのモジュール「Agents」の使い方

                                                                          LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。最後に、LangChainのモジュールである「Agents」について解説します。前回はこちらから。 LangChainのモジュール「Agents」 大嶋勇樹氏:最後に、一番おもしろいモジュールであるAgentsを見ていこうと思います。質問をまあまあもらっていますが、最後までいってから回答できればと思います。最後に、一番おもしろいのがこのAgentsです。 まずAgentsのモチベーションですが、Indexesを使ってVector Storeを検索する以外にも、LLMが必要に応じていろいろなことをしてくれたら夢が広がると思います。 例えば、必要に応じて知らない知識だったらGoogleで検索し

                                                                            まるで“LLMがツールを使う”かのように動作する デモから見るLangChainのモジュール「Agents」の使い方
                                                                          • ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics

                                                                            月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis(旧Code Interpreter)環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても

                                                                              ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics
                                                                            • ゼロからはじめるPython(116) 金額合計ツールでExcel要らず - 合計/整形/コピーのツールを作ろう

                                                                              Excelは万能なので、商品金額をいくつか足し算したいだけでもExcelを起動することがあるだろう。しかし、業務でよく足し算するのなら専用ツールを作ってしまうと便利だ。本稿では、計算処理をしてメールに貼り付けするという一連の処理を自動化するツールを作ってみましょう。 専用の税込み金額計算ツール 汎用ツールと専用ツールを使い分けよう Excelのような汎用表計算ツールに習熟しておけば、あらゆる計算処理をExcelだけで処理できる。世界中のオフィスでExcelが活躍しているのは、その高い汎用性と豊富な機能によるところが大きいだろう。 これに対して、簡単な専用ツールを自作するならば、汎用ツールを工夫して使うよりも、何倍も効率が良く、素早くタスクを完成させることができる。専用ツールは、特定のタスクに特化させるため、操作性がよく画面もシンプルで使い勝手の良いものとなる。 それで、今回は、入力した商品

                                                                                ゼロからはじめるPython(116) 金額合計ツールでExcel要らず - 合計/整形/コピーのツールを作ろう
                                                                              • OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode) - Qiita

                                                                                OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode)PythonOpenAIChatGPT OpenAIのChat Completion APIを使って、あらゆるジャンルのクイズを無限に作るクイズAPI1を作ってみました。利用するためには、OpenAIのAPIトークンが必要です。 PythonのStreamlitで作ったデモアプリの中で使っています。 クイズのデータ形式 ジャンルを指定すると、Chat Completion APIを使って、次のようなJSON形式の4択クイズデータを生成します。次の例はジャンルにPythonを指定した結果です。 { "questions": [ { "question": "Pythonの特徴でないものはどれ?", "options": ["動的な型付けを採用している", "クラスベースのオブジェ

                                                                                  OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode) - Qiita
                                                                                • PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

                                                                                  AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル

                                                                                    PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる