LLM同士をストリートファイター3で戦わせる方法｜Masayuki Abe
Twitterを見ていたら、LLM同士をストリートファイター3で戦わせてどちらが性能が良いかを競い合うプロジェクトを見つけました。LLMの性能を計測するベンチマークとしてストリートファイター3を利用しています。 Introducing LLM Colosseum ! 🔥 Evaluate LLMs quality by having them fight in realtime in Street Fighter III ! Who is the best ? @OpenAI or @MistralAI ? Let them fight ! Open source code and ranking 👇 pic.twitter.com/GF6HOkVHIA — Stan Girard (@_StanGirard) March 24, 2024 LLM同士を戦わせて、どちらが優れているかを
PythonのコードをWebAssemblyにコンパイルする「py2wasm」、Wasmerが発表
PythonコードをWebAssemblyにコンパイルする「py2wasm」がWasmer社から発表された。WebAssembly版CPythonよりも約3倍高速だ。PythonコードをCPythonのAPIコールに変換するトランスパイラがベースになっている。 WebAssemblyランタイムの開発と提供を行っているWasmer社は、PythonのコードをWebAssemblyバイナリにコンパイルする「Py2wasm」を発表しました。 Announcing py2wasm – A #Python to #WebAssembly compiler that speeds up by 3x your Python apps!https://t.co/0v4YLZC7lY — Wasmer (@wasmerio) April 18, 2024 WebAssembly版CPythonよりも3倍高速
PandasからPolarsへ移行した方がいいのか - Qiita
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
PyQの大人気コンテンツが書籍化、初めてでも楽しめる『Pythonで学ぶ数理最適化による問題解決入門』発売
本書はPythonのオンライン学習サービス「PyQ」の人気コンテンツである「数理的アプローチによる問題解決」を書籍化したものです。 近年、様々な問題を解決する手段として数理最適化（数理的アプローチ）が利用されるようになっています。本書ではこの数理最適化をPythonで実践し、問題を解決する体験ができる入門書です。 理論的な難しさから初心者が挫折しがちですが、本書では理論の詳細よりもPyhonのコードを中心に解説。コードを書いて問題解決をしてみることで、数理最適化への理解も深まります。 本書で取り上げる問題は「輸送費を減らす」「もっと食べたくなる献立をつくる」「お酒をわける」「シフト表を作る」といった身近なもの。学んだことを応用すれば、仕事や日常の問題も解決できるようになるでしょう。 目次 Prologue 第0章 本書の使い方 第1章 数理最適化による問題解決 第2章 数理モデルって何だろ
Pythonからはじめるアルゴリズムトレード
『Pythonによるファイナンス 第2版』の著者が、アルゴリズムトレードを始める上で必要な自動売買の基礎と、機械学習を本格的に導入するために必要なPythonの知識について解説します。具体的には、アルゴリズムトレード用の適切なPython環境の設定、データの取得、NumPy/pandasを使ったデータ分析、トレード戦略のバックテスト、市場予測、ストリーミングのリアルタイム処理等、アルゴリズムトレードのさまざまな側面にPythonを適用するさまざまな手法を紹介し、自動トレード戦略を効率よく構築、デプロイするために、どのような選択肢があるのかを提示します。本書で利用したサンプルコードはGitHubから利用可能です。 まえがき 1章 Pythonとアルゴリズムトレード 1.1 Pythonによるファイナンス 1.1.1 Pythonと擬似コード 1.1.2 NumPyとベクトル化 1.1.3 p
LangChain用に句読点で分割してくれるTextSplitterを作ってみた - 佐藤百貨店
LangChainでテキストを分割するとき、ライブラリに含まれるRecursiveCharacterTextSplitterをそのまま使っても問題ないんだけど、なんとなく素人考えで、分割したテキストも読みやすい方がいいかなーと思って、句読点で分割してくれるTextSplitterを作ってみました。 ソースコード "\n\n"で分割して、長過ぎたら"\n"で分割して、それでも長過ぎたら句読点で分割してと繰り返して適切な長さになるまで分割します。 from typing import Any from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter class JapaneseCharacterTextSplitter(RecursiveCharacterTextSplit
機械学習による株価予想の十八手 - Qiita
1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利
グローリー【6457】 株価予想: Pythonを使ったデータ分析と機械学習によるアプローチの結果… - Python転職初心者向けエンジニアリングブログ
グローリー【6457】株価予想: Pythonによるデータ分析と機械学習の実践データの収集と前処理株価の予測には、まず過去の株価データを収集し、適切に前処理する必要があります。Pythonを使って、株価データを取得し、pandasのDataFrameとして読み込みます。以下のコードは、Yahoo Financeからグローリー【6457】の過去の株価データを取得する例です。 import pandas as pd import yfinance as yf # グローリー【6457】の株価データを取得 stock_data = yf.download("6457", start="2020-01-01", end="2022-01-01") # データの確認 print(stock_data.head())このコードでは、yfinanceライブラリを使用して株価データを取得し、pandasの
LangChain v0.1 クイックスタートガイド - Python版｜npaka
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケージが次の3つのパッケージに分割
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか？ LLMで無限に入力ができることを可能にしたツールなんです！LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります！
Jupyter AIが出た！試した！！すごい！！！ - Qiita
ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
[Python] e-GOV法令APIから法令本文を取得する - Qiita
e-Gov法令APIから日本の法令データを取得して整形する方法についてまとめました。下記Qiita記事を参考にしています。 法令APIをGoogle Colab (Python) からアクセスする e-Gov法令APIとXML Pythonを用いた特定ワードが含まれる法令条文の抽出 本文の整形：【Python3】括弧と括弧内文字列削除 最後の「まとめ」に登場するクラスを含めて、本記事の各コードはGitHub repositoryからダウンロードできます。 1. きっかけ 自然言語処理の勉強の題材として、仕事でよく確認している省令（J-GCP, 医薬品の臨床試験の実施の基準に関する省令）を使用したかったというのがきっかけです。Twitterの投稿文などとくらべて分量が少ない点は気になりますが、表記ゆれなどが少ないので自然言語処理の題材としても有用ではないかと思いました。 2. 環境 APIへ
![[Python] e-GOV法令APIから法令本文を取得する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/770ae0f1f67288bf848ffba80c4a7f22cdff09fc/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwZS1HT1YlRTYlQjMlOTUlRTQlQkIlQTRBUEklRTMlODElOEIlRTMlODIlODklRTYlQjMlOTUlRTQlQkIlQTQlRTYlOUMlQUMlRTYlOTYlODclRTMlODIlOTIlRTUlOEYlOTYlRTUlQkUlOTclRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWZhYTg4ZmNhOGU4MWY2NmNjN2Y0YTc0Yzk5MTI1YmY4%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBMaXNwaGlsYXImdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY2MTdmY2U4NDAwMDliYTgyY2IxZDRmNWNhMjg1ZmFj%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D228e43e5f2a770a752f63de63f1c1680)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Python】VSCodeで関数の引数名を表示する神機能 - Qiita
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita![[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ac0fb5b4d1c8c93e5d4886dd2dcfe0706211d92e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTIwJTJGJTIwcGFuZGFzJTVEJTIwRGF0YUZyYW1lJTIwJUUzJTgyJTkyJUU2JTg5JUIxJUUzJTgxJTg2JUU0JUJBJUJBJUUzJTgxJThDJUU4JUE2JTlBJUUzJTgxJTg4JUUzJTgxJUE2JUUzJTgxJThBJUUzJTgxJThEJUUzJTgxJTlGJUUzJTgxJTg0JUUzJTgwJTgxJUUzJTgxJUExJUUzJTgyJTg3JUUzJTgxJUEzJUUzJTgxJUE4JUUzJTgzJUFDJUUzJTgyJUEyJUUzJTgxJUFBJUU0JUJFJUJGJUU1JTg4JUE5JUU2JThBJTgwMTYlRTklODElQjgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTdmMjFmY2I0NjdhODMxZjk3MTE5ZTRmNmU5YWEyMDc5%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaXJ1a3U2JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mOTAyYzU3ZmM3NDY2ZTdjZTZlMGExMmE0NTg5NWVlYw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9180b8af00e564c171e8e98f8f391616)
Blender Python完全ガイド - ぬっち氏によるBlenderのPython解説本が2023年12月下旬に登場！
jupyter notebookで画像や動画を表示させる簡単な方法 | self-methods
GitHub - mimseyedi/pysentation: pysentation is a CLI for displaying Python presentations.
MSN