Fast and Portable Llama2 Inference on the Heterogeneous Edge
Fast and Portable Llama2 Inference on the Heterogeneous Edge • 12 minutes to read The Rust+Wasm stack provides a strong alternative to Python in AI inference. Compared with Python, Rust+Wasm apps could be 1/100 of the size, 100x the speed, and most importantly securely run everywhere at full hardware acceleration without any change to the binary code. Rust is the language of AGI. We created a very
OpenAI DevDay の各セッションの要約まとめ (by GPT4-Turbo)
これは何？ OpenAI DevDay ではサム・アルトマンの基調講演のほかにも、多数のセッションが行われていました。 セッションの動画が公開されていましたが、全部見てる時間ないのでGPT4-Turboに要約を書いてもらいました。 自分だけで要約読んで捨てるのももったいないので、皆さまにお裾分けします。 まだ動画見れてなく、内容の妥当性は自分で確認してないので、間違ってる点などあればご指摘ください。 New Products: A Deep Dive tl;dr OpenAIのKrithikaがマーケティングリーダーとして登壇し、GPTとChatGPTについて話しました。開発者向けのAssistant APIの力強さと、カスタム機能を追加することでの可能性について説明しました。ThomasとNickがデモを行い、GPTの指示、アクション、追加知識の3つの要素を紹介しました。 次に、Assi
【HELP ME】Assistants APIで破産しそうになった話｜ニケちゃん
こんにちは、ニケです。 皆さん、Assistatnts APIは使われていますでしょうか？ 巷（私の周り）ではGPTsが流行りに流行ってるのでAssistatnts APIを使用されている方はあまり見かけないですが、今回のDevDayで発表された中でもかなり注目度の高いサービスではないかと思っています。 私も過去に以下の記事を書いているので是非ご覧になってください。 で、個人的にもかなり注目しているAssistatnts APIですが、今回はこれに破産させられそうになったという話です。 Assistants API とは？この説明も3回目です。 下記の公式かnpakaさんの記事がわかりやすいので、そちらを先に読んでもらえると良いかもしれません。 アシスタントAPIは、開発者が多様なタスクを行う強力なAIアシスタントを作れるように設計されています。 アシスタントは、特定の指示を設定することで
Improve LLM responses in RAG use cases by interacting with the user | Amazon Web Services
AWS Machine Learning Blog Improve LLM responses in RAG use cases by interacting with the user One of the most common applications of generative AI and large language models (LLMs) is answering questions based on a specific external knowledge corpus. Retrieval-Augmented Generation (RAG) is a popular technique for building question answering systems that use an external knowledge base. To learn more
爆速化する画像生成AI。0.5秒で4枚出力、リアルタイム生成できるレベルに (1/5)
このところ画像生成AI界隈で話題になっているのが、「Latent Consistency Models（レイテント・コンシステンシー・モデル」（以下「LCM」）。10月6日に中国精華大学のシミアン・ルオさんが中心となって発表された論文で、日本語にすると「拡散的一貫性モデル」。新しいタイプの効率性の高い生成モデルを使い、Stable Diffusion＝安定拡散モデルより高速に画像を生成。結果としてビデオメモリーの少ないローレベルのPCでも画像生成AIを動かせるようにしようというものです。 0.5秒で4枚出力。Stable Diffusionの5倍 Stable Diffusionの拡散モデルは、ランダムなノイズ情報から、学習済みの特徴点データを利用することで、段々と画像を生み出していくサンプリングプロセスを繰り返します。それによって画像を生成する仕組みです。通常、1枚の画像を生み出すのに必
GPTs のプロンプトリーキング対策｜ぬこぬこ
⚠️この記事を読んで得られる情報は、プロンプトリーキングに対する具体的な対策手法のみです。よく知られているプロンプトリーキング手法は既知の情報として一部掲載しますが、詳細な手法については言及しません。完全な対策は不可能という前提で「仮にすべてインターネットに流していいという情報」のみを Instruction プロンプトに記入＆ファイルのアップロードをしてください。すぐ陳腐化する可能性があるので、適宜更新していきます。 ⚠️また、この記事の情報を知った上で、どなたかの GPTs の情報経由で取得した情報を公開したり、人の悲しむ目的に利用することを禁止します。いい人だけ読んでください。 ⚠️カッチカチに対策を施した GPTs でも簡単にリーキングできてしまうので、そもそもプロンプトで対策できるものと思わないようにしましょう。 プロンプトリーキングとは？ Learn Prompting に準拠
NousResearch/Yarn-Mistral-7b-128k · Hugging Face
Model Card: Nous-Yarn-Mistral-7b-128k Preprint (arXiv) GitHub Model Description Nous-Yarn-Mistral-7b-128k is a state-of-the-art language model for long context, further pretrained on long context data for 1500 steps using the YaRN extension method. It is an extension of Mistral-7B-v0.1 and supports a 128k token context window. To use, pass trust_remote_code=True when loading the model, for example
Cohereの多言語用の埋め込みモデルを日本語で評価してみる - Ahogrammer
Cohereが提供を開始した多言語用のテキスト埋め込み用のモデルであるembed-multilingual-v3.0の性能を日本語の文類似度と検索のデータセットで評価してみました。 Cohere Embed v3とは CohereのEmbed v3はテキストを埋め込むためのモデルです[1]。これまでもv2モデルがありましたが、それと比べた主な改良点は、単純に性能が向上していることに加えて、コンテンツの全体的な品質を評価する機能が挙げられます。この機能はノイズの多いデータセットを扱う場合に役立ち、品質の高い文書を上位にランク付けすることができとしています。さらに、圧縮を考慮した特別な学習方法を実装しており、ベクトルデータベースの実行コストを大幅に削減できるとしています。この機能の詳細については、近日中に公開とのことです。 画像はhttps://txt.cohere.com/introduci
Stability AIは商用利用可能な日本語画像言語モデル「Japanese Stable VLM」をリリースしました。 — Stability AI Japan
Stability AI は商用利用可能な日本語画像言語モデル「Japanese Stable VLM」をリリースしました。 Japanese Stable VLM 「Japanese Stable VLM」は、「Japanese Stable LM Instruct Gamma 7B」をベースとした日本語画像言語モデル（Vision-Language Model、略してVLM)です。入力した画像に対して文字で説明を生成できる画像キャプショニング機能に加え、画像についてのユーザーの質問に回答することもできます。 研究目的に作られた最初のバージョン「Japanese InstructBLIP Alpha」とは、主に以下の2点の違いがあります。 商用利用可能* ライセンス 最新手法 LLaVA-1.5 のモデル構造・学習手法を適用 ベースとする言語モデルを「Japanese Stable LM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
singletongue/wikipedia-utils · Datasets at Hugging Face
Pre and post processing