GitHub - run-llama/llama_index: LlamaIndex is a data framework for your LLM applications
LlamaIndex (GPT Index) is a data framework for your LLM application. Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python: Starter: llama-index (https://pypi.org/project/llama-index/). A starter Python package that includes core LlamaIndex as well as a selection of inte
GitHub - NVIDIA/multi-gpu-programming-models: Examples demonstrating available options to program multiple GPUs in a single node or a cluster
This project implements the well known multi GPU Jacobi solver with different multi GPU Programming Models: single_threaded_copy Single Threaded using cudaMemcpy for inter GPU communication multi_threaded_copy Multi Threaded with OpenMP using cudaMemcpy for inter GPU communication multi_threaded_copy_overlap Multi Threaded with OpenMP using cudaMemcpy for itner GPU communication with overlapping c
GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
🖥️ Intuitive Interface: Our chat interface takes inspiration from ChatGPT, ensuring a user-friendly experience. 📱 Responsive Design: Enjoy a seamless experience on both desktop and mobile devices. ⚡ Swift Responsiveness: Enjoy fast and responsive performance. 🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience. 🌈 Theme Cus
llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀
これは、なにをしたくて書いたもの？ llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: Python bindings for llama.cpp ドキュメントはこちらです。 llama-cpp-python llama-cpp-pythonは、llama.cppのPythonバインディングです。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ Llamaを使ったアクセスもできるのですが、 High-level API Python Bindings
ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
Windows10での英語キーボード設定方法
対象商品 こちらでご案内させていただく手順は「英語配列キーボードを印字通りに出力させる」方法です。 対象商品は英語配列キーボードになります。 ※日本語配列Advatage2は対象外です。 当社では米国メーカーKinesis社の人間工学に基づいた、疲れにくく、腱鞘炎や肩こりの予防・緩和に効果のあるエルゴノミクスキーボードを各種取り扱っております。 米国メーカー製品をWindowsOSにて、キーボード認識が日本語のまま接続すると印字と出力に差異が生じます（具体的な出力相違箇所に関しては、各商品ページにてご確認ください。） Kinesis社キーボードを印字通りに出力するためにはWindowsの設定を変更して頂く必要がございますので、下記「Windows10にて設定を変更する方法」をご参照いただき、ご変更をお願い致します。 なお、英語配列の主な対象商品を記載致しますので、合わせてご参照いただけます
HuggingFaceとDeepSpeedで実践継続事前学習
はじめに 株式会社Elithの大森一祥です。AIテックカンパニーの一員として、お客様の課題をAIを駆使して解決しています。 大規模言語モデル(LLM)が人間と匹敵する性能を発揮することもあり、弊社には多岐にわたるプロジェクトの依頼が寄せられています。最近は、情報漏洩のリスクを回避するため、独自のLLMの開発を希望されることが多いです。このような案件では、一般に公開されたモデル(ローカルLLM)を利用します。 ローカルLLMを活用して課題を解決する方法として、以下の4つが挙げられます。 プロンプトエンジニアリング：LLMに特定の出力を生成させるための入力文の工夫する手法 RAG：外部の文章データベースから、質問に類似した文章を取り出しLLMの入力として用いる手法 インストラクションチューニング：ユーザの指示に沿った出力を生成することを目的としたチューニング手法 継続事前学習：LLMモデルに対
機密情報も安心？ローカル実行可能なLLMでvscode開発環境を作る - Qiita
はじめに 皆さん、コーディング支援AIは使用していますか？ GitHub CopilotやCursorが人気ですが、機密情報取り扱いの問題もあり、業務への導入に二の足を踏む企業も多いようです。 そこで今回は、サーバーにデータを送信せず、完全オフラインで実行可能なオープンソースLLMを使用した開発環境を構築する方法を紹介します。 既に優秀な記事がいくつか出ておりますので、オープンソースLLMの比較は行いません。 ローカルで動くLLMを使用した開発環境の作り方 今回使用する環境は以下です。 OS: Ubuntu 22.04 LTS CPU: AMD Ryzen 5 5600u Memory: 16GB 1. llama.cppをインストールする llama.cppは、CPUのみでLLMを動かすことができるライブラリです。(詳しい説明はこちら) 通常、LLMを動かそうとすると高性能のGPUが必要
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications
Run Llama-2
llama 70b takes 5.5 min to load on A100 · Issue #4098 · ollama/ollama
ollama/server/routes.go at main · ollama/ollama
Multiple GPU HI00 · Issue #5024 · ollama/ollama
Autoregressive Image Generation without Vector Quantization
How to run Ollama only on a dedicated GPU? (Instead of all GPUs) · Issue #1813 · ollama/ollama
https://ik.am/entries/803
Bill Gates Says AI Will Pay for Itself on Offsetting Emissions
AI at Goldman and the Enterprise: Marco Argenti (CIO at Goldman Sachs) with Eric Newcomer
OpenAI Compatible Web Server - llama-cpp-python
GitHub - Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file.
