メタが桁違いのAIインフラ構築 「完全な汎用知能」へ - 日本経済新聞米メタが人工知能（AI）向けのIT（情報技術）インフラ投資を再拡大し始めた。リストラのため2023年は設備投資などの資本的支出（CAPEX）を減らしていたが、24年は再び増やして300億〜370億ドル（約4.4兆〜5.5兆円）を投じる。マーク・ザッカーバーグ最高経営責任者（CEO）は「完全な汎用知能の実現を目指す」と明言している。前年よりも減ったものの、設備投資自体は23年も巨額だった。同社が
GitHub - snexus/llm-search: Querying local documents, powered by LLM
The purpose of this package is to offer a convenient question-answering (RAG) system with a simple YAML-based configuration that enables interaction with multiple collections of local documents. Special attention is given to improvements in various components of the system in addition to basic LLN based RAGs - better document parsing, hybrid search, HyDE enabled search, chat history, deep linking,
GitHub - google/typograms
Typograms (short for typographic diagrams) is a lightweight image format (text/typogram) useful for defining simple diagrams in technical documentation, originally developed here. See it in action here: https://google.github.io/typograms/ Like markdown, typograms is heavily inspired by pre-existing conventions found in ASCII diagrams. A small set of primitives and rules to connect them is defined,
GitHub - ShishirPatil/gorilla: Gorilla: An API store for LLMs
🎉 Berkeley Function Calling Leaderboard How do models stack up for function calling? 🎯 Releasing the Berkeley Function Calling Leaderboard. Read more in our Release Blog. 🏆 Gorilla OpenFunctions v2 Sets new SoTA for open-source LLMs 💪 On-par with GPT-4 🙌 Supports more languages 👌 Blog. 🔥 Gorilla OpenFunctions is a drop-in alternative for function calling! Release Blog 🟢 Gorilla is Apache 2
東大発スタートアップ、67億パラメーターの日本語LLMをOSSで公開
東京大学発のスタートアップ企業であるLightblue（ライトブルー）は、公開モデルとしては国内最大規模の67億パラメーターの日本語大規模言語モデルを開発し、オープンソース・ソフトウェアとして公開した。ライセンスはApache 2.0。 この言語モデルは、米モザイクML （MosaicML）が公開した多言語大規模言語モデル「MPT-7B」を基にしたもの。グーグルが開発した多言語データセット「MC4」をアレン人工知能研究所（Allen Institute for AI）がそれぞれの言語ごとに利用可能にしたサブセットの日本語部分を使って追加学習した。 Lightblueは、今回公開したモデルを法人向けに提供する。業界用語や部署特有の専門用語、慣習などに合わせて訓練・調整することで、企業や部署によって異なる要望に応じるという。加えて、自社サービスの提供も予定しているとのことだ。 （笹田） 6人気
GitHub - bentoml/OpenLLM: Operating LLMs in production
OpenLLM is an open-source platform designed to facilitate the deployment and operation of large language models (LLMs) in real-world applications. With OpenLLM, you can run inference on any open-source LLM, deploy them on the cloud or on-premises, and build powerful AI applications. Key features include: 🚂 State-of-the-art LLMs: Integrated support for a wide range of open-source LLMs and model ru
Meta’s LLaMa 2 license is not Open Source
Meta’s LLaMa 2 license is not Open Source OSI is pleased to see that Meta is lowering barriers for access to powerful AI systems. Unfortunately, the tech giant has created the misunderstanding that LLaMa 2 is “open source” – it is not. Even assuming the term can be validly applied to a large language model comprising several resources of different kinds, Meta is confusing “open source” with “resou
国立国会図書館（NDL）、OCR処理プログラム「NDLOCR」ver.2を公開
2023年7月12日に、国立国会図書館（NDL）が、OCR処理プログラム「NDLOCR」のver.2を、NDLラボ公式GitHubで公開しました。 NDLOCRは、NDLがデジタル化した資料から、全文テキストデータを作成することを目的に開発したものです。 2023年4月に公開したver.1が、全文検索用途が主目的の開発であるのに対し、ver.2は、視覚障害者等の読み上げ用途にも利用できるよう、読み上げ順序の推定等の機能の追加や文字認識性能の改善を行っています。 また、ver.2には、2022年度にNDLが外部委託して開発したver.2.0と、2023年4月～6月にNDLが改善作業を実施したver.2.1があります。 NDLOCR ver.2の公開について(NDLラボ, 2023/7/12) https://lab.ndl.go.jp/news/2023/2023-07-12/ NDLOCR
劔"Tsurugi"
劔 新しいハードウェアアーキテクチャ（メニーコア・大容量メモリー）に合わせた設計思想で、 性能を最大限に発揮する国産リレーショナルデータベース
MinIO | High Performance, Kubernetes Native Object Storage
The Object Store for AI Data Infrastructure MinIO is a high-performance, S3 compatible object store. It is built for large scale AI/ML, data lake and database workloads. It is software-defined and runs on any cloud or on-premises infrastructure. MinIO is dual-licensed under open source GNU AGPL v3 and a commercial enterprise license.
GitHub - neuml/txtai: 💡 All-in-one open-source embeddings database for semantic search, LLM orchestration and language model workflows
All-in-one embeddings database txtai is an all-in-one embeddings database for semantic search, LLM orchestration and language model workflows. Embeddings databases are a union of vector indexes (sparse and dense), graph networks and relational databases. This enables vector search with SQL, topic modeling, retrieval augmented generation and more. Embeddings databases can stand on their own and/or
【GPT】今日から使えるOSSライブラリまとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 各手法の説明を読む前に、「これだけは知っとけ用語」を読んでおくと意味がわかります。知っている人は飛ばしてください。 これだけは知っとけ用語 Retriever LLMの入力として含められる情報には上限があります。GPT-3.5で4k トークン。GPT-4でも、8K, 32Kトークンです。十分大きくなったとはいえ、本一冊分とかは無理なわけです。これをうまくチャンクに分けて、質問から、チャンク化された文章を検索できるようにしたものを、Retriverと言います。 詳しくは、下記のページが参考になります。 埋め込み(Embeddings) 簡単にいうと、LLMを使って、入力を固定長のベクトル表現にすること
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleが高精度かつ高速にファイル形式を判別するツール「Magika」公開
GitHub - zed-industries/zed: Code at the speed of thought – Zed is a high-performance, multiplayer code editor from the creators of Atom and Tree-sitter.
GitHub - unum-cloud/usearch: Fast Open-Source Search & Clustering engine × for Vectors & 🔜 Strings × in C++, C, Python, JavaScript, Rust, Java, Objective-C, Swift, C#, GoLang, and Wolfram 🔍
OpenAssistant Roadmap
GitHub - LAION-AI/Open-Assistant: OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party systems, and retrieve information dynamically to do so.
Dr. Joseph Gonzalez, UC Berkeley: Creating Gorilla and Language Models that Can Call APIs
Announcing OpenLLM: An Open-Source Platform for Running Large Language Models in Production
GitHub - eykrehbein/strest: ⚡️ CI-ready tests for REST APIs configured in YAML
