Large Concept Models: Language Modeling in a Sentence Representation Space
Large Concept Models: Language Modeling in a Sentence Representation Space 概要LLMs have revolutionized the field of artificial intelligence and have emerged as the de-facto tool for many tasks. The current established technology of LLMs is to process input and generate output at the token level. This is in sharp contrast to humans who operate at multiple levels of abstraction, well beyond single wo
オープンソースのRAG UI「kotaemon」を試す
2024/11/01追記 GraphRAGの実装に、nano-graphragが追加されたようです。 https://x.com/kagamih/status/1852282744694587509 MSのGraphRAGよりもコンパクトに使えると思うので、個人的にはそちらをオススメします（まだ試していませんが） nano-graphragを元にしたLightRAGについては以下にまとめてます。 https://zenn.dev/kun432/scraps/1f28e5d20dfdf5 あと下に書いてる不具合も確かもう直ってると思うけど、実際に試していないのと、nano-graphragのほうがいいかなと思うので、もはや本記事はobsoleteということで。 2024/09/03追記 ちょっとX経由で見に来ていただいた方が増えているようなのであらかじめ注意。 kotaemonで普通のRAG
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
2024年度 第38回人工知能学会全国大会（JSAI2024）参加レポート - Insight Edge Tech Blog
はじめまして！2024年5月よりInsight EdgeにジョインしたData Scientistの市川です。 まだ入社して間もないですが、オルタナティブデータを活用した案件や、金融市場のオプション等を活用した分析などに携わっております。 今回は、先日人工知能学会（JSAI2024）に行ってきましたので、そのレポートをさせて頂きます。 イベントの概要 発表の概要 [2J1-KS-19] 金融分野における大規模言語モデルの活用 [2A2-PS-2] 進化する大規模言語モデル [2O4-OS-25a] 不動産とAI [2O4-OS-25a-01] 住宅価格予測モデルの経時的な精度の変化分析 [2O4-OS-25a-02] 地理空間ネットワークデータと機械学習を用いた説明可能性の高い賃料予測 [2O4-OS-25a-03] 機械学習を用いた物件設備スコアの推定：不動産データを使用したケーススタデ
T-LEAF: Taxonomy Learning and EvaluAtion Framework
How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy. By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo Zeng BackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things
RecBole
A unified, comprehensive and efficient recommendation library General and extensible data structure We design general and extensible data structures to unify the formatting and usage of various recommendation datasets. Comprehensive benchmark models and datasets We implement more than 100 commonly used recommendation algorithms, and provide the formatted copies of 43 recommendation datasets. Exten
KAN: Kolmogorov-Arnold Networks
Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametriz
Sakana AI
更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad ブレインパッド
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
Google Colab で Moore-AnimateAnyone を試す｜npaka
「Google Colab」で「Moore-AnimateAnyone」を試したので、まとめました。 1. Moore-AnimateAnyone「Moore-AnimateAnyone」は、「AnimateAnyone」の再現実装です。元の論文で実証された結果を一致させるために、さまざまなアプローチやトリックを採用していますが、それらは論文や別の実装とは多少異なる場合があります。 これは非常に暫定的なバージョンで、AnimateAnyone で示されたパフォーマンス (テストでは約 80%) に近似することを目的としています。 2. インストールインストール手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !git clone https://github.com/MooreThreads/Moore-AnimateAnyone %cd Moor
もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」 | ログミーBusiness
「GPT-4を作ってください」と言われたらどう答える？秋葉拓哉氏：みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか？ ということをちょっと聞いてみたいですね。 これはけっこう意見が分かれるポイントだと思うのですが、今日は、この質問に対して、少しでもみなさんの回答の解像度を上げられるように話ができればなと思っています。時間が限られていますが、よろしくお願いします。 登壇者の自己紹介とStability AI社の紹介まず、自己紹介ですね。私は、Stability AIという会社に勤めています。
【AI動画生成】Animate Anyone 論文解説
はじめに 11月も終わり、今年も残るところあと一か月となりました。 今年ももう終わるから今年中に成果を上げとけ！と言わんばかりに最近は新技術の登場が多いです。 今回取り上げるのも11月最後の大砲として出てきた新技術、その名もAnimate Anyone Animate Anyoneとはなんぞや 文字で説明するより見たほうが早い 凄くざっくり説明すると、一枚の絵と動きをボーン動画として入力すると、入力した絵がボーン動画と同じ動きをしてくれるよ！というもの。 似たようなものは今までもReferenceOnly × openpose × animatediffとかで出来ましたが、特筆すべきはその精度。 動画生成の大敵であるちらつきは一切なく、入力画像にかなり忠実な動画を生成しています。 さてこの技術、動画生成にずっと注目している自分としてはいますぐにでも弄り倒したいのですが、残念ながらコードとモ
Data-Centric Financial Large Language Models – arXiv最新論文の紹介
Data-Centric Financial Large Language Models [27.5] 大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。 論文 参考訳（メタデータ） (Sat, 7 Oct 2023 04:53:31 GMT) 金融分野向けにLLMを活用するため、データの前処理を工夫・拡張（AAR: abductive augmentation reasoning ）など行ったうえで既成のLLMを使う方針及びfine tuningに使う方針などを試している。単純なLangChain＋LLMより有効とのこと。 「データ中心な金融分野向けLLM」という題名であるが分野に関わらずこの手のオフラインでの準備は非常に重
ViTよりもシンプルで強力な最新画像処理モデル ConvMixer を詳細解説！
概要 画像処理の世界はながらくCNNベースのモデルが主流でした。よく知られているResNet やVGG などは、現在でも多くのモデルで利用されています。 対して、自然言語処理の世界では、Attention機構を利用したTransformerベースのモデルが目覚ましい性能を発揮し、現在ではTransformerをベースに設計することがデファクトスタンダードであると言えます。 そうした状況を受け、近年 Vision Transformer（通称 ViT） をはじめとしてTransformer を利用したモデルが画像処理の世界でも作られるようになりました。それらはとくに巨大なデータセットで優れた性能を発揮したことで大きな注目を集めています。 今回の論文は、そうした潮流が前提としている Transformer の骨格である Attention 機構が重要であるという論に対して疑問を投げかけたことで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://hirokatsukataoka.net/temp/presen/240621CVPR2024Report_finalized.pdf
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
Attention Mechanisms in Computer Vision: CBAM | DigitalOcean
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
The Machine & Deep Learning Compendium | Machine & Deep Learning Compendium
LLM Visualization