タグ

stealthinuのブックマーク (25,795)

  • CohereForAI/c4ai-command-r-plus · Hugging Face

    ","chat_template":[{"name":"default","template":"{{ bos_token }}{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% elif false == true %}{% set loop_messages = messages %}{% set system_message = 'You are Command-R, a brilliant, sophisticated, AI-assistant trained to assist human users by providing thorough responses. You

    CohereForAI/c4ai-command-r-plus · Hugging Face
    stealthinu
    stealthinu 2024/04/05
    Command R+も公開されてた!104Bモデル。これもライセンスはCC-BY-NC。一部でGPT-4超えとの主張。このサイズで。
  • CohereForAI/c4ai-command-r-v01-4bit · Hugging Face

    stealthinu
    stealthinu 2024/04/05
    Comand-Rの20B4bit量子化。ライセンスがCC-BY-NC!Playgroundがあって試してみるとたしかにだいぶ性能良い。これがローカルで動くの??
  • Introducing Command R+: A Scalable LLM Built for Business

    Command R+ is a state-of-the-art RAG-optimized model designed to tackle enterprise-grade workloads, and is available first on Microsoft Azure Today, we’re introducing Command R+, our most powerful, scalable large language model (LLM) purpose-built to excel at real-world enterprise use cases. Command R+ joins our R-series of LLMs focused on balancing high efficiency with strong accuracy, enabling b

    Introducing Command R+: A Scalable LLM Built for Business
    stealthinu
    stealthinu 2024/04/05
    「Command R+」というLLMでローカルでも動かせるサイズなのにGPT-4並の性能。特にRAG使ったときの性能がよくなるようチューニングされてるらしい。
  • HeyGen - AI Spokesperson Video Creator

    Create customized videos using HeyGen's AI Video Generator, turning scripts into talking videos with customizable AI avatars in minutes, without a camera or crew.

    stealthinu
    stealthinu 2024/04/05
    アバターと声を選択してデモ用動画をテキストだけで作れるサービス。日本語もほぼ違和感なく生成できている。
  • CursorとClaudeを使った最近の私の開発環境|ニケちゃん

    こんにちは、ニケです。 皆さん、CursorとClaude使っておりますでしょうか? ブラウザ版Claudeに課金してはや数週間、もうこれがないとコーディングもままならないくらいには依存しちゃっています。 それまではCursorのChat欄メイン、たまーにうまくいかないときにChatGPTを使っていましたが、もう完全に乗り換えてしまいました。 GPTsのようなChatGPT専用の機能も元々あまり使っていなかったので、今回のサムネ作成で2週間ぶりに使用…(もうサブスク辞めようかな というわけで今回は私が普段どうやってCursorとClaude使って開発しているのかを共有したいと思います。 ⚠ 以降の説明は、Cursor有料版($20)と ブラウザ版Claude($20)が前提となっています。 ⚠ 私の環境ではGithub Copilotも有効になっていますが、CursorのCopilot機能

    CursorとClaudeを使った最近の私の開発環境|ニケちゃん
    stealthinu
    stealthinu 2024/04/05
    この方のcursorのLLMのエンジンのモデル使い分けが参考になった。基本はgpt-4かcursor-fastを使っておいて、リポジトリ全体みたいとかそういうときだけトークン長が大きくても制度の良いclaude-3-opusに頼むと。
  • LLMの現在 - Speaker Deck

    今のLLMを取り巻く状況について紹介します。

    LLMの現在 - Speaker Deck
    stealthinu
    stealthinu 2024/04/04
    2024/4時点でのLLMや日本語LLMの状況がわかりやすく説明されてる。でも大まかには計算機力と良質で大量のデータが必要というのは変わらない。
  • Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita

    はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages という論文では、LLMの学習済み重みパラメータの足し引きによって、事前学習済みモデルに対話能力を与えることができるという結果が示されています。 具体的には、英語で事前学習されたモデル(以下ではベースモデルと呼びます)と、ベースモデルを指示チューニング (instruction tuning)してチャット形式の対話ができるようにしたモデル(英語チャットモデル)、ベースモデルを英語以外の言語で継続事前学習したモデルの3つのモデルを用います。 英語チャットモデルの重みからベースモデルの重みを引いたものは、チャット形式で対話ができる能力を表したベクトルであり、そのベクトルを

    Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita
    stealthinu
    stealthinu 2024/04/04
    同一学習済みモデルに追加学習したものは学習内容ベクトルの足し算引き算が出来るっていう件で、実際に英語チャット学習を日本語モデルに足した実験。実際に出来てるのほんとすげえ!となる。
  • 漫画家の著作権を守るAI

    エンドルフィン株式会社(社:東京都港区、代表:張鉉洙)、株式会社SUPERNGINE(社:韓国、代表:KIM DONGJUN)は2024年3月27日、東京・永田町にて開催された一般社団法人マンガジャパン及びデジタルマンガ協会合同「早春の会」にて、ピュアモデルAIによって制作したマンガ作品を初披露いたしました。 現在、市場で出回っている生成AIの多くは他の権利者の絵柄も学習した状態であるため、安易に使用してしまうと作家来の”個性”が失われるだけでなく、著作権侵害のリスクもはらんでいます。 一方で、エンドルフィン株式会社と株式会社SUPERNGINEが提供するサービスは、契約した漫画家のデータだけを学習させる、ピュアモデルAIによるものです。 加えて、著作権者である漫画家の許可がなければ作動せず、また漫画家自身がそのすべての学習成果をコントロールできるよう、オーダーメイド型でサービスを提

    漫画家の著作権を守るAI
    stealthinu
    stealthinu 2024/04/03
    やりたいことはわかるのだけどSDベースらしいので「ピュアモデルAI」という表現だけで説明するのはどうなんだろうかと。
  • Lightning Whisper MLX

    Lightning Whisper MLX An incredibly fast implementation of Whisper optimized for Apple Silicon. Results 10x faster than Whisper CPP, 4x faster than current MLX Whisper implementation. Features Batched Decoding -> Higher Throughput Distilled Models -> Faster Decoding (less layers) Quantized Models -> Faster Memory Movement Coming Soon: Speculative Decoding -> Faster Decoding with Assistant Model In

    stealthinu
    stealthinu 2024/04/03
    Lightning Whisper MLXめちゃくちゃ速いな。このグラフ、元のWhisperじゃなくってWhisper CPPとの比較でこれとは…
  • 「数千万円かかるコスト」と「山のような技術的課題」 開発者たちが語る、日本語LLMの現在地

    基盤モデルの開発をしている中で苦労することは? 南野充則氏(以下、南野):では、ここからパネルディスカッションに移っていきたいと思います。最初は、こちら側でお題を用意しています。大きなトピックとしては、基盤モデルの開発とコスト、基盤モデルにおけるアカデミアとビジネスの観点でどのような考え方をされているのかというところ。 あとは、日語特化LLMの意義と展望といったところですね。大きなトピックとして揃えていますが、今「Slido」でのご質問もいただいていますので、適宜Slidoも拾いながらやっていければと思います。Slidoは、このQRコードからみなさんに質問していただければと思います。 さっそくですが、トピック1に移っていきたいと思います。「基盤モデルの開発をしている中で苦労されることは?」というところで、これはまず垣内さんからお願いしたいです。この基盤モデルを作っている中でどんな苦労があ

    「数千万円かかるコスト」と「山のような技術的課題」 開発者たちが語る、日本語LLMの現在地
    stealthinu
    stealthinu 2024/04/03
    LLM、特に日本語LLMを学習させている人たちのノウハウ。学習データセットの問題だけじゃなくて色々とあるのだな…
  • 日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life

    なお、今回作ったRerankerの技術的な話は、日語 Reranker 作成のテクニカルレポートに記載しているので、興味のある方はそちらをご覧ください。 そもそも Reranker とは? Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類似度を測って並べ替えするものと何が違うのか?と思われるかもしれませんが、実際、文ベクトル類似度でも同じように並べ替えが可能です。 しかしながら、大きく二つの点で異なります。 Reranker は再ランク性能が高い 文ベクトルは、質問文と文章を同じベクトル空間上の表現として類似度を測ります。そのため大規模なデータに対しても事前に文章のベクトルを算出しておくことで、効率的な計算が可能です。 しかしながら、Reranker は再ランクに特化してお

    日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life
    stealthinu
    stealthinu 2024/04/02
    日本語リランカー。リランカーってLLMでやるのだと思ってたが、専用のリランカーもあるんだな。ローカルで速度出るなら良さそう。
  • 物理演算で現実とほぼ同じ動きのミニ四駆を作った

    物理の勉強してたら投稿が遅くなっちゃいました<3Dモデル>オーバルホームサーキット・td86890・td86893(分離)JCJC・td86129・td86892(分離)<BGM>OtoLogic様,魔王魂様,Uppbeat様,ニコニコモンズ(コンテンツツリーに登録)YouTube版https://youtu.be/byKmdWatGwA勉強時間を記録するDiscordサーバーを作りました学生じゃなくても、なにか勉強したいことがある人は自由に使ってください!入退出のログは特に記録していないので、合わなかったら抜けても大丈夫ですhttps://discord.gg/aKdrmhhq受験があるのでほんの少しの間インターネットから距離を置こうと思います

    物理演算で現実とほぼ同じ動きのミニ四駆を作った
    stealthinu
    stealthinu 2024/04/02
    Unityで物理演算の係数合わせてやったらミニ四駆の動作がちゃんと同じ結果になってる。これすごい面白い。
  • 100台まで無料のVPNサービス「tailscale」、リンクだけでマシンのシェアも可能!?【イニシャルB】 - INTERNET Watch

    100台まで無料のVPNサービス「tailscale」、リンクだけでマシンのシェアも可能!?【イニシャルB】 - INTERNET Watch
    stealthinu
    stealthinu 2024/04/01
    tailscaleすげえ。めちゃお手軽でVPN張れる。ただしtailscaleを信頼しなければならないだろうけども。
  • espnet/yodas · Datasets at Hugging Face

    stealthinu
    stealthinu 2024/03/29
    YouTubeから収集された大規模音声コーパス。だが音声以外とかノイズも入ってて生成学習用にはクリーニング必要だろう。
  • Amazon、生成 AI の Anthropic にさらに27億5,000万ドル(約4,150億円)出資ーー同社史上「最大規模」 - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報

    VentureBeat made with Midjourney V6 Amazon(アマゾン)は、人工知能スタートアップの Anthropic(アンスロピック)に追加で27億5000万ドル(訳註:現在の日円レートで約4,150億円)を投資したことを発表した。これにより、昨年最初に約束した12億5000万ドルと合わせ、総額40億ドルの投資が確定した。 CNBC によると、これは Amazon にとって「最大のベンチャー投資」である。 Amazon Web Services(AWS)の Data and AI 担当バイスプレジデントである Dr. Swami Sivasubramanian(スワミ・シバスブラマニアン)博士は、 Amazon の企業ブログに掲載された声明の中で次のように述べている。 「Anthropic の生成 AI に関する先見の明のある取り組み、特に最近導入された最先端

    Amazon、生成 AI の Anthropic にさらに27億5,000万ドル(約4,150億円)出資ーー同社史上「最大規模」 - BRIDGE(ブリッジ)テクノロジー&スタートアップ情報
    stealthinu
    stealthinu 2024/03/28
    4000億円… もう日本のLLM開発のレベルではまったく戦いになってない。
  • 手遅れから始めよう MDR-Diary

    三澤洋史 神立スノーリゾートでのコソ練 3月14日木曜日。新国立劇場で「トリスタンとイゾルデ」初日の幕が無事開いたのを確認すると。翌日の15日金曜日。僕は早朝に家を出て、KSRと呼ばれる神立(かんだつ)スノーリゾートに行った。ここには必ずシーズンに1度は行く。ちょっと覚悟して行く。僕にとっては、いわゆる“コソ練スキー場”なのである。 先日の「マエストロ、私をスキーに連れてって」Bキャンプの、ほんのちょっとの合間に、僕は角皆君に、 「ねえねえ、ショートターンをきちんとやりたいんだけど、教えてよ」 と言って彼から教えを受けた。 コブを滑る場合、整地で自分が出来る速さのショートターン以上のピッチのコブだと、入っても決して長続きしない。ということは、反対から言うと、ピッチの速いショートターンが出来るようになれば、そのピッチ以下のコブが滑り易くなるということだ。 当たり前のことだけれど、ショートター

    stealthinu
    stealthinu 2024/03/28
    『何をやってもエンジョイしている人には“手遅れ”なんてどこにもない』スキーの話だけど人生の話だった。
  • 暇空茜氏の国賠訴訟を冷笑し過小評価するブクマカ・増田達

    暇空茜氏が東京都を相手取って起こした国賠訴訟の判決が東京地裁であり、原告勝訴となった。 これについて、以下のように「金の無駄遣い」「公表済みのものなのに無駄」などと冷笑したり過小評価する増田・ブコメが多数あった。以下に例示する。 ブコメから(https://b.hatena.ne.jp/entry/s/getnews.jp/archives/3516673、https://b.hatena.ne.jp/entry/s/togetter.com/li/2338562より)◯開示請求時には未決定で正当な黒塗りだったが、決定後につつがなく公開されたものを、開示しろと無駄に裁判したという事例。これぞまさに公金の無駄遣い。あれ、アノンさんたち公金の無駄遣いを責めていたのでは? ◯暇さん「勝訴して開示させたぞおおお」←すでに開示済資料 アノン「うおおおおお尊師尊師!」 ◯この件の要約→ https:/

    暇空茜氏の国賠訴訟を冷笑し過小評価するブクマカ・増田達
    stealthinu
    stealthinu 2024/03/28
    『採算度外視で行政を詰めに詰めて適正な運用を行わせるって正にリベラル左派や多くの弁護士達が、立憲民主党や共産党と組んで行ってきたところじゃなかったの?』
  • https://twitter.com/izutorishima/status/1771480148602200538

    stealthinu
    stealthinu 2024/03/24
    なぜ日本語?と思ったら、これってエヴァのセリフなんだね。ほんとにAGI完成でtweetされたものだとしたらちょっと歴史に残りそう。
  • GitHub - kotoba-tech/kotoba-speech-release

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - kotoba-tech/kotoba-speech-release
    stealthinu
    stealthinu 2024/03/22
    transformerベースの音声合成エンジン。日本のコトバテクノロジーズ社。まだ試してないからわからんけど結構パラメータでかいから高速生成には不向き?
  • Sakana AI

    概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes (モデルマージの進化的最適化)」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合(マージ)して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既

    Sakana AI
    stealthinu
    stealthinu 2024/03/22
    モデルマージを進化的アルゴリズム使って最適化させることで学習なく高性能なモデルを作り出すという手法。これは思ってなかったところからの手法だった。すごい!