コマンド不要でLLMのダウンロードから会話までを実行できる無料チャットAIアプリ「Jan」を使ってみた
「Jan」は、大規模言語モデル(LLM)のダウンロードからローカルで動作させて実際にチャットするまでの流れをすべてGUIで実行できるアプリです。便利そうだったので、実際にPCにJanをインストールしてLLMとチャットするまでの手順を確かめてみました。 Jan | Rethink the Computer https://jan.ai/ JanはLLMをダウンロードしてローカルで実行するアプリです。LLMとサクサク会話するには、NVIDIA製GPUを搭載マシンかAppleシリコン搭載Macの使用が推奨されています。今回はGeForce RTX 3090を搭載したWindowsマシンで動作させてみます。 まずは以下のリンクをクリックしてJanのダウンロードページにアクセスします。 Download | Jan | Rethink the Computer https://jan.ai/down
あなたのChatGPTをもっと賢く！ APIで使える実践プロンプトエンジニアリング
進化を続ける生成AIの最前線、ChatGPT。既に多くの業界で注目される中、まだこの革命的な技術を手にしていないあなたへ。本連載では、具体的なコードを交えながら、ChatGPT APIの可能性とその活用法を徹底解説します。今回は、ChatGPTをさらに使いこなすための「プロンプトエンジニアリング」について紹介します。 はじめに 前回までの記事では、ChatGPTに興味はあるものの、活用イメージがわかない方々に向けて、ChatGPT APIを利用するとどのようなサービスが開発できるのかを中心に具体定な実装を交えてご紹介してきました。今回は最終回として、ChatGPTのみならず全てのLLMを扱う上で重要となる、プロンプトエンジニアリングについて解説します。 プロンプトエンジニアリングとは 大規模言語モデル（LLM）を利用するにあたって、モデルに入力する文章を主に「プロンプト」と呼びます。このプ
【llama.cpp】誰でもできるgguf変換
tinyLlamaとかを使うときに4bit量子化したいときが誰しも一度はあると思うので、備忘録を書いておく。 llama.cppを導入し、convert.pyを実行、最後にquantize.exeを実行すればOKです。 cmakeの導入 これを参考にcmakeを使えるようにしてみてください llama.cppの導入 llama.cppをクローン git clone https://github.com/ggerganov/llama.cpp cd llama.cpp makeをする。自分はcmakeでやった mkdir build cd build cmake .. cmake --build . --Release cd .. モデルの変換 モデルのダウンロードをする。今回は「yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1」を用いる。 cd models
WSL2でSakana AIを試してみる｜noguchi-shoji
「進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けている」らしいEvoLLM-JPを試してみます。 追記（2024/3/22） 10Bのモデルですが、torch_dtypeを"auto"からtorch.bfloat16に変更すると、推論のスピードが改善しました。 モデルEvoLLM-JPは、3種提供されています。今回は３つとも試します。 - 大規模言語モデル SakanaAI/EvoLLM-JP-v1-10B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-v1-7B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-A-v1-7B : Apache License, Version 2.0 ※画像言語
既存のAIモデルを組み合わせて超高性能モデルを作る手法を日本のAI企業「Sakana AI」が開発、進化的アルゴリズムで膨大な組み合わせを試行し人間には発想困難な高性能LLMや画像生成モデルを作成可能
東京に拠点を置くAI企業「Sakana AI」が、複数の生成AIモデルを進化的アルゴリズムを用いて組み合わせて新たなモデルを作り出す手法を開発しました。Sakana AIはすでに大規模言語モデルや画像生成モデルの作成に成功しており、各モデルは既存のモデルよりも高い性能を備えていることが確かめられています。 進化的アルゴリズムによる基盤モデルの構築 https://sakana.ai/evolutionary-model-merge-jp/ [2403.13187] Evolutionary Optimization of Model Merging Recipes https://arxiv.org/abs/2403.13187 ◆技術の概要 生成AIモデルをゼロから作成するには、高性能なGPUを大量に用意して膨大な計算処理を実行する必要があります。一方で、既存のモデル同士を組み合わせて新
ChatGPTのライバル「Claude 3」の使い方 良い点、悪い点まとめ (1/5)
3月4日の公開以来、「Claudeやばくない？」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル（LLM）だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは？ 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau
ナレッジグラフを用いたRAGの改善 - Ahogrammer
RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
claude3を使ってみたら、ライティングの仕事が無くなるかもしれない瞬間を目の当たりして、衝撃を受けた件｜池田 亮平
claude3を使ってみたら、ライティングの仕事が無くなるかもしれない瞬間を目の当たりして、衝撃を受けた件 ひと言で結論を言うと、昨日はclaude3に衝撃を受けて、興奮して眠れませんでした…。 四の五の言わずにアウトプットを見せちゃいたいんですが、 ●打合せをZoom録画 ↓ ●録音データをCLOVA noteに放り込んでテキスト化 ↓ ●出てきたテキストファイルをノールックでclaude3に添付して、たった4行のプロンプトで指示 CLOVA noteに放り込むところから、トータルの所要時間、長めに見積もっても10分。それで出てきたのがこれです ↓ 【タイトル】 SFプロトタイピングが拓く、KOBIRAの未来 ～物語を通じて、全社で創る10年後のビジョン～ 【本文】 先日、「SFプロトタイピング」という新しい手法について、詳しくレクチャーを受ける機会がありました。講師を務めてくださったの
「公開するApple vs. 隠すOpenAI」アップルが300億パラメータのマルチモーダルAI「MM1」発表。重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第38回目は、生成AI最新論文の概要5つを紹介します。 Appleが最大300億パラメータを持つマルチモーダル大規模言語モデル「MM1」を開発 OpenAIなどのクローズド大規模言語モデルの一部を許可なく取得する攻撃、Googleなどが開発 GPT-3.5の隠れ層のサイズを約4096と推定。非公開LLMの中身を抽出する手法 WebページのスクリーンショットからHTMLコードを生成するAIモデル「Sightseer」をHugging Faceが開発 実世界に強いマルチモーダル大規模言語モデル「DeepSeek-VL」 Appleが最大300億パラメータを持つマルチモーダ
イーロン・マスクのチャットAI「Grok」がついにオープンソース化、他のオープンソースモデルより格段に優れているとの指摘も
イーロン・マスク氏が立ち上げたAI企業のxAIが、少し毒のある返答を好むチャットAI・Grokのモデルデータをオープンソース化しました。公開されたのは特定の用途向けに最適化される前の生データであるため、ユーザーが必要に応じてモデルを最適化することができます。 Open Release of Grok-1 https://x.ai/blog/grok-os Elon Musk to Open Source Grok Chatbot in Latest AI War Escalation - The New York Times https://www.nytimes.com/2024/03/17/technology/chatbot-xai-code-musk.html Musk's Grok AI goes open source | VentureBeat https://venture
ChatGPTplusを解約してClaude3Proへ乗り換えをする際に検討した事｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
私は長らくOpenAIとChatGPTの大ファンであり、ChatGPTはリリース初日から使用し、有料プランもリリース当初から加入して利用してきました。しかし、この度Claude 3 Opusの文章のクオリティの高さに魅了され、ChatGPTからの乗り換えを決意しました。 （2024.4.29追記）こんなに記事を沢山読んでいただいたにも関わらず申し訳ないのですが、純正Web版Claude3Opusの 使用制限が厳しくなっていることと、ChatGPTのGPT4-turbo へのアップデートおよびChatGPTが使いがちな単語をnegative promptで抑制することで、好みの英文が出るようなったので、現在はPerplexityProでClaude3Opusを使い、ChatGPTは課金を再開しました。（これにした経緯は後述） （2024.3.19追記）Opusとりあえず試してみたい！という方
アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
ChatGPTでもミスが多かった当直表作成がClaude3.5Sonnetで可能に!｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
Claude3.5Sonnetで当直シフト作成の悩みから解放！（以下、ほぼClaude3Opusが執筆） 当直表やシフトの作成に頭を悩ませたことはありませんか？不都合日や休日の希望を考慮しつつ、担当数の公平性や当直の間隔など、様々な条件をクリアしなければならないこの作業。これまでは人の手で行うしかなく、とてつもない時間と労力を要していました。 （2024.6.22追記） Claude3.5Sonnetのリリースに伴い、Claude3Opus→Claude3.5Sonnetに変更しました でも、そんな悩みともついにサヨナラできる日が来たのです！そう、Claude3.5Sonnetならこの面倒なシフト作成をほぼ完璧にこなしてくれるんです。しかもChatGPTに比べて出力が速いです。 Claude3.5Sonnetはスタッフ一人一人の希望を汲み取りつつ、担当数のバランスや当直間隔など、様々な条件
MicrosoftのCopilotから無料で「GPT-4 Turbo」にアクセスできるように
2024年3月11日、すべての無料版CopilotユーザーがOpenAIの「GPT-4 Turbo」にアクセスできるようになったことが、Microsoftの広報担当責任者から発表されました。 Microsoft has added the GPT-4 Turbo LLM to the free version of Copilot - Neowin https://www.neowin.net/news/microsoft-has-added-the-gpt-4-turbo-llm-to-the-free-version-of-copilot/ Microsoft quietly upgraded Copilot's free version to GPT-4 Turbo. Here's why it matters | ZDNET https://www.zdnet.com/articl
米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
KDDI、生成AIのELYZA子会社化 最高性能の日本語LLMを展開
言語間転移学習で大規模言語モデルを賢くする
GPT-4を上回るAIチャット「Claude 3」向けの公式プロンプト集が無料公開／Excelの数式作成・Pythonコードのバグ修正など、現在64種類
