いちばんやさしいローカル LLM｜ぬこぬこ
概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、
GPTのモデル構造を可視化した｜shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(
国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる
国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる ライター：蒼之スギウラ 2023年5月22日，国土交通省主導による“Project PLATEAU”が，Paradox Interactiveの都市建設シム「Cities: Skylines」で利用できるMOD「SkylinesPLATEAU」を，Steamワークショップで公開した。 #PLATEAU GitHubにて、都市育成シミュレーションゲーム"Cities:Skylines"のMOD「SkylinesPLATEAU」を公開しています！ 現実の都市データを舞台としたまちづくりシミュレーションを体験することができます。 是非ご活用ください！https://t.co/6E8GEJLNsV pic.twitter.com/AejxaWx5jk—
【一覧表付】RaspberryPi全シリーズ比較まとめ【用途別おすすめモデルも解説】
Raspberry Piは、手のひらサイズの小型コンピュータです。各種センサーと組み合わせることで多彩なIoT機器を作ることが出来、年々注目を浴びています。 コロナ禍では半導体不足の影響もあり、国内では売り切れが相次ぐ事態となりました。徐々に供給も回復して来ており、今後ますます目が離せないデバイスです。 この記事では、
「紙飛行機で世界中を自由に飛び回れるゲーム」のデモが公開、「ChatGPT」「Unreal Engine 5」など注目技術てんこ盛りで圧巻の出来栄え
2023年5月11日に開催されたGoogleの開発者向けイベント「Google I/O 2023」で、Googleが蓄積してきた3D地図データを3Dモデルとして提供するシステム「Photorealistic 3D Tiles」が発表されました。このPhotorealistic 3D TilesとチャットAI「ChatGPT」、ゲームエンジン「Unreal Engine 5」を組み合わせて開発された「紙飛行機で世界中を飛び回れるゲーム」のデモ映像が公開されています。 Unreal Engine 5 with Google Photorealistic 3D Tiles & ChatGPT - YouTube 画面内に真っすぐ飛び続ける紙飛行機が表示されています。 画面内に表示された入力欄に「私をオランダの中心部に連れてって」と入力。 すると、紙飛行機がワープ空間に突入しました。 ワープ空間を
CyberAgentの日本語言語モデルを試してみる - きしだのHatena
CyberAgentが日本語LLMを公開していたので、とりあえず動かしてみました。 サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― | 株式会社サイバーエージェント モデルは次のように6サイズ提供されています。 ※ Rinna社も同時に新しいモデルを出したので試しています。 Rinnaの新しい3Bモデルを試してみる - きしだのHatena open-calm-small(160M) まずはopen-calm-small。160Mパラメータです。 このあたりは動作確認用なので、内容は気にしない。 GPUメモリは1.3GBくらいの消費です。 open-calm-medium(400M) 次にopen-calm-medium。400Mパラメータです。 このへんも細かいことは気にしないけど、なんかま
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon
どうもこんにちは。最近、大規模言語モデル（LLM）の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対応モデル Japanese-Alpaca-LoRAを作成し公開した話を紹介しました。 このモデルの作成に使ったデータの大元（Alpacaデータ）はText-davinci-003というOpenAIサービスで出力した結果になりますが、OpenAIの利用規約ではコンテンツ生成者はOpenAIサービスで出力した結果を競合モデルの開発用途に使用してはならないと記載されています。ただ、コンテン
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
ChatGPTのベースになった自然言語処理モデル「Transformer」を調べていたら「Hugging Face」に行き着いた | 豆蔵デベロッパーサイト
最近「ChatGPT」というワードがSNSを賑わしているようです。 筆者は技術に対しては非常にミーハー(？)なので、ChatGPTが何なのか？また、どれほど凄いのか試してみたくなりました。 さっそく ChatGPT を使ってみたいと思います。 (ChatGPTの利用登録の方法については、解説サイトがたくさんありますのでそちらを参照ください。Googleアカウントを持っていればGoogleアカウントと連携してログインすることも可能です) ChatGPTに登録してログインすると以下のような画面が表示されます。 Examplesを使って、いくつかの問いかけに対する応答を確認することが出来ます。 試しにExamplesの一番上にある「Explain quantum computing in simple terms」を選択して ChatGPT へ問いかけをしてみます。 (問いかけの内容は「量子コン
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
データの民主化とこれからのAI組織｜ばんくし
はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A
OpenAI API で提供されている モデル まとめ｜npaka
1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu
OpenAI API で提供されている モデル まとめ｜npaka
1. GPT-3モデル「OpenAI API」は、用途に応じて様々なGPT-3モデルを提供しています。 ・GPT-3 : 自然言語を理解し生成するモデル ・Codex : 自然言語からコードへの変換 および コードを理解し生成するモデル ・Content filter : センシティブ および 安全でないテキストを検出するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル 2. GPT-3「GPT-3」は、自然言語を理解し生成することができるモデルです。 性能の異なる4つの主要モデルを提供しています。Davinciは最も高性能、Adaは最も高速なモデルになります。 2-1. text-davinci-003「GPT-3」の中で最も高性能なモデルです。他のモデルで可能なあらゆるタスクが可能で、多くの場合、より高い品質、より長い出力、より良い命令追従性が得られます
高性能チャットボット「ChatGPT」を支える“劣悪な労働搾取”を米誌がスクープ | 時給は最高2ドル。残虐な動画を検閲し続ける…
トラウマを残した「労働搾取」 米「タイム」誌がテクノロジー業界の闇を暴き、大きな話題になっている。 問題となっているのは、高い文章生成能力が注目される、AI搭載チャットボットの「ChatGPT」。その生みの親であるAI企業「オープンAI」がパートナー企業を通じ、時給2ドル以下でケニア人労働者を雇っていたことがわかったのだ。 オープンAIはマイクロソフトから100億ドルの出資を受ける可能性が報じられるほど、いまもっとも注目されている企業だ。いったい何が起きているのか。 オープンAIが外注先として依頼していたのは、米サンフランシスコに拠点を置くサマ社。同社はケニアやウガンダ、インドの人材を雇い、グーグルやメタ、マイクロソフトなどの顧客向けに、有害なネット情報を選別する「データのラベリング作業」を実施していたという。 ケニア人の労働者たちは、データのラベリング作業の過程で、処刑や性的虐待など極め
超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開
株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 2023年1月18日 株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 ※音声コーパス: 音声データとテキストデータを発話単位で対応付けて集めたもの。音声認識モデルを作成する材料として使用され、その規模と品質が音声認識の精度を大きく左右する。 ※2「ReazonSpeech」を用いた文字起こしサービスをプロジェクトwebサイトにて実際に試すことができます。 プロジェクトwebサイト：https://
自転車のヘルメットに取り付けたGoProでドローンを飛ばせないエリアの3Dマップを作成する方法
ドローンを使うと上空から建造物や街の様子を撮影し、ソフトウェアを利用して3Dマップを作成することができますが、場所によってはドローンを飛ばすことが禁じられている場合があります。そこで、自転車のヘルメットに取り付けられた360度カメラだけを使い、ドローンを使わないで3Dマップを作成する方法について、ソフトウェアエンジニアのJake Coppinger氏が解説しています。 Creating aerial imagery with a bike helmet camera (GoPro) and OpenDroneMap - Jake Coppinger https://jakecoppinger.com/2022/12/creating-aerial-imagery-with-a-bike-helmet-camera-and-opendronemap/ ドローンは街路の調査やマッピングに最適で
構文のことは忘れて、JSON, S式, XMLのデータモデルを比較する
データをシリアライズするには、独自のフォーマットを定めるよりも、基本的な定義済みの構造を組み合わせてフォーマットを作るほうが望ましい場合が多いです。 そのような仕組みとしてJSON, S式, XMLなどが存在しますが、これらは 「基本的な構造」として何を選ぶか、という観点からそれぞれに個性を持っています。 本記事では、具体的な構文のことは基本的に忘れて、各フォーマットが採用するデータモデルの違いに焦点を絞って比較します。 JSON data JSON = Value data Value = -- Compounds Array [Value] | Object (Map String Value) -- Scalars | Null | Boolean Boolean | String String -- UCS-2 | Number IntegerOrFloat -- no NaNs
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2023年版】Stable Diffusion モデルまとめ | BLOG CAKE
世界最大1万9千時間の音声コーパスと高精度日本語音声認識モデルがオープンソースで公開／商用・非商用を問わず、誰もが自由に利用・改変・再配布可能
