70Bモデルのホスティング
こんにちは、@ken11です。 今日はSpiral.AI株式会社のエンジニアブログとして、70BのLLMをホスティングした話をご紹介したいと思います。 70B 春先に「とりあえず6B、話はそれからだ」と言った人がいたような気もしますが、たしかに最近のLLMはパラメータ数が7B/13B/70Bというのが多いのではないでしょうか。 そうですね、Llama2をファインチューニングしたものも多いので、余計にそういったパラメータ数を見かけることが多くなった気がします。 さて、みんな大好きOpenAIのGPT-3.5が175BだとかGPT-4はおそらく500B~だとかいろいろ言われており、Llama2最大サイズの70Bでも遠く及ばないわけですが、それでも70Bは市場に出回っている(誰でも使える)モデルの大きさとしては現状最大級となっているわけです。 とはいえ実際に使おうと思うと、7Bですら結構な推論コ
ABCIの大規模言語モデル分散学習ハッカソンを振り返る
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
1960年代初めに開発された物語自動生成システム | スラド サイエンス
現代ではコンピューターに物語を生成させるさまざまな試みが行われているが、1960年代初めに言語学者Joseph E. Grimes氏が開発したコンピューターによる物語自動生成システムについて、本人からの聞き取りも含めた幅広い調査結果の論文を米カリフォルニア大学サンタクルーズ校のJames Ryan氏が発表している（論文、The Register）。 現在、最古の物語自動生成システムとして広く知られているのは1971年に報告された言語学者Sheldon Klein氏によるミステリー小説自動生成システムだが、Grimes氏は1960年または1961年の夏にメキシコ国立自治大学のIBM 650を使用して物語自動生成システムの開発を始めていたそうだ。システムは機械語で書かれていたが、のちに使用したIBM 1401（メキシコ国立自治大学のものと米オクラホマ大学のものを使用）ではFORTRANでプログ
ランダムお題と小説AIで作る「ほぼ完全自動化小説」をやってみた｜渡葉
AIのべりすとが話題だ。途中まで書いた文章を読ませると、AIが続きを書いてくれるという代物である。ずっと使ってみたかったのだが、ひとつ問題があった。AIは続きを書いてくれるのであって、題材は自分で用意しなくてはならないのだ！！（当たり前だろ） しかし聡明なる私は、即座に解決策を思いついた。そう。「アイデアも外注すればいい」と。今の世の中、創作の題材を提供してくれるサイトなんて無数にある。ランダムでお題を生成し、続きをAIに書かせれば、ネタがなくても小説が作れるんじゃないか！？ お題を用意するというわけで、実際にやってみよう。まずは題材を用意する。ランダムにお題を出してくれるサイトを使って、ネタを作らせよう。 一つ目に使用したのは、私自身が過去に作った診断メーカー、CharacterRoulette。自分で作ったので、当然自分好みの単語がたくさん出てくる。診断結果はこちら。 ツイッター廃人と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud TPUを用いたBERT推論処理基盤の開発
