1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ
NTTは2023年11月、同社が独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始すると発表した。 tsuzumiのコンセプトについて、NTT 執行役員 研究企画部門長の木下真吾氏は「専門知識を持った、パラメーターサイズの小さなLLMの実現だ。tsuzumiは、パラメーターサイズを抑えつつ、言語学習データの質と量を向上させることで、軽量化と専門性を両立した」と語った。 専門知識を持った軽量LLM「tsuzumi」 tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、「世界トップクラス」（同社）の日本語処理性能を持つLLMだ。軽量なため、1つのGPUやCPUで推論動作が可能で、学習やチューニングに必要な時間やコストを軽減できるという。日本語／英語に対応する他、表が含まれる誓約書や契約書といった図表文書の視覚読解など、さまざまな形式にも対
CUDA 初学者は「効率的なプログラミング」を一旦忘れた方が良いと思った話 - その手の平は尻もつかめるさ
ある事情でCUDA 初学者が集まる勉強会で (恐れ多くも) TA をやってきて、その時に色々と思うところがあったので書きます。 「CUDA を始める動機」が与える影響 CUDA (GPGPU プログラミング)を始めるにあたっての動機の大半は「処理を高速化したいから」だと思います。 中には「GPGPU を使ったプログラミングに興味があったから」とか「CUDA が面白そうだったから」とか、 そういう知的好奇心からCUDA を始める強者もいるとは思いますが、 「GPU 使えば処理にかかる時間を短縮できるんでしょ？」という即物的な動機からCUDA の学習や導入を検討する例が多いような印象を受けます。 で、その世相を反映してか、CUDA 初学者向けの書籍や記事には「高速に動作する処理の書き方」だとか「効率的なプログラムの書き方」という 発展的な内容にカジュアルに触れているものが多く、今回参加した初学
東京工業大学 青木研究室： 新着情報
2007年度 理研ベンチマークコンテストで優勝（1PC部門） 毎年理研シンポジウムと併設して開催されている理研ベンチマークコンテスト は通称「姫野ベンチ(Himeno Bench)」と言われ、流体計算のコア部分であるポアソン方程式をPoint Jacobi法で計算するプログラムです。従属変数である圧力の配列より係数配列の方がずっと大きく、それらは普通サイズのキャッシュには収まらず、メモリバンド幅テストと皮肉られるほど最近のPCなどでは性能が出ないベンチマークテストです。通常の流体計算では殆ど用いられなくなった行列解法ですが、これまでにさまざまなマシンでのベンチマーク実績があり、差分系の数値計算等については他に適当なベンチマークテストがないことから国内では良く使われるベンチマークテストです。 最近 GPGPU (General-Purpose computing on Graphics Pr
社長日記: GPGPU
遅ればせながら、ELSAのTesla C870を購入しようと画策したのですが、ELSAに問い合わせたところ、納期が最短で4週間で年度内の納品は確約できないということで、決算日との兼ね合いで諦めました（意味不明）・・・。もっと早くに発注すればよかった。 ベンチマークをする理由 そもそもCUDAのベンチを取ろうと思ったのは、手持ちの計算処理をインプリしてみたところ、思うような性能が出なかったため。CELLならばCore2（3GHz）の倍速出る処理が、G92だとCore2の7～8割のスピードしか出なかった。CELLへの移植に比べると、CUDAへの移植は格段に簡単だったのだが。。。 パフォーマンスが出ない理由は、デバイスメモリの読み書きが足を引っ張っていたからのよう。CUDAのプログラミングガイドには、メモリアクセスのレイテンシは4cycleだが、デバイスメモリへのアクセス時には、さらに400～6
重力波の観測プロジェクト：スパコンでなく『PS3』が活躍 | WIRED VISION
重力波の観測プロジェクト：スパコンでなく『PS3』が活躍 2007年10月23日 サイエンス・テクノロジー コメント： トラックバック (0) Bryan Gardiner 2007年10月23日 Gaurav Khanna博士の8台の『PLAYSTATION 3』(PS3)は、Linuxと独自コードを使用して複雑な演算をこなしている。 Photo Credit:Gaurav Khanna とんでもない価格設定とソフトの不足が原因で、家庭用ゲーム機として大人気のプラットフォームになっているとは言いがたいソニーのゲーム機『PLAYSTATION 3』(PS3)が、科学研究の分野で新たな活躍の場を見いだしている模様だ。 現在、相互に接続された8台のPS3が、太陽の100万倍ほどの質量を持つ超巨大なブラックホールが星を飲み込んだとき起きる現象や重力波といった宇宙の謎を解こうと懸命になっている。
【IT用語】GPUの行方とプログラマブルGPU
【IT用語】GPUの行方とプログラマブルGPU 小林 賢二, 廣安 知之, 三木, 光範 ISDL Report No. 20050909007 2005年 10月 24日 1 はじめに 近年, CGなどグラフィックス技術の進歩が脚光を浴びている. グラフィクス技術の進歩は, 映像表現の質を著しく高めたが, それと共に多大な計算負荷も招くことになった[1]. そこで, 多大な計算負荷がかかるグラフィクス処理を行うために, GPU(Graphics Processing Unit)[2]が開発されてきた. 本報告では, 固定処理型GPUからプログラマブルGPUへの歴史と次世代GPUについて述べる. 2 GPUとDirectX GPUとは, 高度な(主に3D)グラフィクス処理を行うためのコントローラ・チップであり, ビデオチップが進化したものである. GPUの進化にはDirec
【レポート】SIGGRAPH 2005 - GPUをCPU的に活用するGPGPUの可能性 (1) 顕在化する「GPGPU」のムーブメント (MYCOM PC WEB)
GPUがプログラマブルシェーダベースのアーキテクチャとなり、CPUに迫るプログラマビリティを備え、CPU以上の演算性能を持ってしまったことから、現在、GPUをグラフィックス処理以外の汎用目的に活用する「GPGPU:General Purpose GPU」と呼ばれるムーブメントが起こっている。 昨年2004年8月にはロサンゼルスにて、世界初のGPGPUの研究報告会「GP2」が開催されたが、このテーマが重要と認められたことから、今年のSIGGRAPH2005では、このGPGPUに特化したセッショントラックが新設されたのであった。 GPGPUは、"U"を省略してGPGP→GP2という呼称を昨年は用いていたのだが、今年からはGPGPUに一本化された イントロダクション〜GPGPU誕生の歴史的背景 まず、最初に語られたのは、GPGPUという動きが起こってきた歴史的背景についてだ。登壇したのはバージ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUスパコンでのソフト開発を手軽に：新プログラミング言語「Harlan」
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来