スパコン「富岳」で和製生成AI 東工大や富士通、23年度中に - 日本経済新聞

東京工業大学や富士通などは22日、スーパーコンピューター「富岳」を使って2023年度中に高度な生成人工知能（AI）を開発すると発表した。日本語を中心とした基盤技術を構築し、24年度から国内企業などに無償で提供する。米オープンAIの「Chat（チャット）GPT」などが世界で注目を集める中、日本の産学が連携して自前技術で対抗する。開発には理化学研究所や東北大学も参加する。生成AIの基盤となる大規模

[TakamoriTarou]

ウィキペディアを使うとか書いてあるけど、それだったらどこでもできる気がするんだけどどーなん。いっそ国会図書館とかにガッツリ寄附してパブドメのデータ使うとかやってほしい。F金はあるでしょ？

[shinobue679fbea]

学習と学習済みモデル動かすことの違いもわからないなら黙っとけばw？公開はGitHubやhugging face 経由になるそうだよ。

[qpci32siekqd]

OpenAIもスパコンで学習させてるhttps://openai.com/blog/discovering-the-minutiae-of-backend-systems Webサーバーと違ってチップ間通信帯域必要だからスパコン構成になる。チューン必要だからNLP専門家だけ居ても意味ない。HPC屋がいる。

[u4cniics]

"開発した大規模言語モデルは産業界や研究機関が活用できるよう公開する" 本当？申請書やら計画やら予算やら色々必要でchatGPT使ったほうが早いとかなりそう

[augsUK]

「ご家庭グラボ」でLLM使った生成はできても、学習は桁違いのハードリソースが必要だろ。Transformer以前のAI観から変わってないのか？ https://b.hatena.ne.jp/entry/4736844230732364293/comment/anigoka

[yas-mal]

他人の住民票が出て来る生成AIが爆誕しそう。

[slkby]

個人的には性能で英語圏のAI超えを目指すというよりは、TransformerベースのAIに日本語を多く学習させた場合に英語メインのAIとどう振る舞いが変わるのかとか、なぜ変わるのかとかそういった方面の研究してほしいな

[anigoka]

マイナ富士通が参加してる時点でお察し　ご家庭グラボでオープンソースでブッラクボックスなしで大規模言語AIが動かせるのが強みなのに今更スパコンでChatGPTモドキて…

[andalusia]

TUBAME4.0のほうがAI(LLM)向きなスペックなように思えますが、そのための助走期間として研究に使う感じかな？ https://www.titech.ac.jp/news/2023/066782

[blueboy]

　GPU をどれだけたくさん併用するか、で決まりそうだ。ここで GPU をケチって、性能を大幅低下させるのが、日本のやりがちなことだが。

[confi]

どうやって日本語の文章を収集するのかに触れてないようだが…？

[agricola]

↓FX1000はアクセラレータカードのH100やSX-Auroraよりもメモリが少ない事実を直視できない可哀想な人々。

[mapiro]

くさすブコメが多いが、ノウハウを持った人材を育てていくためには基盤技術の研究も大事

[birds9328]

何年富岳って名前で引っ張るんすか…

[LM-7]

GPT3.xに近い1700億パラメータ程度を目指すとのことだけど、手遅れ感がする。出来る頃にはGPT4が席巻し、GPT5が出てるんじゃない？

[SPIRIT_PHOENIX]

他人が入力したプロンプトの内容が見えそう…。(偏見)

[finefinethankyou]

“富岳は生成AIの学習に適した画像処理半導体（GPU）などを搭載していない。” そうだよね。なくてもいけるもんなのか？

[raebchen]

"開発した大規模言語モデルは産業界や研究機関が活用できるよう公開する"→ 現存する中央から地方の全ての公文書や国立国会図書館の蔵書全て読み込ませて、むしろ、しがらみのない政策立案に活用してもらいたいな😳

[suzuki_kuzilla]

ベクトル演算が得意みたいなんだけど、LLMとベクトル演算って相性良かったりするの？ / GPUで動くなら有効なのかしら？ https://www.fujitsu.com/jp/products/computing/servers/supercomputer/a64fx/

[findup]

富士通で馬鹿にしてるけど富岳を開発したの富士通だから…。

[georgew]

ガンバッテー！（白目）

[yoko-hirom]

和製生成AI「Sorry, Japanese only.」

[kei_1010]

bloomとかに貢献して、代わりに日本語「も」ネイティブレベルで使えるようにする。みたいな方向性がダメな理由が知りたい。

[mayumayu_nimolove]

富士通Japanじゃないから大丈夫

[RySa]

あのTSUBAMEの松岡教授（現理研計算機センター長）がリードする研究らしいので国内での技術肺活促進としては良いと思う。今回の結果がChatGPTの足元にも及ばないとしても作って改善のサイクルを始めない限り前進も無い。

[tsuboty]

電気代高そう。

[hhungry]

既に公開済みのオープンソースのLLMと対して性能が変わらない予感。

[shunkeen]

次世代の基礎研究と考えると、巨大粒子加速器みたく、各国でスーパーコンピュータのデータセンターが作られるようになったりするの？まぁ、それに見合うデータセットを揃えるのが大変そうだけど。

[NEXTAltair]

データセットの精度をどう上げるかが気になる

[brain-owner]

「富士通かよ！」という、ツッコミ待ちのタイトルにしか見えない。

[nlogn]

学習させてモデルを作るには莫大な計算リソースが必要だからね。出来上がったモデルをパソコンで使うのとは大違い。

[takeishi]

2020年にマイクロソフトとOpenAIが28万5000基のCPUコアと1万基のNVIDIA A100を搭載したスーパーコンピューターを開発って記事が有るhttps://gigazine.net/news/20200520-microsoft-openai-super-computer/これに対抗するにはGPU抜きでも富岳じゃ無いと

[kenjou]

日本の自前技術と聞くと最近では失敗するイメージしかない…。理研は人がごっそり減った後だしなんだかなあ、という感じ。

[plusqplusq]

注目度高いところにスパコンが使われるのはシンプルにワクワクする。／ウィキペディアだけではないんだろうけど、お堅い言い回し以外からも学習してほしいと思う。スラングが過ぎるところは嫌だけど

[commonp]

和製 Open GPT もどきか・・。使い道に困っている富岳の使い道としては、くしゃみの3Dアニメーションよりは意味があるかもしれない。まあできたところで、ほとんどの人は何百歩も先に行った Chat GPTを使い続けると思うが。

[Y_Mokko]

富岳 SVE入ってるからなんとかなるのね。結構応用が効く。

[shikiarai]

あくまでAIはお題目でAIにも使える基礎研究でしょ。どうせ卒論か修論だと思うよ。知らんけど。