2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を実施しました｜デジタル庁
デジタル庁では、デジタル社会の実現に向けた重点計画（令和4年6月7日閣議決定）を踏まえ、AIの実態と動向を把握し、リスクと必要な対応策を特定したうえで、官民における適切な活用の検討を進めています。 昨今の生成 AIなどの技術革新により、さまざまな利点を得られるようになってきており、政府としても、このような技術の動向を見極めつつ、関係省庁における生成AIの業務利用について、第10回デジタル社会推進会議幹事会・書面開催など議論を重ねてきました。 これまでの議論の経緯も踏まえ、デジタル庁では、2023年12月より生成AIの適切な利活用に向けた技術検証を実施しました。2023年度の検証結果の全体的な内容と、検証で得られた具体的な生成AIへの入力文のサンプル、一部検証に用いたテストケースを公開します。 技術検証の目的今後の政府情報システムへの生成AI利活用に向けて以下のような具体的な知見を得ることを
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adrenaline - Ask any programming question
LLMの現在 - Speaker Deck
Accelerating Systems with Real-time AI Solutions - Groq
