驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
Copilot Studioを使ってみた。注意点と実際にかかるお金の話など｜shi3z
Copilot StudioはMicrosoft 365 E5というお高いパッケージに入らないとプレビュー版すら使えないらしい。 仕方ないので会社で入りましたよ。会社に所属してるのは3人だけど、E5だと25人分のアカウントがついてくる。 しかし!!! 金さえ払えば使えるというほどイージーなものではなかったので皆さんにお伝えします。ちなみにE5に入っただけで月額45000円(1800円x25で)になりました(ただし七日間の試用期間中にキャンセルすれば無料に)。 まずMicrosoft365で企業アカウントを作り、会社のメンバー的な人に個人アカウントを発行します(この時点でかなりハードルが高い)。 そしてCopilot Studioのページからリンクに飛べば、企業の個人アカウントでログインできた。やったぜ! しかしログインしても、様子がおかしい。 なんかフローチャートが出てきて、フローチャート
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
プレ・シンギュラリティ、もう始まってない?｜shi3z
毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分
GPT4を使って8万字の書籍を半日で書き上げる方法｜shi3z
書籍の執筆依頼が殺到しているのでなんとか省力化できないかと思ってGPT4を使って下書きを書こうとしたところ、ものの数時間で書き上がってしまった。 下書きができるとあとは早い。 細かなポイントを見たり、最新の情報を入れたり、自分の感想を差し込んだりするだけである。 しかも、文章の整合性がとれているので、パッと見た時にこれがAIによって生成された文章であるかどうかは気づかれにくい。 本でもプログラミングでもそうだが、「まずやりはじめる」という静止摩擦係数が異常に高い。「よし、やろう」と思うまでの時間をGPT4は短縮してくれるし、できあがった原稿のたたき台を見て「ここが足りない」「もっとこういう切り口にできないか」考える、いわゆる「編集者」的な役割をこそこれからのAIユーザーには求められるのかもしれない。 ただ、この方法はあまりにも簡単で強力であるため、世間への影響が大きい。たぶんこれから、バカ
ChatGPTをブロックでプログラミングできるようにしてみた(ソースコード付き)｜shi3z
4/19 ソースコードのバグを修正しました 花粉症で午前二時に目が覚めた。 ふと 「ChatGPTの結果を組み合わせて物語を作ったり議論したりするのをPythonで書くの面倒臭くない?」 と思った。 誰かが作っていそうなので探したのだが、僕の観測範囲では世界のどこにもなかったので、とりあえずBlocklyで作ることにした。 今夜19時からは、日本ディープラーニング協会が主催する大々的なイベントがあり、connpassとPeatixであわせて6000人近い人が参加するらしい。 そこに登壇するときのネタとして、なんか作っておくか、と思った。 GPT Blocklyの基本的な構造 基本ブロックは三つ 基本ブロックテーマを設定するブロックと、話の流れに対し、ある「人物」として、「提案」もしくは「反論」などを行うブロック。 それと、複数の意見をまとめて要約するブロック である。 意見を述べるブロック
真実とは何か｜shi3z
ITジャーリストAyanoさんという人がいて、彼女はすごい人なのである。 何がすごいかというと、ものすごいダイエットに成功した人なのだ。 【大会まで1週間】 秀子先生の緻密な指導と仲間の理解と応援のおかげでここまで来ることが出来ました❗️ のこり1週間悔いのないよう最後まで全力でやり抜きます💪 みなさん応援よろしくお願いします‼️#フィットネスビキニ https://t.co/7lmPdxWeHs pic.twitter.com/2ICgNdXnOK — ITジャーナリスト富永彩乃 Ayano Tominaga (@AyanoTDO) July 23, 2017 そんなAyanoさんと初めて会った時、せっかくだから一緒に写真を撮りましょう、ということになったのだが、Ayanoさんは「だったらこのカメラで撮って下さい」と、中国製の自撮りに特化したスマホが出てきた。プリクラのように、少し目が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
