[B! shi3z] kaorunのブックマーク

AI時代に起業するということ｜shi3z

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。あまり多くの人は語らないことだが、実は起業には再現性がある。つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

kaorun 2024/04/11

リンク

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

昨日話題になった「Bit Net」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 Bit Netというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、Bit NetによるTransf ormerの野良実装

kaorun 2024/02/29

リンク

AIもうええわい

AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である

kaorun 2023/04/19

リンク

会話という錯覚について｜shi3z

あちらの記事は万人向けに書いているので、行間読まないとわからないようなことは省略してあるのだが、本欄の読者には補足として蛇足になるかもしれないが会話について研究していて思ったことを記しておく。人工無能と僕記事中にあるように僕がチャットボット・・・当時は人工無能と呼ばれていたが・・・を開発し始めたのは中学生の頃だ。1990年頃だと思う。きっかけは、中学校にNECのパソコンが導入されて、友達に自分のプログラムを見せる機会を得たからだ。家で一人でプログラミングしているときはどうも気分が乗らなかったのだが、友達を面白がらせるという動機は子供の頃の僕にとっては非常に強く働いた。一度、家で人工無能のプログラミングをしたときは、相手が自分しかいないのでわりとすぐ飽きてしまったが、中学になってその熱が再燃した。きっかけは月刊ASCIIに、AWKの特集が載ったことで、AWKというのは要はUNIX用