1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI 2023.06.19 Updated by yomoyomo on June 19, 2023, 16:16 pm JST 少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。 昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡
人間のために書く原稿に対してモチベーションが上がらなくなってきた
人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
キャリアポルノは人生の無駄だ - WirelessWire News（ワイヤレスワイヤーニュース）
日本で本屋に行くと、学生さんやサラリーマン向けの「仕事とは何か？」「ライフハック」「グローバル人材になるためには」という目がチカチカする様な題名の「自己啓発書」や、世界的に有名な企業の創業者の「自伝」（いや、 自慢本）が山の様に並んでいます。ネットでも似た様な記事がてんこ盛りです。ラーメン二郎も負けています。 私はこれらのゴミ、いや、歯クソをキャリアポルノと呼んでいます。なんで歯クソでキャリアポルノというと、「読んでる間に気分が良くなって俺って何か凄い」という気分になる物だからです。 オナホで自家発電するのと同じですよ。要するに。意識高い学生や、キャリアセミナーなんかに通っているサラリーマンは、秋葉でオナホや等身大のダッチワイフを買って喜んでいるヲタクより恥ずかしいわけです。 こういうキャリアポルノには 「東大を首席で卒業してハーバードに行って何チャラというグローバル（棒）企業のなんとか
オリンピック、脅しまくったので閑古鳥（カアー） - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピック真っ盛りのロンドンです。 日本選手団が水泳や体操で大活躍なのは誠に喜ばしいことでございます。 （結局見てんじゃねーのという突っ込みはさておき。いや、だってまあ、テレビで無料ですから） オリンピックの半年ほど前からここロンドンでは オリンピック中は混雑が凄いからロンドン来るな 公共交通機関が地獄状態だぞ どっかにいってろ（休暇を取れ） 異なった経路で通勤しろ 電車にも地下鉄にも乗らないで自転車に乗れ。もしくは歩け 非常用食料を用意しろ と、ロンドン市長の地下鉄のアナウンスから、テレビや新聞での呼びかけ、街角のチラシまで、ありとあらゆる方法で市民を脅迫してきました。 ロンドン市に至っては getaheadofthegames.com なるサイトを準備してさんざん市民を脅してきたのでございます。 ロンドン中心にオフィスがある会社は２年ほど前から「コンティンジェンシープラン」を練りま
オリンピックなんだけど警備員雇うの忘れてたごめん - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピックが全然盛り上がってないロンドンです。 開始まで二週間切りました。 が、ここはイギリスです。期待を裏切らない祭りが多数発生してございます。まるで夏休みの宿題が８月31日になっても終わらない小学生状態です。 祭り１：警備員雇うの忘れてました事件 オリンピックは世界中からろくでもない人々が集まってくるから警備を厳しくしなければいけない、というのがイギリス政府の前提です（最初から誰も信用しておりません） しかし、イギリス政府、勤労意欲のない自国の警察や軍隊じゃ警備員がたりないから、ということでG４なるマックの新機種のような名前の警備会社に警備員の採用と管理を外注しておりました。 ところが、オリンピック２週間前になり「ごめん。間に合わなかった。約束した人数雇ってないの知らなかったの。応募者は一杯いたんだけど、うーん、なんでかなあ、雇うの忘れてたのね。悪いけどオタクの軍隊でどうにかしてよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
