驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
発売から25年。椎名林檎『無罪モラトリアム』はなぜ衝撃と呼ばれたのか─亀田誠治が語る「ないがち」な革命 | J-WAVE NEWS
発売から25年。椎名林檎『無罪モラトリアム』はなぜ衝撃と呼ばれたのか─亀田誠治が語る「ないがち」な革命 椎名林檎のファーストアルバム『無罪モラトリアム』のリリースから25年。「衝撃」と呼ばれたこのアルバムについてアルバム制作に携わった音楽プロデューサーの亀田誠治が振り返った。 亀田がコメントで登場したのは、J-WAVEで放送された番組『SONAR MUSIC』（ナビゲーター：あっこゴリラ）。オンエアは2月22日（木）。 【SONAR MUSICは番組公式LINEでも情報発信中】 初対面の印象は「音楽を垣根なく愛する人」 90年代後半、日本の音楽シーンは小室サウンドがブーム。バンドではMr.Children、GLAYなどがブレイクする中、衝撃的だと今も語り継がれるアルバムがリリースされた。それが椎名林檎『無罪モラトリアム』だ。 このアルバムは1999年2月24日に発売された椎名林檎のファース
ガザ、栄養失調6人死亡 子ども妊婦に拡大の恐れ ｜ 共同通信
Published 2024/02/29 09:25 (JST) Updated 2024/02/29 09:26 (JST) 【エルサレム共同】パレスチナ自治区ガザの保健当局は28日、脱水症状と栄養失調により、ガザ北部の2病院で子ども計6人が死亡したと発表した。27日も幼児2人が同様に死亡していた。保健当局は子どもや妊婦に飢餓が拡大し、数千人が死亡する恐れがあるとして緊急支援を求めている。 今回死亡した6人は北部ベイトラヒヤのカマルアドワン病院の4人と、ガザ市のシファ病院の2人。イスラム組織ハマス掃討を目指すイスラエルによる封鎖の影響で、ガザでは水や食料が極度に不足している。 ガザ中部デールバラハで診療所を運営する人道団体は28日、過去3週間で診察した妊婦の21％が栄養失調だったと発表した。
万博海外館、10月完成「無理」 複数国が超過予測、工程形骸化 ｜ 共同通信
Published 2024/02/28 20:33 (JST) Updated 2024/02/28 23:29 (JST) 2025年大阪・関西万博に参加する海外各国が自前で建設するパビリオン「タイプA」を巡り、日本国際博覧会協会（万博協会）が2月に公表した最新の建設工程に、複数国が間に合わない状況であることが分かった。各国関係者が28日明らかにした。協会はタイプAの建設遅れに対応するため、建築工事完了時期を従来の今年7月から10月に3カ月遅らせたばかりだが、新たな想定が早くも形骸化している。 協会幹部は取材に「（最新工程は）あくまで目安だ」とし、開幕日に間に合うように準備を進めていると強調している。 タイプAは当初、60カ国（56施設）が予定。このうち着工に必要な行政手続きの完了が確認できたのは、28日までにシンガポール、アイルランド、サウジアラビアなど7カ国のみ。最も工程が進んでい
レッドブルが「世界最速」FPVドローンRBD1開発、パイロットみずから設計。時速300km超のF1マシンにぴたりと追尾する映像公開 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 エクストリームスポーツを効果的にマーケティングに取り込んできたエナジードリンクのレッドブルが新たに公開したのは、レッドブル・レーシングのF1マシンを世界最速のカメラ搭載ドローンでぴったり追跡する空撮映像です。 F1世界選手権の2024年シーズンは今週末に開幕します。昨シーズンはレッドブル・レーシングF1チームのマックス・フェルスタッペン選手が圧倒的な強さを見せつけて世界チャンピオンの座を防衛し、先頃行われたシーズン前の合同テストでも、圧倒的な安定感とスピードを誇示していました。 そんな自動車レースの頂点に立つレッドブルのF1マシンと世界チャンピオンを追いかけ回すドローンパイロットとして選ばれたのは、Dutch
スーパーでサメの頭が300円で販売、息子がどうしても欲しいというので購入することに。どうすんのこれ？→サメヘッドの活用方法についてリプ欄で飛び交う様々な意見、最終的に投稿主が導き出したのは……
眼遊 GANYU @ganyujapan 生き物の写真を撮っているフォトグラファーです。彼らの美しさが伝わるよう心がけています。自然の中で生き物を探すキッカケになれれば嬉しいです。 息子が新種のヨコエビを発見して何故か一文なしになりました。UV Photographer。日本自然科学写真協会（SSP）会員。info@takuyamorihisa.com takuyamorihisa.com
基本プレイ無料のゲームで有料スキンを購入していない子どもがいじめられていることが最新の調査で明らかに
基本プレイは無料で、ゲーム中に操作するキャラクターの見た目を変えるスキンなどのゲーム内アイテムを有料で販売して収益を上げるゲームが増えています。この種の基本プレイ無料のゲームでは、有料のアイテムやスキンを購入していない子どもがいじめの対象になっていることが、最新の研究により明らかになりました。 Fear being bullied: Children pay to become popular in video games https://partner.sciencenorway.no/bullying-children-and-adolescents-computer-games/fear-being-bullied-children-pay-to-become-popular-in-video-games/2307469 New Study Suggests Kids Are Now
リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
「インドの時代が来た」 モディ首相の経済政策で中国に取って代わる存在に
市場関係者は、モディ首相率いるインド人民党の３期連続での政権掌握に期待を寄せる/Channi Anand/AP ニューデリー（ＣＮＮ） この３０年、ピユーシュ・ミタル氏はインドの首都からジャイプール市まで、１８５マイル（約２９８キロメートル）の距離をたびたび車で移動した。運転には６時間かかるのが常だった。 「３０年間、移動距離を３時間に短縮すると言われ続けてきたが、実現されたことはなかった」と言うミタル氏は、サンフランシスコを拠点とする投資ファンド「マシューズ・アジア」でファンドマネジャーをしている。「高速道路も１車線から２車線、３車線へと、あらゆる拡張工事が行われてきた。だが、移動距離は変わらず６時間だった」 ところが昨年、２都市を結ぶ新設高速道路を時速７５マイル（約１２０キロメートル）で運転したところ、これまでの半分の時間で到着した。 「あの高速道路に初めて乗った時は、開いた口がふさが
生産性とかGDPとかうっせーよ!：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ
生産性とかGDPとかうっせーよ。いやーわかんだけどさ。GDPあってもダメな国はダメだし、GDPはもはや豊かさのパラメーターとして意味ない。早く気づけ。投資や経済のパラメータの一つで、それ以上では無い。普通に海外旅行したらわかるでしょ？GDPは大事だけど、先進国としての指標は何か別の指標が必要だし、生産性は何も解決しない。 じゃあ？GDP1位のアメリカいいかい？エレベーターしょっちゅう止まるし、シャワーやトイレや水道はよく壊れるし、サンフランシスコでも停電になるし、医療費はバグってるし(医療保険4～10万/月)、ドラッグまみれだし、公教育ぶっこわれてるし、1000ドル以下の万引きは無罪で、空き巣や痴漢くらいでは警察が動かなくて、自転車止めるのにわざわざ太いクサリで縛っておかないといけない国がいいかい？ 個人的には、GDP低くても、エレベーターは途中で止まらなくて、シャワーがちゃんと出て、トイ
リムブレーキの終わり
twitter(現X)でかなり盛り上がっていたので、僕も考えてみました。最近のロードバイクはなぜここまで高価なのでしょうか？ 私は今の話をしているんだよ 簡単に言うと、空力を追求したせいです。1989年のツール・ド・フランスでグレッグ・レモンがローラン・フィニオンを最終ステージで破ってから、空力を笑う人はいません。最近は選手の快適性を無視したり、バイクの重量、操作性すら無視して空力を追求するのが当たり前になったのですが、これには多大なコストが掛かります。どれくらいヤバいのかというと、F1は空力開発時間が厳しく制限、管理されており、速いチームほど風洞試験時間が少なくなります。 つまり、上限を設けないと資金力のあるチームが風洞試験を重ねて速いクルマを作ってしまい、チーム格差が広がってレースとしてエンタメ性が失われてしまうからです。今でさえRed Bull一強の構図でF1への興味が失われつつある
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
男友達とデートした時に、帰り際に「今日の反省会しようか。まず犬見かけた時に犬だ！って言うのやめた方がいいよ」って反省点をつらつらとあげられた