驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
大学生の息子からイマドキの就職活動事情について聞きビックリ。内定辞退すると「転職ファストパス」が貰えるらしい→「氷河期との差よ…」
井戸 まさえ @idomasae ジャーナリスト。元衆議院議員。 東京女子大学大学院博士後期課程修了。博士（生涯人間科学）。東洋経済新報社勤務を経て2005年より兵庫県議会議員（2期）。2009年、衆議院議員に初当選。無戸籍問題他、法の狭間で苦しむ人々の支援等を行う。東京女子大学・関西学院大学非常勤講師。 idomasae.com 井戸 まさえ @idomasae 大学生の息子から、イマドキの就職活動事情について聞きビックリ。 例えば、A社の内定が出たものの、それを蹴って別のB社に就職する場合。昔だったら灰皿を投げられる修羅場シーンだが、今時は「プライオリティ・パス」がもらえる場合もあるらしい。 さて、その「パス」の内容はといえば、新卒の際、別の企業を選んでも、3年以内に転職を考えたり、離職した場合は、A社の中途採用就試験を最初から全部受けるのではなく、最終面接のみで再挑戦できる、というも
【完全勝訴】「暇空茜」こと水原清晃により提起された訴訟の判決に関するお知らせ｜堀口 英利 | Horiguchi Hidetoshi
このたび、「暇空茜」および「暇な空白」こと水原清晃により、横浜地方裁判所に提起された訴訟(令和5年(ワ)第3395号 損害賠償請求事件)について、2月28日13時10分(日本時間)からの期日において、判決が言い渡されました。 横浜地方裁判所は、原告たる「暇空茜」こと水原清晃の請求を棄却しました。また、訴訟費用は原告たる「暇空茜」こと水原清晃」の負担となりました。当方の「完全勝訴」です。 なお、この訴訟において、「暇空茜」こと水原清晃は、当方によって送信された以下の投稿記事(以下「本件投稿記事」)について「名誉感情の侵害」を主張し、損害として慰謝料150万円と、損害の1割に相当する弁護士費用15万円を合計した165万円および年3%の遅延損害金の支払いを当方に対して求めていました。 「書き手の頭の悪さがよく分かる記事」でした。 主語が不明瞭どころか、途中で頻繁に入れ替わっています。また、1つの
偏差値70の高校生があみ出した英単語暗記のコツ 長文が圧倒的に読みやすく｜高校生新聞オンライン｜高校生活と進路選択を応援するお役立ちメディア
英語を勉強していく上で、避けられないのが英単語の暗記。なんとなく後回しにしたり、勉強し始めてもすぐに飽きて嫌になったりという人も多いのではないでしょうか。偏差値70の高校に通う私がいろいろな方法を試してたどり着いた、英単語の勉強のコツを紹介します！（高校生記者・すい＝３年） 【1】例文を読む 英単語帳を使って勉強している高校生は多いと思います。そこでまず私がおすすめするのが、例文をしっかり読むことです。 ただ英単語の横に書いてある日本語訳を読むよりも、実際にその単語がどのように使われるのかを知ることで、頭に残りやすくなります。さらに、例文中に使われている知らない単語を積極的に覚えていくと、どんどん語彙（ごい）力を伸ばせます。 例文をしっかり読みたい人におすすめなのが、『DUO 3.0』（アイシーピー、税込1320円）という単語帳です。この単語帳に載っている、面白くて役に立つ例文を覚えること
リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
