論文要約：The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits - やまもとの論文まとめサイト
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits Shuming Ma∗ Hongyu Wang∗ Lingxiao Ma Lei Wang Wenhui Wang Shaohan Huang Li Dong Ruiping Wang Jilong Xue Furu Wei⋄ arxiv.org このページの図面・表の権利は全て論文の著者らに帰属があります。 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits この論文を一行でいうと Abstract The Era of 1-bit LLMs BitNet b1.58 LLaMA-alike Components. Result Memory and Latency Energy
発売から25年。椎名林檎『無罪モラトリアム』はなぜ衝撃と呼ばれたのか─亀田誠治が語る「ないがち」な革命 | J-WAVE NEWS
発売から25年。椎名林檎『無罪モラトリアム』はなぜ衝撃と呼ばれたのか─亀田誠治が語る「ないがち」な革命 椎名林檎のファーストアルバム『無罪モラトリアム』のリリースから25年。「衝撃」と呼ばれたこのアルバムについてアルバム制作に携わった音楽プロデューサーの亀田誠治が振り返った。 亀田がコメントで登場したのは、J-WAVEで放送された番組『SONAR MUSIC』（ナビゲーター：あっこゴリラ）。オンエアは2月22日（木）。 【SONAR MUSICは番組公式LINEでも情報発信中】 初対面の印象は「音楽を垣根なく愛する人」 90年代後半、日本の音楽シーンは小室サウンドがブーム。バンドではMr.Children、GLAYなどがブレイクする中、衝撃的だと今も語り継がれるアルバムがリリースされた。それが椎名林檎『無罪モラトリアム』だ。 このアルバムは1999年2月24日に発売された椎名林檎のファース
GitHub Actions から別プライベートリポジトリにアクセス
はじめに Go の独自パッケージ (ライブラリ) を Private Repo で管理していたのですが、 CI/CD (GitHub Actions) から利用する際の認証をどうするか検討しているといろいろ手段があったので、備忘録の意味も込めてまとめます。 下記の前提を踏まえると、今回ベストなのは 手段1 ですので、結論だけ読みたい方はそちらをどうぞ。 また、最後に まとめ (比較と解説) を用意しており、本記事を用意するに至った理由はここに詰まっています。 前提・定義 きっかけで Go について書きましたが、本ドキュメントの目的はタイトルの通りであるため、 Go 固有の話には言及しません。 GOPRIVATE などお忘れなく。 個人ではなく組織での開発であり、登場する Repository はすべて同じ Organization 内である前提です。 (状況が多少異なっても、部分的に参考に
GitHub ActionsでPrivate Repositoryをcloneする際にGitHub Appsで発行したtokenを使う
GitHub ActionsでPrivate Repositoryをcloneする際にGitHub Appsで発行したtokenを使う 背景 GitHub Actions で CI を実行する際に、職場の Organization 内にある Private Repository で管理している package を clone したい場合 API Token が必要になる。Personal Access Token (PAT)を使うのが最も手軽だが、特定アカウントにひも付き expiration 設定も推奨なので CI 用途に向いていない。Deploy Keys を利用する方法もあるがアクセスするリポジトリ毎に秘密鍵の設定が必要だったり運用上のネックがある。 ここでは Organization に自前の GitHub Apps をインストールし、CI 実行時に短時間の有効期限付き token
Github ActionsでプライベートレポジトリのGoのパッケージを使えるようにする | ノラバルドットコム norabal.com
背景${{ secrets.GITHUB_TOKEN }} ではトークンの権限が不足していてプライベートレポジトリのパッケージをgo getできなかった。 何をしたかGithub ActionsのGo言語用のworkflowにある以下のジョブで失敗する。 プライベートレポジトリのパッケージがgo.modに指定しているため。 - name: Get dependencies run: | go get -v -t -d ./... if [ -f Gopkg.toml ]; then curl https://raw.githubusercontent.com/golang/dep/master/install.sh | sh dep ensure fi対応として以下を差し込んでみた。 git config --global url."https://${{ secrets.GITHUB_T
え？まだgit checkoutしてるの？
公式ドキュメントには以下のように書かれています。 THIS COMMAND IS EXPERIMENTAL. THE BEHAVIOR MAY CHANGE. 和訳：このコマンドは実験的です。動作が変更される可能性があります。 この記事の内容と違う場合があるので、ご注意ください。 この記事は2024年2月28日時点の情報です。 え？まだgit checkoutしてるの？ git checkoutといえば、ブランチを切り替えたり、git addしたファイルを元に戻したりするコマンドですが、それはもう古いです。 実は2019年8月リリースのgit 2.23からgit switchとgit restoreが追加されました。 知らなかった人も多いのではないでしょうか？(恥ずかしながら私は知らなかった...) 「先輩、checkoutってなんすか？」と後輩に聞かれる前に、この記事を読んでgit sw
ムスリム好物1位「ラーメン」 幅広い日本食に挑戦意欲 ｜ 共同通信
ラーメン店でハラル対応のラーメンを味わう日本在住のムスリムの人たち＝2023年11月、大阪市（ハラルナビ提供） イスラム教徒（ムスリム）向けに飲食店情報をインターネット配信する企業「ハラルナビ」（東京）の調査で、ムスリムの9割近くが日本で食べたい料理に「ラーメン」を挙げた。「すし」「すき焼き」の人気も高く、戒律が許せば、幅広く日本食を試したいムスリムの強い意欲が示された。 イスラム教の戒律で許されるハラル料理を前提にした選択肢の中から、日本で食べたい料理（複数回答）を尋ねたところ、「ラーメン」が87.8％と最も多かった。次いで「すし」（69.4％）、「すき焼き」（65.5％）、「うどん」（63.8％）、「天ぷら」（61.5％）の順だった。 「訪れたい飲食店」の設問には、和牛提供店とする回答が目立った。 ムスリムは戒律で豚肉やアルコールなどの摂取が禁じられている。日本での食事で心配な点（複数
Kubernetesで障害発生するとNT-Dが発動しユニコーンガンダムのサイコフレームが発光するシステムの開発 - Qiita
モチベーション 自宅のKubernetsの運用を行っていると、障害が発生してもついつい後回しにしてしまいがちです。 これにより、家庭内の情シス部門としては、ユーザ(家族)からクレームを受けることがしばしばあり、家庭の平穏を脅かすものでした。 そこで、障害が発生しても直ぐに気がつけ、さらにテンションを上げるものが欲しくなりました。 真っ先に思い出したのが、いにしえ(?)のデータセンターのパトランプです。 障害発生時に設置されたパトランプが光り出しスタッフに緊張感が走ったものでした。 しかし、パトランプは残念ながら持ち合わせていないため、光らせてテンションの上がるものを家の中を物色すると、積みプラされた「RX-0ユニコーンガンダム」を発見してしまいました。 この積みプラされていたユニコーンガンダム、幸いなことにLEDが組み込まれた光る奴でした。 発見した瞬間、障害発生でNT-Dが発動しデストロ
“アホ携帯”で見直す、スマートフォンと生活の適切な距離感
“アホ携帯”で見直す、スマートフォンと生活の適切な距離感：小寺信良のIT大作戦（1/3 ページ） 先日、AndoridのスマホをPixel 6aからPixel 8へ機種変更した。最近のワイヤレスイヤフォンはBluetoothで直接接続する前に、専用アプリから認識させるタイプのものが増えているが、Pixel 6aではうまく認識できないことがあって、レビューの際に困っていたのである。 で、実際Pixel 8が届いたわけだが、およそ2世代違う割には、動作速度などの体感はほとんど変わらない。ガリガリにゲームをやるわけででもないので、性能をキリキリ絞り出すような事もない。日常的な使い方の範囲では、2世代分の進化は筆者にはあまり分からない。 米国では「Light Phone」というのが一部で人気だという。「Dumb Phone（アホ携帯）」ともやゆされるシンプルなスマートフォンは、初号機はあまりにもシ
飯島直子に吉岡聖恵ら「うるう日」生まれの人が年をとる、法律で定められたタイミング（週刊女性PRIME） - Yahoo!ニュース
今年は4年に1度のうるう年。うるう年とは、太陽暦の1年（365・2422日）とグレゴリオ暦（365日）の日付を調整する役割で1年間を366日とする年のことだが、そもそも“うるう”ってなんだろう? 【写真】目元はいつもバッキバキ、飯島直子が55歳にして披露したスッピン 「うるうは漢字で“閏”と書きます。もともとは“余る”という意味で“潤（ウルヒ）”の読みから、閏に変化したものといわれています。余った日=閏日を付け足した年が、うるう年と呼ばれるようになったのでしょう。付け足す、という意味から、うるう年には妊娠しやすいという俗信もありますよ」 こう教えてくれたのは、中国文献学者で大東文化大学文学部教授の山口謠司先生だ。“閏”の漢字には他の意味もあるという。 うるう日に生まれた有名人「文字のとおりに“王が門にいること”です。古代中国では王は通常、廟と呼ばれる場所にいますが、うるうの月には、門で政治
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
在英の息子がパーティから帰宅したら様子がおかしく、病院に連れていったら合成ドラッグを吸わされていた話
yoshie natori 🇬🇧🏴 @yn358 名取由恵 / ライター / 翻訳者 / 英国ドラマ愛好家。イギリスでフリーランス歴20+年。ロンドン近郊の小さな町在住。UKロック、海外ドラマ、映画、イギリス生活。ライフワークは英国エンタメ・英国文化・イギリス人の研究。『映画とドラマで学ぶイギリス史入門』（Pヴァイン/ele-king books）発売中。 yoshienatori.com yoshie natori 🇬🇧🏴 @yn358 これは書くか否か迷ったけど、在英ティーネイジャーの子供を持つ方へ注意喚起のために。10代後半になると友達とパーティやナイトクラブで遊ぶことが多くなるけど、思わぬ事故になることもあるという話。週末帰省していた息子、土曜夜中に友人宅のパーティから帰宅すると様子がおかしく、不可解な言動。 2024-0
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する｜Tatsuya Shirakawa
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実（μTransfer）を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。 μTransfer 下記の手順で大規模モデル（Neural Networks）の最適なハイパーパラメータを効率的に獲得できる 1. 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意し、それぞれのモデルのパラメータと最適化アルゴリズムを μP と呼ばれる方法でパラメータ付けする 2. その小さいモデルで、最適なハイパーパラメータ（学習率など）を探索する 3. ターゲットモデルに小さいモデルで獲得されたハイパーパラメータを適用する Greg Yang+, "Tensor Programs V: Tuning Large Neural Net
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
to B プロダクトで Vite + React Router を採用して半年後の感想 / Impressions after 6 months of using Vite + React Router
HTMLのデフォルト機能だけでパーシャルHTMLを埋め込む