速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
（右翼さん以外のための）『川口市のクルド人問題』まとめ｜倉本圭造
（お知らせ） この記事が要約版ｘポスト（Twitter）で290万ビューになるほど読まれて、川口市議と市民の皆さんの集まりに参加してお話を聞いてきました。その続編は以下リンクからどうぞ ・ 埼玉県蕨市と川口市周辺に集住しているクルド人と現地住民との間の軋轢はSNSでも度々話題になっていますが、先日蕨駅前の外国人排斥デモに対してクルド人群衆の一人が「日本人●ね！」と叫んだという動画（ただし諸説あり）が出回っていて、さらに相互憎悪が募る結果になっています。 「アベマプライム」でも取り上げられていました（トップ画像は番組映像から） ただ、この番組↑、あまり背景情報とかをちゃんと取り込まずにテキトーに印象論をぶつけあって終わってしまったような感じになっていて、ちょっと良くない扱い方だったように思います。お互いに余計に不満がたまる感じで。 一方で、今月はじめにこの問題がNHKで取り上げられた時の内容
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
有機農家がみた『ダンジョン飯』のゴーレム農法｜豊吉隆一郎
ダンジョン飯の第8話「キャベツ煮」では登場人物のセンシがゴーレムを使って野菜を作っている様子が描かれます。 この回はダンジョン飯のテーマである「食うか食われるか、そこには上も下もなく」という世界とはちょっと違う特殊な回でした。 それを有機農業をする農家である私がみたらどうだったかをお伝えします。漫画は全巻、アニメも今までの回を見ている状態でお伝えします。 ゴーレム農法の考察全体的にさすがというべきかとても細かいです。例えば次のコマ ダンジョン飯 単行本2巻 P14まず、雑草を抜いています。農業の基本です。 雑草を抜くのは土の栄養をとられないようにしたり、雑草により作物への日光が遮られないようにするためです。そして抜いた雑草を土に戻すのは肥料になるからなのですが、わざわざ乾燥させているのが少し専門的だと感じました。なぜなら乾燥させないと分解が遅くなり、土に戻した効果が薄くなるということがある
人気の教養系Vチューバーの背景にあるもの｜かのえの ／ KANOENO
お世話になっております、かのえのです。 ブイチューバーというと、歌をやって、雑談をして、ゲームをやって、というような形がほとんどではありましたが、昨今はもっと雑多で多様になっていますよね。そうしなければ差別化＆個性を出すのが難しいと言うのもあると思いますが、今回はその中から、切り口の一つである教養系ブイチューバーについて一つお話。 教養系はやったもん勝ちなので先行者メリットのあるジャンルだと思うのですけど、一方で難しい切り口だとも思います。そのへんについて、メジャーな方々を紹介しつつ「何故彼らは伸びたのか？なぜ彼らは伸びなかったのか？」という部分について、なんとなく思ったことを書き出してみる。 まあまあ結論はわりとシンプルなお話なんですけどね。 まず人気の教養系V一人目。 儒烏風亭らでん 教養系で、最近ぱっと思いつく一番目立ってるのは彼女ですよね。細かくは別に教養系でもないんですけど、期せ
ブレワイ＆ティアキンの建築物を見てみる回｜すい
こんにちは。初めてnoteを使います。使い方がいまいちわかりません。最近撮ったナイスな写真を表紙にしました。なにも建築に関係がありません。そんなのでええんか？？ていうか一体何文字まで書けるんでしょうか。よく分からないので行き当たりばったりで行かせていただきますよ！！！！ 概要 動機など こちらはハイラルの建築物についてお話するnoteです。私は以前ハイラル城について建築様式や家具などからお城を深堀りしたものをTwitter(Xって何ですか？)に出しましたが、今回は違います。何を取り扱うかというと、ハイラルの各地に転々と広がる残存した建築物についてです。 なぜこんなことをしているかというと、2月某日のイベントのときに博識フォロワーのカムラさんが私にハイラルの建築様式にはいつくかタイプが存在すること、いたるところに気になる建築物が存在していることなどを教えてくださったのがすべての始まりです。
共産党さんの「経済再生プラン」はすばらしいが、大事なことがひとつ足りない｜松尾 匡
マクロ経済学入門講義は現在シリーズ４の途中ですが、シリーズに含まれていない番外編も作りましたので、まだフォローしてない人はぜひご覧ください。特に、米山・朴論争などに興味を持った人は、ご視聴、拡散バンバンしていただけたら幸いです。 こうした動画の編集が、パンパンのスケジュールの中にねじ込まれるのでまあ大変。 さらなる怒涛の日々一月ぐらいで根を上げて、冷静に自分の体調を考えてみたら、抗がん剤やめて男性ホルモン補充したからといって、元の身体にすっかり戻っているわけではなくて、そもそも約二年半分歳をとっているのでした。 いやあ、今年私は還暦だよ。こんな未熟者が還暦になっていいのかい。 しかも、もともとコロナ後喘息になって気温の下がる夜は酸欠気味になることは変わっていないのです。 こんな毎日の上に、12月には、経済学部の学生の研究発表会のイベントがあってその運営責任者だったもので、多忙さも極みを迎え
2024-02-22: 4コマ漫画界の至宝・海藍作品を語る｜塀
はじめに海藍（はいらん）という作家をご存知だろうか。 2000年に芳文社の「まんがタイムジャンボ」誌上で実質的に商業誌デビューした海藍は、代表作の『トリコロ』で創刊初期から「まんがタイムきらら」を牽引した。 『トリコロ』はきらら系作品として初のドラマCD化を達成し、後に設定資料集も発売されている。黎明期のきらら系作品としては異例の扱いであった。 私見では「まんがタイムきらら」史、ひいては『あずまんが大王』（あずまきよひこ）以降の萌え4コマ文脈を語る上で無視できない重要作家の一人だ。 しかし、2023年現在においては、『ひだまりスケッチ』（蒼樹うめ）や『けいおん！』（かきふらい）、『ゆるキャン△』（あｆろ）、『ぼっち・ざ・ろっく！』（はまじあき）といった、TVアニメ化を果たした同社の後発作品と比較し、その知名度や世評には開きがあるように感じられる。 また、2018年より主要都市で開催されてき
10年の沈黙を破り"歴代最高傑作"となった風来のシレン6への問題提起｜超スーパージャンボデッ怪ラッシュ！
『不思議のダンジョン 風来のシレン6 とぐろ島探検録』（ふしぎのダンジョン ふうらいのシレンシックス とぐろじまたんけんろく、Shiren the Wanderer: The Mystery Dungeon of Serpentcoil Island）は、スパイク・チュンソフトより2024年1月25日に発売されたNintendo Switch用ローグライクゲーム。不思議のダンジョンシリーズの1つ。 Wikipedia10年の沈黙を経て発売された風来のシレンの新ナンバリング“風来のシレン６” 巷では手放しに絶賛され、「これこそが風来のシレン！」「歴代最高傑作！」なーんて持て囃されている訳だが、やってみた限りは全くそう思えなかった 別に炎上狙いでこう言っている訳ではない。筆者がただただシレン６を雑な作りだと感じて辟易としてしまっただけだ(なので別に貴方の「歴代最高」を否定したい訳では無い) 先
9.京都盆地と奈良盆地は湖だったのか？ ｜関西高低差大学
京都の古い資料を見ていると京都盆地はかつて湖だったといいう文言をよく目にします。奈良盆地に関しても、以前の関西高低差大学の講義終了後の質疑応答で、「奈良盆地には、万葉集が詠まれた時代に湖があったのですか？」という質問があり、「湖と呼べる規模のものがあったかは懐疑的だが、今度調べてみますね」とお答えし、私・新之介の宿題になっていました。地形のなりたちを遡っていくと京都や奈良にも海水が侵入した時期がありましたが、それらは何十万年も前の話で、インターネット上にはその痕跡として湖が残っていたというような記事が存在しているようです。今回は、学校では教えてくれなかった京都盆地や奈良盆地の湖のお話です。 まずは大阪層群の変遷のはなし大阪平野や京都盆地、奈良盆地などの地下には、「大阪層群」と呼ばれる地層が存在しています。礫・砂・粘土を主とする厚い地層で、その中に「海成粘土層」と呼ばれる地層が複数存在し、そ
全社会人が読みたい「面倒なことはChatGPTにやらせよう」｜asano
これは全社会人が読んで得をする書籍ですが、特に「パソコンが得意ではない社会人の方」が読むと一番効用が大きいように思いました。 また、私自身IT業界で働いていて世間一般的には「パソコンが得意な人」だと思いますが、それでも知らなかった使い方もたくさんあり学びが多かったです。 この書籍の推しポイントやりたいことベースで書いてある 日常のあらゆる面倒なことに手が届く パソコン触りたての人がつまづきそうなポイントへのフォローが丁寧 （例：ChatGPTはShift Enterで改行できる、など） 試行錯誤のうえのプロンプト（＝AIに対しての指示）が載っているので出力が安定している （※ ChatGPTをはじめとしたLLMは同じ入力でも毎回出力変わります。また、ちょっと言葉が足りなかったりするだけで意図しない出力が返ってきますがそのあたりへの気配りが非常に丁寧です） 著書の専門性が高い（Kaggle
おい、なに死んでんだよ。早すぎるだろ。｜乙武 洋匡
2024年となってまだひと月ほどしか経っていないが、次々と著名人の訃報が舞い込んできている。写真家の篠山紀信さんやコメディアンの南部虎弾さん、さらには世界的な指揮者として活躍した小澤征爾さんも亡くなられた。しかし、私にとって最も大きな衝撃を与えたのは、車椅子に乗ったお笑い芸人・ホーキング青山の死だった。 ホーキング青山のことを知ったのは、まだ私が世に出る少し前、今から25年以上も昔のことだったと思う。何かの雑誌に彼が寄稿していたコラムを読んだのだが、「車椅子×お笑い芸人」という、ずいぶんパンチの効いた肩書きに衝撃を受けただけでなく、コラムの内容がまた痛烈だったのをよく覚えている。 これは車椅子あるあるでもあるのだが、ある日、彼が路上に車椅子のまま佇んでいると、彼に同情を寄せたのであろう通行人が、彼にいくばくかの金を渡したのだという。いわゆる一般の車椅子ユーザなら、「いえいえ、受け取れません
印税の誤解が広まる前に｜紅林 直
まず印税１０%の誤解ですが 多くの方は素人なので分かりにくいと思いますので 紙の単行本と電子にわけて話をします。紙の単行本の話から 雑誌に掲載されまとめられたものを２００P前後で販売するものを 漫画では単行本と呼びます。 リミックスと呼ばれたりコンビニ本 と呼ばれるのが廉価版になります。 廉価版とはお求めやすい価格になった サイズや紙の品質を落とした本です。 小説は ハードカバーが単行本に相当し 文庫本が廉価版になります。 僕たちがよく読む文庫本は廉価版になります。 世間で言われている安いという印税１０%ですが 安くはないのです。 社会経験者なら分かる数字ですが 世間を知らない人だと安く感じるのです。 各社実は数字が違います。竹書房は紙は初版８%、重版分から１０%ですし 名前は言えませんが少なくない数の出版社が 売り上げ分の印税しか払わない会社も存在します。 刷った分の１０%が業界で統一さ
漫画家が出版社に搾取される時代が始まっている｜新條まゆ@『虹色の龍は女神を抱く』連載中!
「搾取」この言葉を使うことに抵抗がなくはないですが やはりそうとしか考えられない現状です… もちろん現場の人は誰も悪くないのですが 悪しき慣習が漫画家の首を締めています。 普通の方々でも結構知ってる数字かとはと思いますが 漫画家が貰える印税率は１０％です。 これは紙の漫画の印税率です。 まだ漫画がデジタルじゃなかった頃 漫画家は漫画を読者に届けるにあたって 写植も打てなければ、印刷もできない。 書店との交渉事や販売数も把握できないし 在庫管理もできなかった。 つまり、漫画が漫画本として世に出るために 漫画家 編集者 写植屋 印刷会社 書店取次業者 書店 倉庫管理業者 少なくともこれだけの業者が関わらんないと 本が出せなかったのです。 その、漫画家ができない仕事を 各業者に振り分けて仕事を依頼し かつ、円滑に進め、さらに販売促進、売上の分配などを 一手に担っていたのが 出版社という存在です。
「おじろく・おばさ」について長野県民が考えてみた 〜その0〜｜草食動物
「おじろく・おばさ」について、長野県民がいろいろ考えてみました。この記事では、なぜ私が「おじろく・おばさ」について調べようと思ったか、それについての背景がメインです。「おじろく・おばさ」の論文についての見解は次回になります。 【追記】 実際に論文を読んだ上での考察は以下になります。詳しい内容をお知りになりたい方は以下の記事をご覧ください。有料設定にはしていますが、無料で最後までご覧いただけます。 ネット上に流布する長野県に存在した忌まわしい因習皆さんは、『おじろく・おばさ』についてご存知でしょうか？ ネットで調べると、すぐ出てくると思いますが、昔の日本において実在した忌まわしい風習として、オカルト界隈では有名になっています。 簡単に説明すると、長野県の旧天龍村地域のみに存在した特殊な家族制度であり、人口抑制の為に、長男以外の子供は奴隷同然の扱いをされ、死ぬまで無償で働かされる、というもので
女性オタクの棲む暗い池について｜さいたま
またコンテンツへの稚拙なお気持ち表明文がはてなブックマークでバズっていました。 簡単にまとめると『僕の心のヤバいやつ』のヒロインの胸がデカすぎるということ、あと漫画誌グラビアの胸強調も不快だそうです。 １．書き手”男性”が女性のなりすましな件男だけど異常に胸がデカいキャラが苦手 悪いけど、ちょっとオエッてなる。 リアルの人にはならないよ、あくまで二次元の話。 大きい方がよいみたいな意図が見えて、嫌になる そのキャラは本当に大きい胸が欲しかったんだろうか？ 大切なキャラなら、デカい胸を押し付けずに平均的なカップ数の胸にするべきだろうに 自分の好みをキャラに押し付けて楽しいんだろうか まあ楽しいんだろうね はてな匿名ダイアリーまずこれ書き手女性ですよね。女性のオタク。 私はインターネットエスパー4段なのですが、このエントリからはいくつもの女性のシグナルが感じ取れます。(「お色気嫌悪だから女！」
“おじろく・おばさ”について長野県民が論文を読みつつ考えてみた ｜草食動物
悪しき因習としてネット上で有名な“おじろく・おばさ”について、長野県民が実際に論文を取り寄せて調べてみました。 この記事は最後まで無料で読めます。 なぜ調べようとしたのか、その動機や、長野県の地理的特色などをまとめたものが、前回の記事となります。 1. “おじろく・おばさ”は誇張されているのではないか？1.1. 調べることになった発端ネットロア（インターネットの都市伝説）やオカルト系サイトで有名な「おじろく・おばさ」ですが、それについてのしっかりとした論文があるということから、“実在した忌まわしい因習”として時々ネットにて話題になります。 正直、長野県民として微妙な気持ちでしたが、論文があるのだから本当なのだろうとぼんやり思っていました。しかし、最近その論文自体に疑問を呈する動画を発見しました。 簡単に動画の内容を要約します。 ・「おじろく・おばさ」は1960年代に書かれた２つの論文、①水
同人誌の企画中止につきまして｜三宅香帆
私の同人誌企画およびそのアンケートにつきまして、ご批判を受け、同人誌企画は延期させていただきます。本企画のアンケートで傷つけてしまった方には、心よりお詫び申し上げます。本当に申し訳ございませんでした。 ご批判とはこちらのブログのことです。 そもそも企画の意図につきましてこれは私の個人的な興味なのですが、私は受容史というものが、とても好きです。たとえば万葉集について平安時代の官僚が「読みづらくて難しい(意訳)」と書かれていたり、あるいは源氏物語を読んだ菅原孝標女が「こんな恋愛したい」と書き残していたり、そのように「どのように物語を受容したのか」という点について記録が残っていること自体に、とても惹かれるのです。おそらく物語そのものが残ることと同時に、その物語をどう読んでいたのか？ という記録が残っていること自体に、胸がじんと熱くなるのです。 そういう意味で、たとえば最初は(ざっくりと)男性向け
ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)｜shi3z
朝起きて、「うーんまだ布団から出たくないな」と思ったとき、おもむろにVisionProを被ってみた。 暗い部屋では認識が格段に悪くなるが、なぜPSVRではこういう使い方をしなかったのかわかった。後頭部だ。 PSVRは後頭部にゴツい部品があって、それで寝ながらVRを見るということが少し難しくなってる。VisionProの標準のバンドはこういうときにちょうどいい。 VisionProでTerminalを動かして、継之助の様子を見る。今日も元気に学習しているようだ。 昨日寝落ちした Amazon Primeの「沈黙の艦隊」第五話と六話を見る。音がいい。空間オーディオに対する長年の研究が結実してる感じ。しかもすごくいい音なのだ。 昨日、路上で歩きながら使ってみた(技適の特例申請には移動経路を申告済み)。路上で使うと思わぬ欠点というか盲点にぶちあたる。ウィンドウがついてこないのだ。 他のHMDと違い
犀の角｜佐藤秀峰
先日、投稿した「死ぬほど嫌でした」という記事が大きな反響を呼びました。 日本テレビ系で放送された連続ドラマ『セクシー田中さん』原作者の芦原妃名子さんの訃報に触れて、『海猿』をめぐる僕自身の経験を語る内容でした。 その中で映画主演俳優との初対面の印象について、「嫌なヤツだと思いました」と書きました。 それに対し、俳優の伊藤英明さんが自身のインスタグラムを更新し、記事について言及しました。 「記事を読みました。 『海猿』は僕にとって一生の財産です。 （中略） 約20年前、現場に出向いて下さり佐藤先生に頂いた原画を今も大切にしています。撮影に携わった全員で過ごした時間も作品も自分の宝物です。」 thehideakiitoインスタグラムより引用 伊藤さんの大人な対応に、自分の未熟さを恥じ入るばかりです。 ところで、イラストに書かれた日付を見ると2005年となっています。 僕が撮影現場を訪れたのは2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
