Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
絵文字を支える技術について｜nona
はじめにこちらはmhidakaが建立したAdvent Calendar Day.3となります。 こんにちは、はじめまして、のなと申します。mhidakaさんのTweetを見つけて、初めてAdvent Calendarなるものを書いています。なにかお作法間違っていたら大目に見てください、よろしくお願いします。 軽く自己紹介をさせていただくと、普段はGoogleでAndroidのTextまわりの開発を行っており、DroidKaigiやShibuya APKで発表させていただいたりしています。最近はほぼ絵文字の話しかしてないので、絵文字おじさんと思われてそうですが、普段の仕事は絵文字に限らず、Androidの文字表示の部分は大抵面倒をみています。 今回この機会をいただいたので、どんな内容を書こうか迷ったのですが、やはり皆が読んで面白い内容というと、絵文字になるのかなぁ、ということで性懲りもなく絵
この10年のプログラミング言語の変化 - 西尾泰和のScrapbox
@nishio: あ、そうか、10年前からあったけど10年間の間に勢力を拡大したケースがあるからあんまり厳しく切らない方がいいのか(TypeScriptの登場が2012年、Rustの登場が2010年だった)
「日本語の原郷」についての論文、取り下げ勧告を受ける
去年、「日本語の原郷」についての論文（Robbeets et al. 2021）が話題になった。増田は専門外の素人ながら疑問を持ったのでツッコミを入れたんだけど（anond:20211121124146）、今年の6月に入って専門家集団から「あの論文は取り下げろ」という反論論文が出ていた（Tian et al. 2022）。といっても、プレプリントサーバのbioRxivに置いてあるだけで、学術誌に掲載されたわけではないんだけど、まあいずれどこかには載るよね多分。 そういうわけで、反論論文の内容を（素人なりに）紹介していくよ！ そもそも誰が書いたの？ふええ……知らない人ばっかりだよぉ…… 22人の共同著者による論文だけど、その多くは中国人研究者。ほかは数人のヨーロッパ人。中国人研究者については全然わからない。漢字で書かれれば一人か二人は名前を聞いたことがある人がいるかもしれないけど、ラテン文字
ゴーファーくんと辿るプログラミング言語の歴史/history-of-programming-languages-with-gopher
若手向けに開催した勉強会の資料です。 一般的なアプリケーション開発をターゲットに、主要言語と歴史を解説しています。
「公式が勝手に言ってるだけ」からはじめる文学理論半世紀
最近、二次元に魂を奪われ二次創作に萌える二次豚とでも呼ぶべき存在どもが、「公式が勝手に言ってるだけ」「原作とアニメで言ってないだけ」という種類の鳴き声を発明した。 歴史学などの一部学問においてはこうした態度が倫理的に要請されてきた、ということはニコニコ大百科でも指摘されているが、そもそもこうした態度はここ半世紀ほど「文学」「テキスト」「作品」といった物事を専門家が語るために用いられてきたものがほぼ起源であろうと思う。「テクスト論」と呼ばれるものがそれである（構造主義の話はしません）。 すなわち「勝手に言ってるだけ」「言ってないけど言ってる」は、文学者がこの半世紀格闘し続けてきたテーマなのである。ちなみに本稿は、加藤典洋『テクストから遠く離れて』をなんとなく参考にして書かれたので、興味のある方はそちらも読まれるとより楽しいかと思う。 さて、半世紀ほど前まで、たとえば夏目漱石の作品を批評する、
人月の神話
人月の神話 をひさしぶりに読んでみた。 人月の神話は、フレデリック・ブルックスの超有名古典的エッセイ集で、ソフトウェアエンジニアリングに関する多岐にわたるトピック取り扱っている。その中でもとくに有名で、よく世間で言及されるのは、表題にもなってる「人月の神話」と「銀の弾などない」、それから「セカンドシステム症候群」あたりだろうか。 はじめて読んだのは20年くらい前。社会人になったばかりのころ、満員電車にゆられながら、「へー人を増やしても開発ってうまくいかないのねー」などとわかったような顔をしながら読んでいたのを覚えている。当時は職業プログラマとしての経験を積む前で、本を読んでも鵜呑みにすることしかできなかった。でも、熟練のプログラマとして経験を積んだいま読んだら、またなにか違った洞察を得られたりするかもしれない。読み返してみた動機はそんな感じ。 目次 現代のプログラマにとって有益か やっぱり
黙字のひみつ｜kgmt | かげもと
The Secret of Silent Letters - cover The Secret of Silent Letters - page 01 The Secret of Silent Letters - page 02 The Secret of Silent Letters - page 03 The Secret of Silent Letters - page 04 The Secret of Silent Letters - page 05 The Secret of Silent Letters - page 06 The Secret of Silent Letters - page 07 The Secret of Silent Letters - page 08 The Secret of Silent Letters - page 09 The Secret o
[PDF]横書き句読点の謎 渡部善隆
y A B A B A B A B ([1]) A B y A case 1 case 2 case 3 B A B Vol.27,No.5 A B H.N K A B A 1 A [2] 20 |30 18 B A ( ) A B A B A punctuation punctuation 16 17 B A 1886 punctua- tion B A B A 39 (1906) B A 21 (1946) B A 19 B A 1) 2) (1946) A 2 : T ; T T T \ " T T ( ) { T T 21 ( \T" ) B A B A B A B A B A B A B A punctuation orthography B A B A 3 (1946) B A B A B A A B A B A 3 0 2 1 + 3 0 2 1 + 3 0 2 1 + 3
プログラミング言語の未来はどうなるか | κeenのHappy Hacκing Blog
κeenです。最近JEITAのソフトウェアエンジニアリング技術ワークショップ2020に参加したんですが、そこで五十嵐先生、柴田さん、Matzとパネルティスカッションをしました。その議論が面白かったので個人的に話を広げようと思います。 年末年始休暇に書き始めたんですが体調を崩したりと色々あって執筆に時間がかかってしまいました。 時間を置いて文章を書き足していったので継ぎ接ぎ感のある文体になってるかもしれませんがご容赦下さい。 というのを踏まえて以下をお読み下さい。 いくつか議題があったのですが、ここで拾うのは一番最後の「プログラミング言語の未来はどうなるか」という話題です。 アーカイブが1月末まで残るようです。もうあと数日しかありませんが間に合うかたはご覧下さい。 そのとき各人の回答を要約すると以下でした。 五十嵐先生：DSLを簡単に作れる言語というのが重要。それとプログラム検証、プログラム
「自閉症は津軽弁を話さない」この謎に挑んだ心理学者が痛感したこと（プレジデントオンライン） - Yahoo!ニュース
自閉症の子どもは津軽弁を話さない。そんな妻の一言をきっかけに、心理学者の松本敏治氏はことばと心の謎の解明に乗り出した。松本氏は「最初は軽い気持ちで調べていたが、本にまとめるまで十数年がかかった。現場の人々の経験や感覚に目を向けることの大切さを痛感した」という――。 【この記事の画像を見る】 ■「ことばと心の謎」に迫る研究のきっかけ ある日、町の乳幼児健診から帰ってきた心理士の妻が、ビールを飲みながら「自閉症の子どもって津軽弁しゃべんねっきゃ(話さないよねぇ)」と言ってきました。 障害児心理を研究する私は、「それは自閉症(自閉スペクトラム症:ASD)の独特の話し方のせいだよ」と初めは静かに説明してやりました。しかし妻は、話し方とかではなく方言を話さないのだと譲りません。 やり取りするうちに喧嘩になり2、3日は口を利いてくれませんでした。こちらも長年、その道の研究職であるつもりでしたから、たと
JavaScriptのthisは結局何種類あるのか - uhyo/blog
JavaScriptのややこしい機能としてよく槍玉に挙げられるのがthisです。その特徴のひとつは状況によって意味（thisの値）が違うことであり、これを指して「JavaScriptのthisは4種類」とする説も見られます。 そこで、この記事ではthisが何種類あるのか、ECMAScript仕様書を頼りに調べます。ECMAScript仕様書とはJavaScriptという言語を定義する文書であり、JavaScriptのthisがどのような挙動をするのかも当然定義されています。今回は仕様書の2020年5月26日版ドラフトを参照します。 https://tc39.es/ecma262/結論としては、最も大ざっぱに分けると3種類、最も細かく分けると157種類です。この記事では全種類漏れなくサンプルコード付きで説明します（似たようなやつはまとめて説明します。また、一部観測不能なものがあります）。 ス
アプリの国際化の舞台裏
アプリの国際化は単に表示されるテキストの翻訳にとどまるものではありません。 このセッションでは、開発者とユーザーの双方の視点から、様々な地域で使われる iOS アプリの開発を通して得られた具体的な事例を踏まえ、アプリの国際化で必要となる技術的な知識、避けては通れない問題とその対策、そして今後のアプ…
【形式名詞の見分け方】日本語の実質名詞と形式名詞とは? H28日本語教育能力検定試験Ⅰの解説 問題1の(8) - 日本語教育能力検定試験の解説
この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。
同じ漢字なのに、日本語と中国語では発音がまったく違うのはなぜですか - ことばの疑問 - ことば研究館 | 国立国語研究所
確かに、日本語と中国語では漢字の発音がまったく違いますね。例えば「学生（がくせい）」は「シュエシェン（xué sheng）」、「日本（にっぽん/にほん）」は「リーベン（rì běn）」、「新聞（しんぶん）」は「シンウェン（xīn wén）」となります。この違いが、日本人の中国語学習者、中国人や台湾人の日本語学習者を戸惑わせる原因にもなっています。 そもそも、中国語は一つの漢字に対して発音は（原則として）1種類。ところが、日本の漢字の音読み（漢字音）は何種類にも分かれます。例えば「行」には「ギョウ/コウ/アン」の3種類の音があります。これを順に「呉音」「漢音」「唐音（とういん）」と言います。 藤堂明保・加納喜光編『学研新漢和大字典』（学習研究社）より 呉音は最初に日本にやってきた漢字音で、四書五経や仏教経典などとともに伝来しました。現在でも「修行（しゅぎょう）」「勤行（ごんぎょう）」のような
後世に残したい美しい言葉 ５選
①孫衛星衛星の周りを回る衛星のことを孫衛星という。 しかしこのような天体は天然には発見されていない。 実物はないのに未来に発見される可能性のために名前だけが付いている。 言葉の影響力は今この世界のみに及ぶのではないことを教えてくれる。 ②トリプルA面メイン曲が3曲入っているシングルCDのこと。 A面B面とはレコードからの名残である。メイン曲をA面、カップリング曲をB面と呼び、両方の曲がメインとなる場合は両A面とかダブルA面という。 そこまでは良いのだが、トリプルとなると元のレコードのイメージは完全に崩壊する（レコードに面は3つもない）。 つまり元はレコード由来の概念だったものをCDに拡張した際、面という言葉が意味を失い、抽象世界上の産物になったが故に成立した言葉なのだ。 言葉は実世界から発生するが、必ず手の届かない抽象世界へと逃げていくことを教えてくれる。 ③幽霊文字JIS規格に紛れ込んで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/linglanglong/status/1536742817632243712
大阪から関東の大学に入った頃に「大阪弁出ないね！」ってよく言われたけど日本語学の先生に「母音が脱落しないので大阪だと思ってました」と言われた
Lispはなぜ覇権を握らなかったのでしょうか？
ROOTSY on Twitter: "読みやすい文章を書きましょう、みたいなことで金をもらっていたが、社会を悪くしたかもしれない、と思うときがある。少なくともアメリカでは読みやすい文章＝バカの食べ物であり、インテリの食べ物たるためにわざわざ読み下しづらい修辞を用いるのが儀礼で、それを読みこなせるのがインテリの定義だ。"
