1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
人間のために書く原稿に対してモチベーションが上がらなくなってきた
人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
マストドンの向こうに見える未来と、カナリアとしての業界人
マストドンの向こうに見える未来と、カナリアとしての業界人 Beyond the mastodon 2017.04.25 Updated by Ryo Shimizu on April 25, 2017, 09:17 am JST 「面白いよなあ」 思わずそう呟いた時、外は雨でした。 もちろんマストドンのことです。 マストドンが日本で紹介されてからわずか二週間。 その間に、マストドンの全世界のユーザー数は40万人に達し、そのうちの2/3が日本人と言われます。 まるでイナゴのような団結力。いや、もはや団結という言葉では表現できないかもしれません。 マストドンに入ると、この十年間失われていた、熱いインターネット黎明期のにおいが漂ってくるのです。 自身をブロガー代表と標榜する徳力基彦はコンサル先で「マストドンをウォッチすべきですか?」と聞かれて「いやあ、ウォッチする必要ないんじゃないですか」と答え
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
千円でベロベロ・・・センベロ居酒屋の経営学
千円でベロベロ・・・センベロ居酒屋の経営学 Strategy of super discount bar 2015.04.21 Updated by Ryo Shimizu on April 21, 2015, 10:05 am JST 最近、いわゆるセンベロという業態のお店が人気です。 センベロとは、ご存じない方のために説明すると、「千円でベロベロに酔えるお店」ということです。主に立ち飲み屋さんや安い居酒屋さんの総称です。 まあテクノロジーとエコシステムが中心話題のWirelessWireNews読者諸氏から見たら 「安かろう悪かろうのお店なんて、ビジネスエリートの寄り付くところじゃないでしょ?」 なんて思うかもしれませんが、なかなかどうして、これが馬鹿にできないほど質が高くて美味しいお店が増えてきているんです。 むしろ同じ効果を得られるのに余分なコストを払うのはビジネスエリートとしてど
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
AO入試偏重は技術立国の自殺であり階層を固定する - WirelessWire News（ワイヤレスワイヤーニュース）
２ちゃんねらーが揶揄するために作ったのかと思われた声に出して読みたい日本語「AO義塾」がバズっています。 声に出して読みたい日本語「AO義塾」は慶応大等のAO推薦入試専門塾であり、大変高い合格率を誇る事で有名です。そもそもこういう対策塾があった事も驚きですが、その合格率の高さは寡占状態のようにも見えます。 この塾に在籍する高校生の少なからぬ人々が、小４偽装疑惑で話題となったNPO「僕らの一歩が日本を変える」にも在籍しているからか何なのか知りませんが、なぜかこの塾の塾長氏がこの件で謝罪しております。 長渕剛に桜島の上で歌って爆発して欲しいわという感じのポエマー魂を発揮し、火の粉にウランを注ぎ込んでおり、AO推薦入試というのはポエムが得意な人を選抜する芸術性を重視する試験なのだなということを再認識した次第です。 青木大和と彼がご迷惑をおかけした全ての皆様へ さて、このAO推薦入試というのは、ワ
一晩中泣き明かした30歳若手女性研究者と書く我が国にはゴシップ新聞しかないらしい - WirelessWire News（ワイヤレスワイヤーニュース）
STAP細胞の画期的な製作方法の発見が話題になっています。中心となって研究を進めた理化学研究所の小保方博士のことが各メディアで報道されています。 イギリスでもこのニュースは大々的に報道され、BBCや民放、大手新聞でも報道されています。ワタクシはこのニュースをイギリスのニュースで知ったのですが、その後日本での報道をネットでみて、その内容があまりにも違う事に唖然としました。 BBCでは、テレビ放送でもウェブでも、まずこの発明が何であるか、なぜ画期的なのかが紹介され、イギリスの研究者の解説を盛り込み、医学などにどのように貢献するか、ということが明記されました。また小保方博士に関しては「Dr Haruko Obokata」と明記されているだけで、年齢や性別には触れていません。（なお、イギリスでは博士号がある人の事はドクター何々と呼ぶのが当たり前です） イギリスの他の主要新聞でも、この発見が何なのか
社会的価値としてのプライバシー（前編） - WirelessWire News（ワイヤレスワイヤーニュース）
数年前、ある宴席で速水健朗さんに、「山形浩生信者のくせにプライバシー保守派のyomoyomo」とからかわれたことがあります。おそらく速水さんは、ワタシがブルース・シュナイアーの「プライバシーの不変の価値」や電子フロンティア財団（EFF）のブログを翻訳しているのを指して言ったのだと推測します。 確かに「露出社会」とも言われるこのご時勢、プライバシーの重要性を訴えるよりも、プライバシーなんて幻想だ、もうとっくに失われていると断ずるほうが強そうだし、潔い感じがします。 しかし、個人的には一見勇ましいことを言う人こそ、刃が自分に向けられたときに醜態を晒しがちという印象があります（念のために書いておくと、上で名前を挙げた速水さんはそういう手合いではありません）。 例えば、エリック・シュミット Google 会長。彼がまだ Google の CEO だった2009年、「他人に知られたくない事がある人は
ロンドンのIT系のノマドの年収は3800万円 - WirelessWire News（ワイヤレスワイヤーニュース）
先日、ロンドンのIT業界で20年ぐらいノマド（個人事業主やインデペンデントコントラクター、フリーランス）をやっている方とお茶を飲んでおり、ノマドはどのぐらい稼げるのかしら、というお話しになりました。 このベテランの方の場合、最高に稼いでいた時で日給£800ー1000とのお話でした。日本円にすると日給12万円から15万円。しかし、景気が悪くなると企業側もお金を渋るので、この方の様なベテランでも日給£200-300になってしまうことがあります。それでも日給３万円から４万５千円ですね。まあまあの支払いの場合は£400−600ぐらい。日本円だと日給６万円から９万円。 つまり、一ヶ月23日働くとすると、月収70万円から350万円ぐらい稼げるというわけです。一年のうち11ヶ月働くとして、年収にすると、770万円から3800万円。うーん最低の金額だとしても悪くないですね。中間ぐらいでも年収1500万円越
エクセル方眼紙はタワケ者増産マシン - WirelessWire News（ワイヤレスワイヤーニュース）
ワタクシはエクセル方眼紙追放委員会の日本支部長を務めております。自分で勝手に任命したのです。支部長ですのでことあることにエクセル方眼紙の弊害を訴えてまいりました。 エクセル方眼紙とは、元々表計算ソフトであるエクセルの升目を細かく設定して、文書作成に使ったり、画像を貼付けたりと、ワードと同じ様に使うことを指します。さらに、そういう文書に謎の方程式や、作った人以外には解読不可能な書式などを細かく設定するのです。 ワタクシのTwitterのフォロワーの方が日経ウーマンさんの記事に、エクセル技が掲載されているぞ、と通報して下さいました。 美文書作りには「方眼紙」シートを使う 日本は職人を重んじる国です。なにごとも突き詰めないと気が済まないというか、他の国から見ると、ビョーキのレベルでこのエクセル方眼紙を突き詰める皆さんがおります。 はい、職人技発揮は素晴らしいですよ。偉いですよ。褒めて差し上げます
ナイジェリアでは日本製が全然人気がない件について - WirelessWire News（ワイヤレスワイヤーニュース）
ワタクシの仕事関係のお友達の一人はナイジェリア出身の方であります。イギリスにはナイジェリアからイギリスに留学してそのまま就職しちゃった方が結構おりまして、技術者や金融の専門家がわらわらとナイジェリアコミュニティを形成しております。 ナイジェリアでは裕福になる中流層がドンドン増えており、消費ブームが巻き起こっています。かつてナイジェリアで裕福なのは石油業界と政府に関わるごく一部の人でしたが、 1999年に軍事政権による支配が終わると、金融や小売り、通信などで次々とビジネスが立ち上がり、専門職が増え、中流階級が激増します。現在、国民の四分の一位が中流階級で、月に480米ドル から645米ドルを稼いでいます。日本円にすると５−６万円という感じでしょうか。外資系の会社に勤めると、先進国の専門職と変わらない給料を得られる場合もあります。 激増している中流階級はお買い物熱心です。ナイジェリア人はイギリ
クラウドファンディングに対する日米の態度 - WirelessWire News（ワイヤレスワイヤーニュース）
ネットで不特定多数の人が力を合わせる動きがボストン爆破事件の犯人探しで注目を集めましたが、クラウドファンディングも大きな注目を集めています。被害にあわれた方へのお見舞金が、凄まじいスピードで集まっているのです。４月下旬の時点で、約２億４千万円ほどの寄付が集まりました。 例えば、爆破事件で大怪我を負ったCeleste さんとSydneyさんむけのお見舞いファンドである Celeste & Sydney Recovery Fundは、立ち上げ初日に20万ドル（約２千万円）を集め、４月29日の時点で約67万ドル（約6700万円）が集まりました。びっくりするのは、お見舞金集めにあたって、二人の犠牲者の方の回復する様子が事細かくサイトで公開されていることです。また寄付者の多くも実名でコメントを寄せています。 様々な新聞で報道され、事件の象徴的な被害者となったJeffrey Baumanさんのお友達は
イジメはあるが祝福する文化のない日本 - WirelessWire News（ワイヤレスワイヤーニュース）
インフルエンザにかかったらしいので、家でフラフラとしながらネットを見ておりましたら、峯岸みなみ丸刈り謝罪 という記事が目につきました。私はAKBは詳しくないので、ことの詳細は良くわかりませんが、グループの決まりを破って男性とお泊まり旅行に行ってしまったので謝罪するために丸刈りになった、ということだそうであります。 これを見ていて、なんだかいや〜な感じがしました。たとえ綿密な計算の上での演出だったとしても、越えては行けない線を越えてしまった気がします。 まず始めに、これを見みて、イギリスの歴史番組で繰り返し放送される「第二次世界大戦後にナチに協力した、ドイツ兵と恋人関係にあった、という理由で公衆の面前で丸刈りにされ、屈辱を与えられた女性達を思い浮かべたからです。男性達は丸刈りにされませんでしたが、女性達はされました。それが最大の屈辱の一つだったからです。ナチに協力したわけではなく、自分や家族
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
