加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
学術会議問題は「学問の自由」が論点であるべきなのか？
学術会議問題は「学問の自由」が論点であるべきなのか？ 2020.10.07 Updated by Yoichiro Murakami on October 7, 2020, 17:47 pm JST 日本学術会議次期会員の推薦候補の一部を内閣が任命しなかった事について、出発点から、「学問の自由の侵害」と捉え、糾弾するのが新聞輿論のようです。一部の学者や識者層も、その立場で動こうとしているようです。しかし、客観的に見れば、この主張は全く的外れであることは明瞭で、間違いの根本は「現在の」日本学術会議に対して広がっている幻想、あるいは故意の曲解にあります。 日本学術会議はもともとは、戦後、総理府の管轄で発足しましたが、戦後という状況下で総理府の管轄力は弱く、七期も連続して務めたF氏を中心に、ある政党に完全に支配された状態が続きました。特に、1956年に日本学士院を分離して、文部省に鞍替えさせた後
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
止まらない衰退。地域公共交通を守り育てるには「移動することの楽しさ」を提案すべき
止まらない衰退。地域公共交通を守り育てるには「移動することの楽しさ」を提案すべき 2019.02.26 Updated by 特集：モビリティと人の未来 on February 26, 2019, 11:00 am JST 地方部の地域公共交通がこの半世紀近く衰退の一途をたどってきたのは、モータリゼーション進展によって「売り手市場」の維持が不可能になっていったにもかかわらず、サービスの見直しが進まなかったことが大きい。90年代までは運賃値上げを繰り返し、利用者減少とさらなる値上げとの負のスパイラルが止まらなくなった。そのため値上げを凍結する代わりに経費節減に走り、サービス切り下げを進めた。この結果、自家用車を自由に使える人が大半となったにもかかわらずその人たちに選んでもらえるサービスを提供できず、生徒・児童 や高齢者などを主なターゲットとした低
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
このままではもぐら叩きのBSデジタル干渉問題、悪いのは誰？ - WirelessWire News（ワイヤレスワイヤーニュース）
2月20日、BSデジタル放送新チャンネルの試験電波発射がはじまり、そして高速が売りだったはずの新しいモバイル通信サービスがダウンした（関連記事：BS新チャンネルの試験電波によりソフトバンクの1.5GHz帯に影響発生）。何が起っているのか、なぜそんなことになったのか、考えてみた。 何が干渉しているのか 今回問題になっているBSデジタル21チャンネル、23チャンネルの試験電波の周波数は、それぞれ12.09758GHz～12.12458GHzと12.13594GHｚ～12.16294GHz。だが、この電波が直接、ソフトバンクの1.5GHz帯に干渉しているわけではない。 衛星放送受信時には、アンテナで受信した電波を同軸ケーブルで受信機等に伝送するが、そのまま高い周波数の電波を同軸ケーブルで伝送すると信号損失が大きくなりすぎて効率が悪い。そのため、受信アンテナ部で低い周波数に変換（ダウンコンバート）
VAIO株式会社は日本のベンチャーの台風の目になるかもしれない - WirelessWire News（ワイヤレスワイヤーニュース）
7月1日、VAIO株式会社が発足しました。 もちろんこれは、かの偉大なる大SONYからのスピンオフ部隊で、その数、わずか240名。 ソニーのパソコン事業部はもともと1100人体制だったということですから、もの凄いシェイプアップが行われたことになります。 新会社のドメイン、その名もvaio.comでは、類を見ない勇ましい文句が踊っています。 これを見て、あなたは何を感じたでしょうか。 筆者ははっきりと、「ワクワクする」と思いました。 構成員の75%を切り捨てるという大胆な決断、普通であればリストラは後ろ向きに捉えられがちです。 しかし敢えて「大メーカー」の看板を外し、襟を正し、「小さなメーカーになった」と自覚した組織は、強い。 なにしろもともと優秀な人たちしか採用されない会社です。 その中からさらに生え抜きの25%の人材に絞り込み、彼らが自分たちの立ち位置をハッキリと「小さなメーカー」
ドワンゴと角川の経営統合はなぜ実現したか - WirelessWire News（ワイヤレスワイヤーニュース）
先日、ドワンゴと角川の経営統合のニュースが、かなり大きく取り扱われました。 私自身はドワンゴにも角川にも縁があるため、もともといずれこうなるだろうとは思っていましたが、川上会長がグループの会長になり、佐藤辰男さんが社長という、逆転人事にも見える厚遇には少し驚きました。 この動き自体は世間は大きく驚いたのかもしれませんが、私の立場からみると、歴史的にこの二つの会社はいわばもともと兄弟、または親戚のようなものでした。 川上さんもプログラマー経験のある経営者ですから、連載の主旨とはやや離れますが、なぜこの二つの会社の経営統合が実現に至ったか、当事者を身近に知る人間の目で振り返ってみたいと思います。 なお、以下、本来は敬称を付けて呼ぶべき間柄の方々もまじっておりますが、敬称は省略させていただきます。 もともと、角川書店は、1945年に国文学者の角川源義(げんよし)により創業されました。 その後
角川のKindle70％オフから学ぶ電子書籍の適正価格 - WirelessWire News（ワイヤレスワイヤーニュース）
先週後半から角川書店さんがAmazonで電子書籍70％オフという出血大サービス祭りをコソーリと開催しておりました．本日午前中に終了したわけですが、こんなまとめサイトを作ってせっせとお気に入りのサブカル本を布教したりしておりました。高校では図書委員をやってましたので、人様に自分の趣味趣向偏向全開の本をお薦めするのは人生の喜びであります。（図書館にはシンコーミュージックのBurrn!別冊とか、マサ伊藤先生の本とか、キャプテン和田のジャーマンメタルの本などを並べて、大学生との合コンに忙しいリア充学友に大不評だったものです） この祭りは、日本における電子書籍の値段の方向性にかなり大きな影響を与えたと言えるのではないでしょうか。Twitterに祭り参加者の様々なコメントが転がっていたので、色々読んでみました。参加者の声をまとめてみると 電子書籍の競合は中古書店 今回のセール並みに安ければ買いたい 紙
女性型アンドロイドとリスク管理 - WirelessWire News（ワイヤレスワイヤーニュース）
人工知能学会誌の表紙がリニューアルされ、女性型アンドロイドのイラストになった件が炎上しております。 この炎上案件に関する書き込みを読んでおりますと「なんという女性差別」「ヲタ男の妄想丸出し」という意見がある一方、「大騒ぎすることではない」「別にいいじゃないか」という意見もある様です。 この件、リスク管理を考える上での大変良い題材であるなと感じました。（ワタクシの本業の一つは内部統制であります） これがどこかの同人とかエロゲであれば全く問題なかったと思うのですが、何分「人工知能学会」というハードコアな学会であります。 人工知能を研究する方の中には女性もおられるでしょう。また海外の研究者との交流もあるに違いありませんから、海外の方もこういう表紙を目にすることがあるでしょう。萌え＝可愛い、は海外先進国で通用する「概念」ではありません。日本の外の先進国だと、ごく一部のヲタ、しかも日本のコンテンツに
アメリカのノマドの不都合な真実 - WirelessWire News（ワイヤレスワイヤーニュース）
このブログでも以前フリーランサー（個人事業主）について紹介しています。日本では最近フリーランサーが「ノマドワーカー」という風に呼ばれたりして、注目を浴びています。従来のフリーランサーの様に「雇われずに働く」という他に、フリーランサーであっても、誰かに雇われてる会社員であっても、モバイル機器やネットを活用して「場所にとらわれずに自由に働く」といういう意味もあります。 フリーランサーという働き方は、大昔からあるわけですが、技術や通信サービス、デバイスの発達により、「場所にとらわれずに自由に働く」という働き方が、以前よりも簡単になって来たのは新しい感じですね。 しかしながら、フリーランサーのおかれている立場というのは簡単な物ではありません。私が３月9日に出版したノマドと社畜という本の中では、イギリスの実態を紹介しています。 イギリスと同じくノマド先進国であるアメリカは日本よりも早く労働が自由化さ
弁当男子の何が悪いのか - WirelessWire News（ワイヤレスワイヤーニュース）
数日前から 「イクメン、弁当男子」は、なぜ出世できないか という記事がバンバン炎上しております。 はてなブックマークに生息しているはてぶ民も激怒、Togetterで日夜人様の独り言を読んでいる暇な人々も今回は激怒しております。 この記事は • 今の若いものは草食 • 今の若いものはガッツが無い • オレの時代はもっと大変だった という「団塊テンプレ」に沿って若い者の怒りのボタンを高橋名人真っ青な連打で押しまくって盛大に自爆しているわけです。 日本の若い者は • 非正規雇用とか貧乏リーマンで銭がないので弁当男が多く • お金がないので外食なんて無理で • 非正規雇用の人は正社員の輪の中になんて入れてもらえないし • 非正規雇用はいつ首になるかわかんないし • 就職は今の方が遥かに大変だし • 就職できても給料は上がらないばかりかカット • 安給料でサービス残業でブラック労働恒
キャリアポルノは人生の無駄だ - WirelessWire News（ワイヤレスワイヤーニュース）
日本で本屋に行くと、学生さんやサラリーマン向けの「仕事とは何か？」「ライフハック」「グローバル人材になるためには」という目がチカチカする様な題名の「自己啓発書」や、世界的に有名な企業の創業者の「自伝」（いや、 自慢本）が山の様に並んでいます。ネットでも似た様な記事がてんこ盛りです。ラーメン二郎も負けています。 私はこれらのゴミ、いや、歯クソをキャリアポルノと呼んでいます。なんで歯クソでキャリアポルノというと、「読んでる間に気分が良くなって俺って何か凄い」という気分になる物だからです。 オナホで自家発電するのと同じですよ。要するに。意識高い学生や、キャリアセミナーなんかに通っているサラリーマンは、秋葉でオナホや等身大のダッチワイフを買って喜んでいるヲタクより恥ずかしいわけです。 こういうキャリアポルノには 「東大を首席で卒業してハーバードに行って何チャラというグローバル（棒）企業のなんとか
ゲイ矯正キャンプ - WirelessWire News（ワイヤレスワイヤーニュース）
イギリスは放置プレイが大好きな国であります。 俺は俺、お前はお前、お互い迷惑かけない限り、放置プレイで行きましょうや、だって俺たち大人だし他人同士だもんね、という考え方が根底にあります。 ですから、好き嫌いの激しい人に「これを食べないと病気になる」といって偏食を直したり、友達がいくら変な格好をしていたからといっても、何もいわないのです。 だから酷い格好の人が多いのです。 でも本人の選択だから、どうしょもありません。選択の責任は本人であります。死ぬのも本人の責任、変な格好だから殴られるのは本人の責任。大人だから当たり前です。 いちいち人様に注意するのも面倒です。イギリス人は無駄な労働が嫌いですからね。注意したり世話を焼くのも労働です。そんな暇があったら鼻くそを掘りながら酒を飲んでいたいんですよ。 一方、イギリスの元植民地アメリカは、放置プレイが嫌いです。親切な人が多いので、手助けをするのが大
オリンピック開会式が自虐芸なイギリス - WirelessWire News（ワイヤレスワイヤーニュース）
オリンピックが開会いたしました。 ワタクシはその辺の庶民であり貧乏人ですから（ああ、このコラムが書籍化されてベストセラーにでもなれば金持ちになれますかね。その前にBLラノベでも書いた方が儲かりそうですが）開会式のチケットは買えませんでした。 誰が£2200もするチケットを買えたんでしょうか。謎です。 というわけで開会式は家で飲んだくれながらテレビ鑑賞していたわけです。 しかし、またやっちゃいましたね、イギリス。 普通開会式というのは「俺の国って行けてる！ウリリイイイイイ！！！」（ジョジョの奇妙な冒険のディオ様のお声でお読みください）と色々てんこもりで歌ったり踊ったりする会のはずなのですが、壮大な自虐Disり祭りミュージカルをやってくださいました。 北京の開会式は「中国でかい、凄い、偉い」という感じでしたね。。。（これが正当派といえば正当派） しかも外人には意味なネタに玄人にしかわからない渋
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
