加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
小学生が本格的なプログラミングを学ぶ際の障壁を取り除くためのキーボード
小学生が本格的なプログラミングを学ぶ際の障壁を取り除くためのキーボード 2019.02.13 Updated by Ryo Shimizu on February 13, 2019, 11:25 am JST 筆者の主催する「秋葉原プログラミング教室」には、小学校低学年から高校生、社会人まで、さまざまな人たちがプログラミングを学びに来ています。 しかし、世の中にはどうしてもBASICやScratchでしか小学生にプログラミングを教えられない、という人や教室が居ます。 筆者自身、子供の頃はBASICから入門しました。しかしそれは、BASIC以外に選択肢がなかったからです。 BASICは言語としての設計が古く、80年代に世界中で流行したあと、現在、実用的にはほとんど使われていない言語です。 80年代のマイコンブームを経験した今の40代、50代の世代は、まさしく今の小学生、中学生の親世代に重なる
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
日本でプログラマが少ない理由は正当な対価を支払わないからである - WirelessWire News（ワイヤレスワイヤーニュース）
「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。 このブログでも再三書いていますが、欧州だと、弱小ベンダーだって日本の様なデスマーチとは無縁です。就労環境の良さは比較になりません。インフォメーションアーキテクトなら年収２千万を軽く越える人だっています。
iPhone 3000万台超購入を確約 - スプリントが200億ドルを賭けた一発逆転の大勝負（WSJ報道） - WirelessWire News（ワイヤレスワイヤーニュース）
iPhone 3000万台超購入を確約 - スプリントが200億ドルを賭けた一発逆転の大勝負（WSJ報道） 2011.10.04 iPad 2発表以降、半年以上にわたってさまざまな可能性が噂になってきた新型iPhone。搭載される部品やソフトウェア、対応キャリアなどすでに多くの事柄が語られ、話のネタもほぼ出尽くしたと思った矢先、発表本番を翌日に控えた米国時間3日に、Wall Street Journal（WSJ）がかなりインパクトの大きな話を伝えている。 "Sprint to 'Bet the Company' on iPhone"と題されたこの記事によると、米市場3位の携帯通信事業者であるスプリント・ネクステル（Sprint Nextel：以下、スプリント）はアップル（Apple）に対し、2014年までの4年間で合計3050万台〜3200万台、金額にして200億ドル（$20 billio
iPadの影響で、PC出荷台数が伸び悩み - 2010年第4四半期世界市場 - WirelessWire News（ワイヤレスワイヤーニュース）
調査会社ガートナー（Gartner）とIDCは米国時間12日、2010年度第4四半期の全世界におけるPC出荷台数に関する報告をそれぞれ発表した。同期のPC出荷台数は予想を下回る結果に終わったが、その原因のひとつとして、消費者がPCの代わりにアップル（Apple）のiPadを購入したためと両社は分析している。 IDCによれば、第4四半期のPC出荷台数の伸びは2.7%で、予想されていた5.5%を下回ったという。またガートナーの調べでも、出荷台数の伸び率は3.1%にとどまり、4.8%という予想に達しなかった。なお、PC出荷台数については、IDCでは9210万台、ガートナーでは9350万台となっている。 メーカー別で見ると、PCのシェアで世界第1位のヒューレット・パッカード（Hewlett-Packard）と第2位のエイサー（Acer）が出荷台数を減らし、3位以下のデル（Dell）、レノボ（Len
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
