加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
BlueskyやThreadsに受け継がれたネット原住民の叡智
BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
経営とプログラミング
経営とプログラミング 2022.09.14 Updated by Ryo Shimizu on September 14, 2022, 07:00 am JST この連載も長いもので、もう何年やっているのか思い出せないのだが、もう十年くらいはやってるのではないだろうか。いや、勘違いかな。もはや思い出すのも面倒臭いのだが、少なくともこの連載が始まってから今までの間に、僕は三つの会社の社長になっている。会社が変わっても連載は続く。それはもう、まったく、ありがたい話である。 会社というのは酷薄なもので、たとえ自分が創業した会社であったとしても、自分の役割がなくなれば居場所はなくなる。 ただ、人間として居場所は必要であるから、個人事業主でいくか個人会社を作るかを常に迫られ、いろいろな社会的都合によって毎回会社を作ると言う立場に追い込まれている。ままならないものだ。 先日、会社を経営している友人が解
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
イスラエル「サイバー・セキュリティ業界」の鳥瞰図
イスラエル「サイバー・セキュリティ業界」の鳥瞰図 2018.07.09 Updated by Hitoshi Arai on July 9, 2018, 17:20 pm JST イスラエルには、「Smartive Cybersec」というコンサルティング会社が運営する「Cyber Startup Observatory」というイニシアチブがある。 この取り組みは、300社を超えるサイバーセキュリティのスタートアップや革新的な企業に個別に連絡し、それぞれの企業との合意の下に、そのソリューションを決まったカテゴリに分類した鳥瞰図「Landscape Map」を作成している。 掲載される企業はイスラエルがメインだが、他にも、米国、英国、フランス、ドイツ、オランダ、スイス、スペイン、インド、ブラジルのスタートアップの鳥瞰図も作成している。 かなり頻繁に更新しているようだが、以下は、イスラエルスタ
死屍累々の人工知能PoC 生死のカギを握るのは何か - WirelessWire News（ワイヤレスワイヤーニュース）
死屍累々の人工知能PoC 生死のカギを握るのは何か 2018.06.12 Updated by Ryo Shimizu on 6月 12, 2018, 08:44 am JST 深層学習が広く知られるようになり、産業への適用が始まってからもう5年が経過した。 日本で深層学習という言葉が流行り始めたのもすでに3年前だ。 実際のところ、このブームには大きな問題があった。 深層学習以外の技術にはこれといった進展はなかったのだが、深層学習が注目を集めたことで、死に体だったAI系企業がどさくさに紛れて息を吹き返したり、少し前なら見向きもされなかったような技術にまで脚光が当たるなどして玉石混交の状態のまま、さまざまなPoC(Proof of Concept;理論検証)に膨大な資金が投じられた。 残念ながらその大半は失敗した。この失敗は極めて必然的なものである。なぜならば、失敗したPoCはほぼ例外なく、
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
AIはセキュリティ業界の救世主となるか？
AIはセキュリティ業界の救世主となるか？ Would AI help security industry? 2017.05.18 Updated by Mayumi Tanimoto on May 18, 2017, 11:28 am JST イギリスでは先週起こったWannaCryによる攻撃で多数のNHS（国民保険サービス）が被害にあった件が大炎上しています。 予約やスケジュールの確認など事務作業がストップしたばかりではなく、患者の情報の閲覧、医療機器の使用、コールセンター、ドアのロックまで影響が出たために、業務が麻痺状態の病院も多く、手術が受けられない患者もでてきています。救急車すら受け入れできない病院もあるほどです。 ICS-CERTも医療機器に対するWannaCryの影響に関してアラートを出してますね。 そんな中で、Darktraceのソリューションを導入していた病院は被害を回避し
プログラマーだけがやっている効率的な仕事のやり方
プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
出来損ないのWindowsはなぜ世界を席巻できたのか - WirelessWire News（ワイヤレスワイヤーニュース）
いまや当たり前のように使われているWindowsですが、その最初のバージョンであるWindowsバージョン1.0を実際に使ったことがある人はほとんどいません。 わずかに当時のCMが残っているのみです。 プレゼンテーションをしているのはスティーブ・バルマー前社長。 最初にWindowsが発売されたのは1985年でした。 しかしその出来はお世辞にもいいとは言えません。 1年早く発表されたMacintoshと比べると対照的です。 WindowsがMacintoshに対して見劣りした理由は二つあります。 一つは、Macintoshがハードウェアごと設計されたものであったに対し、Windowsは既存のIBM PC/AT互換機で動かすためのものだったということ。 Macintoshは最初から32ビットCPUであるモトローラ68000を搭載していましたが、Windowsはすでに普及しているPC/
邪悪なものが勝利する世界において - WirelessWire News（ワイヤレスワイヤーニュース）
しかし、心を鎮めて考えれば、誰にでも分かることだが、私たちを傷つけ、損なう「邪悪なもの」のほとんどには、ひとかけらの教化的な要素も、懲戒的な要素もない。それらは、何の必然性もなく私たちを訪れ、まるで冗談のように、何の目的もなく、ただ私たちを傷つけ、損なうためだけに私たちを傷つけ、損なうのである。 少し前に知り合いの女性と久方ぶりに夕食をともにする機会がありました。食事の後に出向いたバーで彼女は、以前自身が体験したネット上の嫌がらせの話をしてくれました。 嫌がらせをしかけてきたのは同業の女性だったのですが、その人とは仕事上も私生活でもほとんど直接の接点はありません。そんな相手からどうして嫌がらせを受けないといけないのか。例えば、仕事でひどい目にあわせたとか、恋人を奪ったといった過去があるならともかく、面識自体ないような相手なのに。 理由があるとすれば、その女性にとっての晴れの場において、意
退職と失恋 - WirelessWire News（ワイヤレスワイヤーニュース）
サイバーエージェントの藤田社長が競合に社員を引き抜かれたことで社員を激怒した、という談話を日経に掲載していて、それがネットで話題になっていました。 私は個人的には藤田社長を存じませんが、今回の対応は経営者として同情すべき点はあるものの、非常にまずい言動ではなかったかと思います。 ただし、気持ちは本当によく解ります。 私自身もそうですが、私の周囲の経営者も、大なり小なり、同じようなことを感じることがあるのではないかと思うのです。 私は経営者がパーティの席で退職する社員を名指しで叱責したり激怒したりする場面にも何度か遭遇したことがあります。 私個人は、こうした振る舞いは経営者としてみっともないと思っています。 ただ、気持ちは解ります。 というのも、これはどう格好のいい理由で取り繕ったとしても、要するに退職希望者が出るというのは「経営者が見限られたから」でしかないのです。 そういう態度を表明さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
