加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
BlueskyやThreadsに受け継がれたネット原住民の叡智
BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
ソーシャルネットワークの黄昏、Web 2.0の振り返り、そして壊れたテック／コンテンツ文化のサイクル
ソーシャルネットワークの黄昏、Web 2.0の振り返り、そして壊れたテック／コンテンツ文化のサイクル 2022.08.21 Updated by yomoyomo on August 21, 2022, 20:05 pm JST BSプレミアムで放送された「世界サブカルチャー史 欲望の系譜」の2010年代編「アメリカ 分断の2010s」において、作家のカート・アンダーセンが、映画『ソーシャル・ネットワーク』が作られた頃、マーク・ザッカーバーグは「軽蔑」されてはいなかった、とコメントしていて思わず笑ってしまいましたし、その後に少し考え込んでしまいました。 『ソーシャル・ネットワーク』でのマーク・ザッカーバーグは、お世辞にも好感の持てる人物ではありませんが、それはテクノロジーにほぼ興味がなく、仲間内の特権意識、嫉妬、裏切りといった人間ドラマを描きたかったアーロン・ソーキンの脚本で悪役が割り当て
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
Society 5.0を実現するモビリティとロボットが織りなす近未来イノベーション
Society 5.0を実現するモビリティとロボットが織りなす近未来イノベーション 2020.01.07 Updated by Takeo Inoue on January 7, 2020, 14:49 pm JST 新たな価値やサービスが次々と創出され、人々に豊かさをもたらす「Society（ソサエティ）5.0」を目指して、いま日本政府はあらたな国づくりを進めようとしている。実際にSociety 5.0で活躍しそうな多くのプロダクトも登場しつつある。ここでは、地方創生や働き方改革にも活用でき、近未来のイノベーションにつながりそうなモビリティとロボットについて2019年10月に開催されたCEATEC 2019の展示内容から紹介する。 高齢者の多い寒村地域でドライバーレスの自動運転バスが走る日も近い！？ 地方創生という視点で未来を感じさせるのがSBドライブの自律走行バスだ。2019年6月に国
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
人工知能の研究開発で文科省・経産省・総務省が合同シンポジウムを開催 －政府、産業界、人工知能研究者は同床異夢か？
人工知能の研究開発で文科省・経産省・総務省が合同シンポジウムを開催 －政府、産業界、人工知能研究者は同床異夢か？ 2016.04.26 Updated by Katsue Nagakura on April 26, 2016, 07:18 am JST 政府は人工知能（AI）の研究開発を加速するために、文部科学省、経済産業省、総務省の３省で今年度、計約100億円の予算を投じる。３省での研究開発の足並みを揃えて産業化を推進していくとして、その中核に「人工知能技術戦略会議」（議長：安西祐一郎・日本学術振興会理事長）が今月発足した。そこで４月25日、３省連携の本格稼働として、「第1回 次世代の人工知能技術に関する合同シンポジウム」が日本科学未来館（東京・お台場）で開催された。 ▼政府、産業界、AI研究者らが一堂に会して丸一日かけてシンポジウムが行われた。パネルディスカッションでは６人の研究者がこ
日本年金機構の情報漏洩は運用の問題である
日本年金機構の情報漏洩は運用の問題である Operation is Japan's pension system's issue 2015.06.02 Updated by Mayumi Tanimoto on June 2, 2015, 02:18 am JST 年金記録がなくなってしまったことで大有名な日本年金機構は、職員の端末がサイバー攻撃を受けたことで、加入者の基礎年金番号や住所を含む、個人情報約125万件が外部に流出したと発表しました。 日経コンピュータ の取材によれば、日本年金機構システム統括部曰く「年金に関する個人情報は普段は基幹システム（社会保険オンラインシステム）で保存しているが、ある業務で使うため、個人情報を基幹システムから抽出し、LANに接続するファイル共有用のサーバーに移した」とのことです。 この組織では、年金受給者の個人情報を、基幹システムからコピペし、ファイルサ
ついに目覚めた巨人 Microsoftの逆襲 - WirelessWire News
ついに目覚めた巨人 Microsoftの逆襲 The Empire Strikes Back 2015.05.07 Updated by Ryo Shimizu on May 7, 2015, 10:36 am JST 連休中にサンフランシスコで開催されたMicrosoftのイベント「Build 2015」から戻ってまいりました。 今回のBuildで強く感じたのは、「ついにマイクロソフトが逆襲を開始した」ということです。 これまでMicrosoftはパッとしない時代が続きました。 これまでのMicrosoftは愚鈍な牛のように見えました。 誰が求めているかいまいちわからないZUNEやWindows8という製品を発表し、Microsoftの生命線とも言えるOSのアップグレード需要を冷え込ませました。Windows8も、8.1も、誰も求めていない製品だったのです。 にも関わらず、昨年は過去最高
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
研究者が作り出した未来 -実はスゴイ、学会というシステム- - WirelessWire News（ワイヤレスワイヤーニュース）
第１回の「初音ミクが作り出した未来」で書いた、人間をクリエイティブにさせる仕組みの話は、これまでの連載で一番評判がよかったのですが、学会もそういう「人間をクリエイティブにさせる仕組み」の一つであり、これまでうまく行っているものの実例です。 僕はニコニコ学会βという新しい形の学会で活動していますが、そのもとになっているのはこれまでの学会なので、まずは通常の学会の仕組みについて説明します。 学会は研究者達が「論文」を書き、「学会誌」にまとめ、「イベント」を行うことで構成されています。 知見を積み重ねて、人をクリエイティブにするシステム 論文は、研究者が過去の研究を調べて、それになかったものをどう立証したかについて書かれます。きちんと過去研究を調べて、これまでの歴史になかったものを積み上げ、論文に残していくのが研究者の営みです。他の研究者が自分の論文を調べやすいように、引用の方法や検索しやすいよ
普通のサラリーマンに24時間で「瞬間プログラミング」を教えてみた - WirelessWire News（ワイヤレスワイヤーニュース）
年に一回、電通の社員向け研修をするようになってから、もう4年になります。 私が普段接しているのは、大学生やコンピュータ関係の仕事に就いてる社員なので、電通で営業や企画として働くごく普通のサラリーマンとOLたちに研修するというのは多いに刺激を得られる楽しい仕事なのです。 しかも彼らは、文句無しに日本でも飛び抜けて優秀なサラリーマンたちです。 これまで電通の選抜された20名に「ゲーム企画」「ソーシャルゲーム×社会貢献」「ノベルゲームプログラミング」など、数々の難題を出して来ました。 もともと鏡明役員(当時)のアイデアで始まったこの電通向けスパルタ研修企画、毎回私の予想を大きく裏切る素晴らしい作品を見せてくれます。 そこで今回は私が最近考えている「瞬間プログラミング」を題材にしてみることにしました。 「瞬間プログラミング」とは、必要な道具をアドホックに創り出すという手法で、これは単にコンピュー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
