加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
BlueskyやThreadsに受け継がれたネット原住民の叡智
BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
人間のために書く原稿に対してモチベーションが上がらなくなってきた
人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ぼんやり上司とガツガツ上司、どっちが良いか
ぼんやり上司とガツガツ上司、どっちが良いか 2021.05.21 Updated by Ryo Shimizu on May 21, 2021, 08:45 am JST 「もっと派手に、若々しく」とか「うーん、違うんだよなあ」と、ぼんやりした指示しか出してくれない上司と、「ここは赤で」「明日までに見積書を書け」みたいにガツガツ仕事を進めてしまう上司、どっちがいいか、という問題について最近考えたことがあった。 ガツガツ上司の場合、部下はストレスは感じるがやりやすい。 上司が欲しがるものが明確化されているので、「赤にしろ」と言われれば赤にすればいいし、「見積書を書け」と言われれば書けばいいからだ。 それに引き換え、ぼんやり上司の下にいると、部下は苦労する。 なにしろ何をして欲しいのか明かされない。何をすればいいのか自分で考えなくてはならない。そして、何かやって持って行ったとしても、ぼんやり上
イスラエル「サイバー・セキュリティ業界」の鳥瞰図 2018年9月版
イスラエル「サイバー・セキュリティ業界」の鳥瞰図 2018年9月版 2018.10.12 Updated by Hitoshi Arai on October 12, 2018, 17:25 pm JST 7月9日に公開した同じタイトルの記事（「イスラエル「サイバー・セキュリティ業界」の鳥瞰図」）では、2018年6月時点のイスラエルにおけるサイバーセキュリティ企業のLandscapeを紹介した。あまり大きな変更はないものの、定点観測の意味も込めて、9月時点で6月との差分で目についた点を紹介したい。 ▼図1 Israel Cybersecurity Landscape Slide September 2018 出典 Cyber Startup Observatory ※高精細なオリジナルは「こちら」からダウンロードできます。 カテゴリレベルでは、前回からの変更はない。内容に変更のないカテゴリ
専門家が指摘する「自動車業界のサイバーセキュリティ分野における課題」 ほか
専門家が指摘する「自動車業界のサイバーセキュリティ分野における課題」 ほか Automotive Cybersecurity News July 4th week,2018 2018.07.31 Updated by Wataru Nakamura on July 31, 2018, 13:00 pm JST コネクティッドカーのハッキングリスク対抗を目指すSafeRide【The Times of Israel】 テルアビブ発のセーフライド・テクノロジーズ（SafeRide Technologies）は、自動車システムへのハッキングの脅威をモニタリングし、未然に防ぐ技術を開発している。同社のソフトウェアは、自動車のデータを収集・分析して平常時の状態を定義し、アルゴリズムによって異常の発生を検知するというもので、自動運転車やコネクティッドカーをプログラム上のバグと外部からの攻撃の両方から守
2020年までにIoTセキュリティにケリをつける方法論を展開：5月24日開催【SIOTP協議会主催】IoTセキュリティセミナー開催のご案内
2020年までにIoTセキュリティにケリをつける方法論を展開：5月24日開催【SIOTP協議会主催】IoTセキュリティセミナー開催のご案内 2018.05.21 Updated by WirelessWire News編集部 on May 21, 2018, 15:33 pm JST 一般社団法人セキュアIoTプラットフォーム協議会では、IoTセキュリティの普及に向けて、国内動向などの情報共有並びにビジネスの発展のため、標準化に向けた研究開発を行っております。2020年に向けて多くの機器がネットワークにつなげると予測されている中、IoT機器のセキュリティはこれまで以上に重要となってまいります。そこで、今回はIoTセキュリティの未来について皆様と一緒に考えていきたいと思います。本シンポジウムを通じて、皆様のIoTセキュリティに関してのビジネス推進にお役立ていただけますと幸いです。 【開催概要
平昌オリンピックで見えてきた「5G」が作り出す未来？
平昌オリンピックで見えてきた「5G」が作り出す未来？ 2018.02.24 Updated by MobileLab on February 24, 2018, 12:08 pm JST 世界初の5Gの実証実験サービスが韓国・平昌オリンピックで始まった。今回の平昌オリンピックでは、テレビでユニークな映像がいくつか流れていることに気付いているだろうか？ 映画マトリックスのような回転映像のタイムスライスやオムニビュー、シンクビュー、VR360といった新手法の映像が 日本でもテレビ放送の一部に取り入れられ、新しいスポーツ観戦の手法が始まろうとしているのだ。 今回のオリンピックは、韓国政府が世界初の5G実証実験サービスを開始することから、別名「5Gオリンピック」とも呼ばれるテック大会となるといわれていた。昨年2月のMWC（モバイル・ワールド・コングレス）でも、韓国の通信会社KT（旧コリアテレコム）
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
日本初開催、「サイバーテック東京 2017」の意味を考える
日本初開催、「サイバーテック東京 2017」の意味を考える 2017.12.05 Updated by Hitoshi Arai on December 5, 2017, 20:54 pm JST 毎年1月末にイスラエルのテルアビブで開催されるサイバー・セキュリティの国際イベント「サイバーテック」が、11月30日に「サイバーテック東京 2017」として日本で初めて開催された。 1日限りのイベントであるにも関わらず、サイバー・セキュリティ分野をリードするイスラエル企業が集まっているということで注目を集め、主催者発表で2000人が参加した。当日夜のNHKニュースでも放映されたので、参加はしなくてもこのイベントがあったことを認識されている方も多いのではないだろうか。 実はこのイベントは、イスラエルと日本両国の協力で周到に企画された。半年前の5月に、両国間の官民での交流を一層加速するために「日本・
IoT案件は前年度比倍増でも具体的な利活用への移行が課題－－IIJが見る日本のIoTの今
IoT案件は前年度比倍増でも具体的な利活用への移行が課題－－IIJが見る日本のIoTの今 2017.12.07 Updated by Naohisa Iwamoto on December 7, 2017, 06:25 am JST 「IoTの技術的課題はクリアになってきた。しかし具体的な利活用シーンへの取り組みはまだこれから」。インターネットイニシアティブ（IIJ）は、IoTに関する事業説明会を開催し、国内のIoTへの取り組みの現状をこう説明した。 IIJでは、2016年7月にIIJ IoTサービスを発表。その後、フルMVNOへの取り組みを発表するほか、スマートメーターやコネクテッドホーム、農業IoT、スマートファクトリーなどの分野での実証実験や協業、サービス提供を続けてきた。2017年10月には月額300円から利用できるようにIIJ IoTサービスを刷新したほか、2018年3月にはフル
コネクテッドカーを動かす安全なソフトウエアの作り方とは――ユビキタス
コネクテッドカーを動かす安全なソフトウエアの作り方とは――ユビキタス 2017.11.28 Updated by Naohisa Iwamoto on November 28, 2017, 15:03 pm JST 東京モーターショー シンポジウム2017では、セキュアIoTプラットフォーム協議会が主催した「安心・安全につながる車社会の実現を目指して ～コネクテッドカーのセキュリティを考える～」シンポジウムが開催された。組み込み機器関連ソフトウエアの開発とライセンスを手がけるユビキタスで代表取締役社長を務める佐野勝大氏は、シンポジウムの講演でコネクテッドカー時代のソフトウエアの開発、検証の方法について提言した。 コネクテッドカー時代に、ソフトウエアはこれまで以上に重要な役割を果たすようになっている。10年ほど前の自動車を振り返ってみると、ソフトウエアはたかだか1000行程度しかなかった。と
プログラミングを知らない人がプログラミング教育をする危険性
プログラミングを知らない人がプログラミング教育をする危険性 The teacher of programming came, but nobody has a TECH. 2016.06.22 Updated by Ryo Shimizu on June 22, 2016, 08:55 am JST ある日、角川アスキー総研の取締役兼主席研究員である遠藤諭氏から、「プログラミングが他の職業でも役立つということに関してなにかアイデアはないか」と相談を受けました。 アスキーの遠藤諭氏といえば、筆者も少年の頃、毎月夢中になって誌面を熟読した往年の「月刊ASCII」の編集長として活躍された方で、自らもプログラミングのプロフェッショナルでもあります。プログラマーでありながら、プログラミングを本業とせず、編集業を生業にしているところは、プログラマーでありながら経営者を生業とする筆者と相通じるものがあり
ダークウェブとダークネット
ダークウェブとダークネット 2017.10.06 Updated by WirelessWire News編集部 on October 6, 2017, 07:00 am JST NHKが不用意に「ダークネット」という用語を受け売りしたため、今後、この言葉は、違法な薬物や武器、個人情報などが取り引きされる闇のネットという意味で使われるようになるかも知れない。 例えばダークファイバーというのは、事業者が敷設だけしていて使っていない光ファイバー回線のこと。使う時には中を光の信号が行き交うため光るからライトファイバーで、使わないと光らないからダークファイバーという。 ダークネットは、元々、2011年に枯渇したとされるIPアドレス（IPv4）のうち、配布されていながら実際にはホストが割り当てられていないアドレス、つまり使われていないアドレス群を指す言葉だった。 このアドレスに向けてパケットが送信さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
