1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた 2022.12.27 Updated by Ryo Shimizu on December 27, 2022, 18:50 pm JST LangChainというフレームワークを使うと、サンプルコードになんとChatGPTクローンというものがある。 LangChainは、まさにChatGPTのような、既存の大規模言語モデル(LLM;Large Language Model)を前提として、それを使いやすくするためのツールキットだ。 LLMとしては、ChatGPTでも使われているOpenAIのGPT-3(またはGPT-3.5相当)を使うこともできるし、GoogleのFLAN-T5 XLみたいなモデルも使える。詳しくはnpakaこと布留川英一のnoteを参照のこと。 ただ、このモデル、ChatGPTとちがってタダでは使えない
チームラボの次回作のイメージをAIに描かせてみる
チームラボの次回作のイメージをAIに描かせてみる 2021.10.19 Updated by Ryo Shimizu on October 19, 2021, 05:58 am JST 日本ディープラーニング協会が発行するG検定やE資格といったディープラーニング資格保持者のコミュニティにCDLEというものがある。 日本ディープラーニング協会がなかなか見どころがあると思うのは、単に業界団体として資格を発行したりするだけでなく、資格取得者のその後の活躍までサポートするためにCDLE向けのセミナーを定期的に行なったり、ハッカソンを行なったりしているところだ。やはり資格を発行するだけでは意味がなく、資格の保持者にちゃんとディープラーニングを活用してもらわないと意味がないと考える姿勢は立派である。 その、CDLEが開催するハッカソンにメンターとしてやってきてくれないかと言われ、休日でもあったので金に
機械学習とロボットが勝手に新物質を産み出す時代が来ちゃったよ
機械学習とロボットが勝手に新物質を産み出す時代が来ちゃったよ Machine learning and Robots will generate New Materials on their own 2021.10.11 Updated by Schrodinger on October 11, 2021, 16:44 pm JST シュレディンガーの水曜日（Schrödinger's Wednesday）、第3回は東京工業大学・物質理工学院 一杉太郎教授の登場です。まず何といっても名前が良い。別れの一本杉から桃太郎が鬼退治に出かけようとしている光景を思い浮かべずにはいられません。一杉研究室の最大の目標は、新物質の開発とその新機能開発。超伝導体・磁性体・光機能材料・イオン伝導体・誘電体などにおいて、固体化学および固体物理を土台として、卓越した特徴と性能を持つ新物質や界面の実現を目指していら
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる 2021.04.27 Updated by Ryo Shimizu on April 27, 2021, 08:05 am JST GPT-3は、イーロン・マスクやMicrosoftらが支援するOpenAIという組織によって公開された世界最高峰の自然言語AIと言われている。 膨大なパラメータを持ち、インターネット上のありとあらゆる文字情報を学習したもので、あまりに自然な文章が作れてしまうので一般公開が制限されるという、いわく付きのAIだ。 GPT-3を利用したアプリケーションには「プロンプトプログラミング」という手法が使われている。 これを使えば、欲しいプログラムが簡単に書けるのである。 これは非常に画期的なパラダイム(考え方)で、「プログラミング」という概念を大きく広げるものだと言える。 そこで「プログラミング
ついに解放された最強自然言語AI、GPT-3を味見する。
ついに解放された最強自然言語AI、GPT-3を味見する。 2021.04.22 Updated by Ryo Shimizu on April 22, 2021, 14:34 pm JST 恐るべき巧みなマーケティングにより、前評判は世界最強と名高いGPT-3のオープンベータテストのアカウントがついに筆者にも解放されたので試してみた結果をここで共有したい。 ただし、GPT-3の利用にあたってはかなり厳しい利用規約があるので、それを踏まえて記事を執筆したい。 パッとみたところ、GPT-3のAPIの利用方法は非常に簡単だ。 わずか数行で試せてしまう。 サンプルも、単純なチャットものから、要約、翻訳、映画のタイトルから絵文字を出力するなんていうものまである。 スタートレックとスターウォーズが完全に同じものになってしまうのはなんだか釈然としない。 こんなふうに、ブラウザだけでGPT-3の成果を確か
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ
AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ 2020.06.13 Updated by Ryo Shimizu on June 13, 2020, 15:03 pm JST Facebookなどが支援するOpenAIが、OpenAI APIのβテストを発表し、waiting listへの登録が可能になった。 これに伴って、OpenAIの提供するAPIの利用イメージも公開されたが、これがちょっと衝撃的な内容なので非常に興奮した。 OpenAIといえば、あまりに精巧な文章が生成できるために危険を感じて公開を差し止めたという言語AIであるGPT-2が有名だが、今回公開されたOpenAI APIはこれをさらに改良したGPT-3に基づくモデルということになる。 そこで実現される機能は様々だが、ほとんどの人々の想像を遥かに上回る可能性を示してくれた。 たとえば、Wikip
ニューラルネットワークは21世紀のトランジスタである
ニューラルネットワークは21世紀のトランジスタである 2019.05.12 Updated by Ryo Shimizu on May 12, 2019, 18:10 pm JST 過日、スコットランドのグラスゴーで開催された世界規模のコンピュータ・ヒューマン・インタラクション学会、CHI2019に参加してきた。 そこで目にしたものは、もはや当然のように受け入れられているニューラルネットワークの数々である。 CHIという学会においては、ニューラルネットワークがなんら特別なものと認識されていない。 それどころか、そもそも「当然のように使う道具」として捉えられているのが非常に印象的だった。 例えば、東京大学の暦本純一研究室では、口腔内を超音波エコーでスキャンして、口腔の断面図からニューラルネットワークによって発音を推定し、スピーカーで再現することで無声状態でAmazon Alexaを起動するS
特集：採用と活躍の技術 - WirelessWire News（ワイヤレスワイヤーニュース）
特集：採用と活躍の技術 社員の行動データを収集・分析し、業務効率化・業績向上、人事に生かす手法として注目されているピーブルアナリティクス（People Analytics）に代表される人事関連技術（Human Resource Technology）は人工知能関連のアルゴリズムが導入され始めることで本当に効果があるのかどうかが試され始めた。一方で“働き方改革”による労働生産性向上は国を挙げての喫緊の課題として設定されている。この特集では全ての人たちに満足のいく労働環境はどのように実現できるか、そのために人事関連技術はどこまで貢献できるのかを考えていく。データサイエンティスト/ピープルアナリストの大成弘子（おおなり・ひろこ）とアナリストの緒方直美（おがた・なおみ）を主たる執筆者として展開。
知的情報処理の最前線：Googleがやはり作っていた「量子コンピュータ」
知的情報処理の最前線：Googleがやはり作っていた「量子コンピュータ」 Google challenges for making "quantum computer" 2016.07.05 Updated by Masayuki Ohzeki on July 5, 2016, 11:30 am JST 去る6月27日より30日にかけて、Adiabatic Quantum Computing Conference (AQC2015)がGoogle Los Angelsで開催された。 筆者も研究成果の講演のために参加してきたので、一部資料を交えながら紹介する。会議での実際の講演内容は、数週間以内に動画で会議Webページより公開予定である。 ▼ AQC2016の開会の様子 アメリカの西海岸でアクセスが良好ということで、多くの日本人も含む研究者や企業関係者がおそらく100人を超える勢いで参加して
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入!
ドワンゴで産まれた超人工生命LIS、ハッカソンでカンブリア紀に突入! Childhood's End. she's rising to real life 2016.04.12 Updated by Ryo Shimizu on April 12, 2016, 02:51 am JST ニコニコ動画で知られるドワンゴは日本のベンチャー企業としては珍しく２つの専門的な学術研究機関を設置しています。 ひとつは、筆者が設立した西田友是東大名誉教授を所長とするコンピュータグラフィックスの専門研究機関、UEIリサーチであり、もう一つは、全能アーキテクチャイニシアチブの山川宏氏を所長とするドワンゴ人工知能研究所です。 全能アーキテクチャイニシアチブとは、これまで個別の要素技術としてしか発展してこなかったAI(人工知能)技術を、それぞれ視覚野、運動野、言語野、海馬などの役割をもたせ、全体として一つの人間
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア You can train a deep neural network on your web browser 2015.12.24 Updated by Ryo Shimizu on December 24, 2015, 06:00 am JST 先日発表した深層学習(ディープラーニング)をWebブラウザ上から手軽に行うためのオープンソース・ソフトウェア、「DEEPstation(ディープステーション)」をついに公開しました。現在、Githubより誰でもダウンロードして使用することが出来ます(https://github.com/uei/deepstation)。 DEEPstationは、ディープラーニングを手軽に実験するためのGUIベースのアプリケーションで、以下のような特徴があります。 国産ディープラーニングフレ
ノキア、7000人の人員削減へ - Symbian OS開発部隊はアクセンチュアに譲渡 - WirelessWire News（ワイヤレスワイヤーニュース）
ノキア、7000人の人員削減へ - Symbian OS開発部隊はアクセンチュアに譲渡 2011.04.27 携帯電話端末メーカー大手のノキア（Nokia）は欧州時間27日、2012年末までに10億ユーロ（約14億6000万ドル）のコスト削減をめざすリストラ計画を発表した。この計画のなかで同社は全世界で4000人の人員削減を行うほか、Symbian OSの開発等をアクセンチュア（Accenture）にアウトソーシングすることで同OS関連の仕事に携わる3000人の人件費を圧縮していくという。 2月にマイクロソフト（Microsoft）との戦略提携を発表したノキアでは、それ以来大規模な人員削減の可能性が浮上していた。とくに、マイクロソフトの「Windows Phone OS」を自社製スマートフォンの中核OSに据えるとの判断が下されたことで、Symbian OSの開発部隊やその他の研究開発部門に
東北関東大震災による太平洋海底ケーブルの被害状況 - WirelessWire News（ワイヤレスワイヤーニュース）
東北関東大震災で生じた地震と津波により、太平洋に敷設された通信用海底ケーブルに多数の被害が生じていると、GigaOMやWall Street Journalなどが伝えている。 今回の地震では、当初は、日本と各国を結ぶ海底ケーブルへの影響は限定的と考えられていたが、その後次第に被害の広がりが明らかになってきている。太平洋を横切るケーブルのおよそ半数が被害を受けたとの報告もある。調査会社テレジオグラフィー（Telegeography）がまとめた被害箇所は下記の通り： APCN-2（日本、中国、香港、フィリピン、韓国、マレーシア、フィリピン、シンガポール、台湾をつなぐ海底ケーブル） PC-1 NおよびPC-1 W（NTT子会社Pacific Crossingが提供する日米間海底ケーブル） PacNet（パクネット）のEAC（East Asia Crossing）ケーブル 韓国KT（Korea T
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
