ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
無料でオープンソースの「標準契約書」を元にして契約書・利用規約・NDAなど作成時の面倒な処理をなくして爆速化＆コスト激減できる「Common Paper」を使ってみた
ビジネスを行う際には、さまざまな相手といろんな契約を交わすことが多いはず。よく使用される契約についてはそれぞれの会社で契約書のテンプレートが保存されているものですが、相手から送られてきた契約書など初めての契約書の場合、いちいち弁護士にレビューを頼むのは面倒です。「Common Paper」は弁護士が練り上げた「標準契約書」を利用することで当事者双方が同じ認識を持てる契約書を作成できるサービスです。契約書の作成だけでなく、条文変更の交渉や署名、契約後の保管まで行ってくれるとのことなので、実際に使ってどんなものなのか試してみました。 Build, negotiate, and sign contracts in minutes. - Common Paper https://commonpaper.com/ 公式サイトにアクセスすると下図の画面になります。まずは「Standards」をクリック
「紙飛行機で世界中を自由に飛び回れるゲーム」のデモが公開、「ChatGPT」「Unreal Engine 5」など注目技術てんこ盛りで圧巻の出来栄え
2023年5月11日に開催されたGoogleの開発者向けイベント「Google I/O 2023」で、Googleが蓄積してきた3D地図データを3Dモデルとして提供するシステム「Photorealistic 3D Tiles」が発表されました。このPhotorealistic 3D TilesとチャットAI「ChatGPT」、ゲームエンジン「Unreal Engine 5」を組み合わせて開発された「紙飛行機で世界中を飛び回れるゲーム」のデモ映像が公開されています。 Unreal Engine 5 with Google Photorealistic 3D Tiles & ChatGPT - YouTube 画面内に真っすぐ飛び続ける紙飛行機が表示されています。 画面内に表示された入力欄に「私をオランダの中心部に連れてって」と入力。 すると、紙飛行機がワープ空間に突入しました。 ワープ空間を
ChatGPTやBardなど複数のチャットAIへ同時に質問して結果をずらっと比較できる「ChatALL」を使ってみたよレビュー
2022年11月にChatGPTが公開され、わずか5日間で100万ユーザーを突破したのを皮切りに、Microsoftが2022年12月にBing AI Chatを公開し、そしてGoogleも続いて2023年3月にBardを公開するなど多数のAIチャットサービスが登場しています。そうした複数のチャットサービスにまとめて質問を送信して結果を比較検討でき、一番いい結果だけを採用できるツールが「ChatALL」です。 sunner/ChatALL: Concurrently chat with ChatGPT, Bing Chat, bard, Alpaca, Vincuna, Claude, ChatGLM, MOSS, iFlytek Spark, ERNIE and more, discover the best answers https://github.com/sunner/ChatA
WordやExcelなどの買い切りOfficeアプリとMicrosoft 365の値上げが発表される
日本マイクロソフト株式会社がWordやExcel、PowerPointなどのOffice製品の値上げを発表しました。値上げの実施日は2023年6月1日で、値上げ対象製品には買い切りのOffice製品だけでなくサブスクリプションサービスのMicrosoft 365も含まれています。 コンシューマ向け Microsoft 365 および Office 製品の価格改定について - Windows Blog for Japan https://blogs.windows.com/japan/2023/05/12/price-revisions-for-microsoft-365-and-office-products-for-consumers/ 買い切りOfficeアプリの2023年6月1日以降の販売価格は以下の通り。 製品名記事作成時点の価格(税抜)2023年6月1日以降の価格(税抜)Offi
ついにGoogle検索・Google Workspace・GoogleマップにジェネレーティブAIが搭載されるとの発表、一体何が変わるのか？
Googleが5月10日に開催した開発者会議「Google I/O 2023」で、Google検索やGoogle WorkshopにジェネレーティブAIを導入することを発表しました。 How Google is improving Search with Generative AI https://blog.google/products/search/generative-ai-search/ Google Search update: New perspectives and experiences https://blog.google/products/search/google-search-perspectives/ Introducing Duet AI in Google Workspace | Google Workspace Blog https://workspace
Googleからプログラミング補助AI「Studio Bot」登場
GoogleがAndroid Studioで使えるプログラミング補助AI「Studio Bot」を発表しました。Studio BotはGoogle製大規模言語モデル「PaLM 2」の派生言語モデル「Codey」を採用しており、「開発者の要望に合わせたヒントを提供」「作りたい機能を実現するためのコードを生成」といった操作を実現可能です。 Meet Studio Bot | Android Studio | Android Developers https://developer.android.com/studio/preview/studio-bot Android Developers Blog: Android Studio @ I/O ‘23: Announcing Studio Bot, an AI-powered coding assistant https://andr
「ChatGPTで論文を読む手間が99％減った」と科学者、研究室ではAIがどのように活用されているのか？
将来的に全職業の80％がAIの影響を受けるとの研究結果が示されているほか、すでにイラストレーターやゲーム開発者がAIに仕事や仕事のやりがいを奪われたと訴えており、今後はより専門性の高い分野でもAIの活用が重要なスキルになってくると予想されます。ウィスコンシン大学マディソン校の教授らが、OpenAIの対話型AI・ChatGPTを使った材料工学の研究で大きな成果を上げたことを報告しました。 ChatGPT makes materials research much more efficient https://engineering.wisc.edu/news/chatgpt-makes-materials-research-much-more-efficient/ 「AIは、非常に複雑で時間のかかるタスクをどんどん支援できるようになってきています」と語るのは、ウィスコンシン大学マディソン校の
実は大量にあるWindowsのファイルパス記述方法まとめ
macOSやLinuxではファイルパスの記述方法が非常にシンプルですが、Windowsには幾通りものファイルパス記述方法が存在しています。そんなWindowsのファイルパスについて調査した結果を、ファイル管理アプリ「Fileside」を開発するErik Jälevik氏がまとめています。 The weird world of Windows file paths | Fileside https://www.fileside.app/blog/2023-03-17_windows-file-paths/ Windows システムのファイル パス形式 | Microsoft Learn https://learn.microsoft.com/ja-jp/dotnet/standard/io/file-path-formats ファイルパスには、各ファイルまでの道筋をすべて記述する「絶対パス」
ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開
OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ
オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に
AI企業のCerebrasが、オープンソースでパラメータ数1億1100万～130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。 Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/ cerebr
3DCG製作ソフトのBlenderにGPT-4を統合し「球体を作って」などのプロンプトを入力するだけで3Dモデルを作成するアドオン「BlenderGPT」レビュー
プロンプトを入力するだけで適切なモデルを出力してくれるBlenderのアドオン「BlenderGPT」が登場しました。OpenAIのGPT-4を使用しており、プロンプトを受けてPythonコードを生成します。 GitHub - gd3kr/BlenderGPT: Use commands in English to control Blender with OpenAI's GPT-4 https://github.com/gd3kr/BlenderGPT 導入方法は以下の動画でも確認できます。 3DCG製作ソフト「Blender」にGPT-4を統合する「BlenderGPT」の導入方法を解説 - YouTube まずはGitHubのリポジトリにアクセスします。続いて「Code」をクリックし、「Download ZIP」をクリックしてZIPファイルをダウンロード。 次にOpenAIのAPI
チャットAI「LLaMA」を一発でローカルにインストールして「文章の続きを書く機能」を試せる「Dalai」使い方まとめ
FacebookやInstagramの運営元であるMetaが開発した言語モデル「LLaMA」は、単体GPUで動作する手軽さとChatGPTに匹敵する性能を両立しているとして話題になっています。そんなLLaMAをApple シリコン搭載Macで動作可能にした「llama.cpp」をGUI付きで簡単に動作させられる「Dalai」が登場したので、実際にインストールして「文章の続きを書く機能」を試してみました。 dalai https://cocktailpeanut.github.io/dalai/ Dalaiを使うには、JavaScript実行環境「Node.js」や開発者向けツール詰め合わせパック「Command Line Tools」を先にインストールしておく必要があります。今回はiMacを使って、必要なソフトウェアから順番にインストールしてみます。既に環境が整っている場合は、「Dalai
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
「なぜスプラトゥーン3のステージは失敗してしまったのか」をプロゲーマー＆アナリストが解説
2022年9月に発売されたスプラトゥーン3は、発売から3日で国内で345万本の販売本数を記録する大ヒットとなりました。しかし、スプラトゥーン3のステージには初代スプラトゥーンやスプラトゥーン2のステージよりも多くの欠陥があると、初代スプラトゥーン時代から競技シーンで活躍しているというプロ選手のCharaさんと、競技シーンのアナリスト兼コーチを務めているというflcさんが解説しています。 Why Splatoon 3's Maps FAIL (And How To Fix Them) - YouTube スプラトゥーン3の競技シーンにおいて不名誉に有名になってしまった試合があります。ある大会での敗者復活戦で、日本でも最高峰のチームが「ナメロウ金属」というステージでガチホコバトルを行いました。 白熱した試合になるはずが、5分間お互い見合うばかりでガチホコのカウントが「61」より先に進むことはあ
「大学生にオススメな本のリスト」をアメリカの有名大学が公開、大学生は一体どんな本を読むべきなのか？
「学生のうちにたくさん本を読んだ方がいい」とよく言われますが、多くの人々にとっては何を読めばいいのかを判断すること自体が困難な課題です。そこで、1冊の本をじっくり読み込む「Great Books curriculum(グレート・ブックス・カリキュラム)」を実践しているアメリカのセント・ジョンズ・カレッジが、「大学生にオススメな本のリスト」を公開しています。 Great Books Reading List and Curriculum | St. John's College https://www.sjc.edu/academic-programs/undergraduate/great-books-reading-list 以下のリストが公式ページで紹介されている全書籍というわけではなく、日本語訳で単著として出版されており、比較的入手しやすい書籍を優先的にピックアップしているほか、科学
超高精度な国産音声認識AI「ReazonSpeech」が無償公開されたので文字起こし機能を使ってみた
東京に拠点を置くテクノロジー企業「レアゾン・ホールディングス」が、1万9000時間に及ぶ国内最大級の日本語音声コーパス「ReazonSpeech」を無償公開しました。同時に、OpenAIが開発した超高性能音声認識AI「Whisper」に匹敵する性能をアピールする文字起こしサービスも公開されていたので、実際に使ってみました。 超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開 - Reazon Human Interaction Lab https://research.reazon.jp/news/reazonspeech.html ReazonSpeech - Reazon Human Interaction Lab https://research.reazon.jp/projects/ReazonSpeech/ レアゾン・ホールディングスは「R
GoogleやBingの検索結果にChatGPTを表示させる拡張機能「ChatGPT for Search Engines」
OpenAIのChatGPTは高度な自然言語処理モデルを利用した対話型AIで、文章を入力するとまるで人間が書いたような自然な文章を返してくれます。これまでの検索エンジンでは検索クエリに複数の単語を入力する必要がありましたが、このChatGPTを応用すれば、調べたいことを直接文章で入力することでより適切な検索結果を示す次世代の検索エンジンが可能になると期待されています。そんなChatGPTの回答を実際にGoogleやBingなどの検索結果に表示させる拡張機能「ChatGPT for Search Engines」が、Chrome・Firefox・Edge向けにリリースされています。 ChatGPT for Search Engines https://chatonai.org/ ChatGPT for Search Enginesを利用するには、あらかじめChatGPTにアカウントを作成して
8000円未満でオープンソースの格安NASを自作した大学生が現れる、ケースは3Dプリンター製でOSも自作のものを搭載
ネットワークアタッチトストレージ(NAS)はネットワークに接続できるファイルサーバーであり、ネットワークを通じてデータの保存や読み込みができます。香港の大学生であるToby Chui氏が、コンパクトで十分な性能を持つNASをわずか60ドル(約7600円)未満で自作した手順について報告しています。 DIY Raspberry / Orange Pi NAS That Really Looks Like a NAS - 2023 Edition : 15 Steps (with Pictures) - Instructables https://www.instructables.com/DIY-Raspberry-Orange-Pi-NAS-That-Really-Looks-Like/ 大学生であるChui氏は、Googleが大学生向けに提供する無制限のクラウドストレージサービスを利用して
Goモジュールのキャッシュプロキシ「Go module mirror」をSourceHutがブロックへ
コードホスティングサービスであるSourceHutが、Gitサーバーからコードを取得しキャッシュするプロキシの「Go Module Mirror」がネットワーク帯域を使いすぎているという理由で2023年2月24日からブロックする予定であることを発表しました。 SourceHut will blacklist the Go module mirror https://SourceHut.org/blog/2023-01-09-gomodulemirror/ SourceHut to shun Google's Go Module Mirror over greed • The Register https://www.theregister.com/2023/01/10/googles_go_SourceHut/ Googleが開発したプログラミング言語のGoはGitリポジトリからモジュール
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
