Metaが公開した大規模言語モデル「LLaMA」の論文に基づいて大規模言語モデルを構築するオープンソースのプロジェクト「RedPajama」が、LLaMAを可能な限り忠実に再現することを目的としたベースモデル「RedPajama-INCITE」を公開しました。 Releasing 3B and 7B RedPajama-INCITE family of models including base, instruction-tuned & chat models — TOGETHER https://www.together.xyz/blog/redpajama-models-v1 RedPajamaはAIスタートアップのTogetherやチューリッヒ工科大学、スタンフォード大学などが共同して研究を進めているプロジェクトであり、非営利の研究目的でのみ利用可能なLLaMAをベースに、商用利用可

ChatGPTなどの対話型AIは、高精度なテキストを生成できる一方、入力が可能な言語の最小単位である「トークン」には限度があります。OpenAIのGPT-4は約3万2000トークンまでの入力が可能ですが、AI研究スタートアップのAnthropicがテキスト生成AI「Claude」のトークンを9000から10万へ拡張したことを発表しました。 Anthropic | Introducing 100K Context Windows https://www.anthropic.com/index/100k-context-windows Anthropic’s latest model can take ‘The Great Gatsby’ as input | TechCrunch https://techcrunch.com/2023/05/11/anthropics-latest-mode

画像生成AI「Stable Diffusion」の開発元であるStability AIは、直感的な操作でStable Diffusionによる画像生成を実行できる公式ウェブアプリ「DreamStudio」を提供しています。このDreamStudioは有料サービスとして展開されているのですが、新たにDreamStudioとほぼ同一の機能を備えた無料アプリ「StableStudio」が登場しました。StableStudioはオープンソースで開発されており、今後も機能を拡張する予定です。 Stability AI DreamStudioのオープンソースの未来、StableStudioをリリース -。Stability AI https://ja.stability.ai/blog/stablestudio-open-source-community-driven-future-dreamstud

「ChatGraph」はChatGPTのノードエディターで、ノードを組み合わせることで複雑なシステムを視覚的に構築できます。ChatGPTの高い性能を有意義に使えそうだったので、実際に使ってみました。 【ChatGPTのノードエディタ】ChatGraph - β - uynet - BOOTH https://booth.pm/ja/items/4728147 まずは、上記のリンクからChatGraphの配布ページにアクセスして「無料ダウンロード」をクリックします。今回は無料版を選択しましたが、ChatGraphには画像生成機能が付いたお布施版も存在しています。 ZIPファイルをダウンロードしたら、Windows標準機能や対応ソフトで解凍します。 ZIPファイルを解凍するとChatGraphの実行ファイル「graph.exe」が現れるのでダブルクリックして起動します。 ChatGraphの

Metaの大規模言語モデル(LLM)「LLaMA」と同等のパフォーマンスを発揮するオープンソースLLMの開発を手がけるTogetherが、複数の投資家たちから2000万ドル(約27億2000万円)を調達したことを明らかにしました。 Together’s $20M seed funding to build open-source AI and cloud platform  — TOGETHER https://www.together.xyz/blog/seed-funding プロジェクト「RedPajama」をチューリッヒ工科大学などと共同で進めているAIスタートアップのTogetherが、テクノロジーベンチャーキャピタルのLux Capitalを筆頭に複数の企業・投資家から資金を集め、合計2000万ドルを調達することに成功したと発表しました。協賛者の中にはPayPalの共同創業者の

Googleが大規模言語モデル(LLM)「PaLM」の次世代バージョンとなる「PaLM 2」を発表しました。PaLM 2はすでにGoogleのさまざまなサービスに導入されており、チャットAIのBardでもPaLM 2がすでに利用されているとのことです。 Google Japan Blog: Bard が日本語に対応 https://japan.googleblog.com/2023/05/bard.html Google AI PaLM 2 – Google AI https://ai.google/discover/palm2 Google AI: What to know about the PaLM 2 large language model https://blog.google/technology/ai/google-palm-2-ai-large-language-mode

カリフォルニア大学バークレー校などの研究チームがオープンソースの大規模言語モデル「Vicuna-13B」を公開しました。Vicuna-13BはOpenAIのChatGPTやGoogleのBardに近い精度で回答を生成でき、日本語にも対応しているとのこと。実際に動かせるデモも公開されていたので、使ってみました。 Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego https://vicuna.lmsys.org/ GitHub - lm-sys/FastChat: An open platform for training, serving, a

3人の子どもとAIでテーブルトークRPG(TRPG)をプレイする話題で盛り上がったというソフトウェアエンジニアのオビー・フェルナンデス氏が、GPT-4を進行役(DM)にして「ダンジョンズ＆ドラゴンズ(D＆D)」をプレイした時の体験談をつづりました。 My kids and I just played D&D with ChatGPT4 as the DM | by Obie Fernandez | Mar, 2023 | Medium https://obie.medium.com/my-kids-and-i-just-played-d-d-with-chatgpt4-as-the-dm-43258e72b2c6 さっそくプレイを開始したフェルナンデス氏らは、まずChatGPTへのプロンプトとして「あなたは今、D＆D第5版ベースの新キャンペーンのDMです。部屋にはあなたと一緒に4人のプレイ

ChatGPTなどの自然な会話が可能なチャットAIのベースとなっている大規模言語モデルは、Googleが開発した機械学習アーキテクチャ「Transformer」を採用しています。そんなTransformerが文脈に沿った自然な文章を出力する仕組みについて、AI専門家のLuis Serrano氏が解説しています。 What Are Transformer Models and How Do They Work? https://txt.cohere.com/what-are-transformer-models/ Transformerは、簡単に言うと文章の文脈に合わせて続きを生成する技術です。「文章の続きを生成する技術」は古くから研究されており、携帯電話などにも予測入力機能が搭載されていますが、これら予測機能は入力履歴から頻出語句を選び出しているだけで、文脈を無視した候補が選出されることも

プロンプトを入力するだけで適切なモデルを出力してくれるBlenderのアドオン「BlenderGPT」が登場しました。OpenAIのGPT-4を使用しており、プロンプトを受けてPythonコードを生成します。 GitHub - gd3kr/BlenderGPT: Use commands in English to control Blender with OpenAI's GPT-4 https://github.com/gd3kr/BlenderGPT 導入方法は以下の動画でも確認できます。 3DCG製作ソフト「Blender」にGPT-4を統合する「BlenderGPT」の導入方法を解説 - YouTube まずはGitHubのリポジトリにアクセスします。続いて「Code」をクリックし、「Download ZIP」をクリックしてZIPファイルをダウンロード。 次にOpenAIのAPI

アリババが2023年4月7日にWeChatの公式アカウントを通して、自社のクラウドサービスの下で利用可能なAI言語モデル「通义千问(トンギーチェンウェン)」を発表しました。 通义千问 https://tongyi.aliyun.com/ Alibaba unveils ChatGPT alternative Tongyi Qianwen under cloud services after Baidu’s high-profile Ernie Bot launch | South China Morning Post https://www.scmp.com/tech/big-tech/article/3216344/alibaba-unveils-chatgpt-alternative-tongyi-qianwen-under-cloud-services-after-baidus-hi

ChatGPTを代表に高性能なチャットAIが続々と発表されていますが、チャットAIの多くはオンラインで使う必要がある他、オフラインで動作するチャットAIも高性能PCを求めるものがほとんどです。そんな中、高性能GPUを搭載していないPCでも動かせる「GPT4ALL」が登場しました。実際に使ってみたところグラフィックボードを搭載していないモバイルノートPCでも動かせたので、使い方をまとめてみました。 GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue https://github.com/nomic-ai/gpt4all GPT4ALLは、Nomic AIが開発したチャッ

2022年10月25日に、フロントエンドフレームワーク「Next.js」の最新版である「Next.js 13」がリリースされ、同時にバンドルツール「Webpack」の後継となる「Turbopack」も発表されました。開発元のVercelは、Turbopackについて「Webpackよりも700倍高速」とアピールし、性能を示すベンチマーク結果を公開しています。 Introducing Turbopack, the successor to Webpack. ◆ ~700x faster than Webpack ◆ 10x faster than Vite ◆ Native incremental architecture built with Rust ◆ Support for React Server Components ◆ Support for TS, JSX, CSS & mo

画像生成AI「DALL・E 2」や文章生成AI「GPT-3」といった高性能AIを開発してきたAI開発組織のOpenAIが、新たに音声を超高精度で認識して文章に書き起こせるAI「Whisper」を発表しました。発表と同時に公開されたサンプルでは「早口のセールストーク」や「ハイテンポな曲の歌詞」などの音声でも問題なく文字起こしできる性能の高さが示されています。 Introducing Whisper https://openai.com/blog/whisper/ GitHub - openai/whisper https://github.com/openai/whisper Whisperはインターネット上から収集された合計68万時間におよぶ音声データでトレーニングされた文字起こしAIです。OpenAIのブログ記事には「早口のセールストーク」「K-POPの曲」「フランス語」「独特なアクセン

GoogleやApple、Amazonなどの数百の企業が参加する、モノのインターネット(IoT)のオープン標準を定める組織「Connectivity Standards Alliance(CSA)」は、IoT用接続の新しい規格「Matter」の最初の正式版であるMatter1.0標準および認証プログラムのリリースを発表しました。CSAはMatterによりIoTの新時代を先導する意を表明しています。 Matter Arrives Bringing A More Interoperable, Simple And Secure Internet Of Things to Life - CSA-IOT https://csa-iot.org/newsroom/matter-arrives/ The Matter smart home standard officially launches to

2022年3月には東京電力および東北電力管内で需給ひっ迫警報が発表され、2022年6月には夏の電力需給が厳しくなるとして日本政府が全国で節電を要請しました。これらの状況から日本の電力需給システムがピンチに陥っていることがうかがえますが、そもそも日本ではどんな種類の発電所がどこで稼働しているのか気になるところです。国立情報学研究所の北本朝展教授が作成した発電所マップ「エレクトリカル・ジャパン」では電力に関する膨大なデータが分かりやすく可視化されているとのことなので、実際にアクセスして発電所の分布状況や電力需給状況について調べてみました。 エレクトリカル・ジャパン - 発電所マップと夜景マップから考える日本の電力問題 | 東日本大震災アーカイブ - 国立情報学研究所 http://agora.ex.nii.ac.jp/earthquake/201103-eastjapan/energy/ele

「百聞は一見にしかず」ということわざもあるように、どんなに丁寧に説明されても分からなかったものが一枚の画像を見るだけで理解できることは多いものです。ソフトウェア開発プラットフォームのGitHubで、テキストから自動でグラフを生成してくれるライブラリ「Mermaid」が公式にサポートされ、利用可能になったとアナウンスが行われています。 Include diagrams in your Markdown files with Mermaid | The GitHub Blog https://github.blog/2022-02-14-include-diagrams-markdown-files-mermaid/ GitHubはプログラマーが利用するサイトということでテキスト重視の設計になっており、これまで視覚的な説明を行うには画像を埋め込む必要がありました。今後はMermaidを利用する

オープンソースライセンスで提供される命令セットアーキテクチャの「RISC-V」の標準化団体であるRISC-V Internationalが、新たにRISC-Vのベクトル仕様とハイパーバイザー仕様、スカラー暗号化機能について40個の拡張仕様を含む15個の新仕様を承認したと発表しました。今回承認された新仕様は、人工知能(AI)・機械学習・モノのインターネット(IoT)・自動運転車・データセンター向けのアプリケーション開発者に新たな可能性をもたらすと述べられています。 RISC-V International Ratifies 15 New Specifications, Opening Up New Possibilities for RISC-V Designs - RISC-V International https://riscv.org/announcements/2021/12/ri

現代のデータベースには設定可能な項目が数百単位で存在しており、その全てを適切に設定して最高のパフォーマンスを導き出すのは並大抵のことではありません。そうした人間には難しいチューニングをデータベースの使用状況を把握して自動で行ってくれるサービスが「OtterTune」です。 OtterTune - Database optimization. On autopilot. | OtterTune.com https://ottertune.com/ OtterTuneを使う時に特殊なソフトウェアのインストールやコードの変更は不要で、OtterTuneをデータベースに接続して何を目標にするかを選べばOK。目標には例えばクエリパフォーマンスやコストなどを設定可能です。接続が完了すると自動で接続時点での設定や統計情報を読み取り始めます。このとき、テーブル情報やクエリなどデータベースの中身に関する情報

By Sergey Galyonkin ソフトウェア開発企業・Simple Threadの創設者であるジャスティン・エセリッジ氏が、ソフトウェアエンジニアとして20年活動した経験を基に、学習において重要なポイントやコーディングにおいて意識するべきポイントなどを20個にまとめて公開しています。 20 Things I've Learned in my 20 Years as a Software Engineer - Simple Thread https://www.simplethread.com/20-things-ive-learned-in-my-20-years-as-a-software-engineer/ ◆1：自分がまだ多くを知らないことを自覚する エセリッジ氏は、たとえ何十年間ソフトウェアエンジニアとして働いたとしても、それぞれのエンジニアが持つ知識には違いがあり、他のソ