🚀 LLaVA-1.5 is out! Achieving SoTA on 11 benchmarks, with simple mods to original LLaVA! Utilizes merely 1.2M public data, trains in ~1 day on a single 8-A100 node, and surpasses methods that use billion-scale data. 🔗https://t.co/y0kG0WZBVa 🧵1/5 pic.twitter.com/kMz0LTk63R — Haotian Liu (@imhaotian) October 6, 2023 LLaVA-1.5は、今まで公開されているV&Lモデルの中で、初めて以下のスクリーンショットからそれぞれのキャラの順位を正しく答えることができました。 「ウマ娘」

出典：官報（※クリックorタップすると拡大できます）日本を代表するユニコーン企業で、自動運転関連技術の開発も手掛けるAI（人工知能）開発企業の株式会社Preferred Networks（本社：東京都千代田区／代表取締役CEO：西川徹）。同社の第9期決算公告（2022年2月〜2023年1月）が、このほど官報に掲載された。 第9期は売上高が76億5,500万円、当期純損失は30億6,600万円であった。 これと同じタイミングで、同社は新設分割により、生成AI事業に関する新子会社「Preferred Elements」を2023年11月1日に設立することを発表した。2021年11月には、自律移動ロボット事業を手掛ける「Preferred Robotics」も新設分割により設立している。 過去の新設分割の経緯があるため、同社の決算を過去の決算と単純に比較はしにくいが、参考のために記載すると、第7

この記事で行なっていること 凄すぎて”ズキズキワクワク"が止まりません はじめに ついこの間、ChatGPTは2022年1月までの情報を学習した、というい発表がありましたが、さらに今回のアップデートで 画像解析機能(GPT-4V) が追加され、アップロードした画像を使った新たなタスクの実行が可能になってます。そして、それが凄すぎます 衝撃的な投稿 まずはこちらの衝撃的な投稿をご覧ください。 動画は自転車の画像と共に「サドルを下げる手助けをしてください」で始まります。 ChatGPTからレコメンドが返ってきますが、それに対して、質問者は追加で ポイントになりそうな部分を拡大してアップロード マニュアルと自分の持っているツールの写真もアップロード します。 その結果、その質問者は、サドルを下げることに成功！そんな内容です。 自分の環境で、画像解析機能(GPT-4V)を使えるのか？ さて、画像解

高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。 とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう >>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS] ... 樋口 真嗣（ひぐち しんじ、1965年9月22日 - ）は、日本の特技監督・映画監督・映像作家・装幀家。 ... ガイナックス、GONZO、Motor/lieZを経てオーバーロード所属。アニメ特撮アーカイブ機構副理事長や、IT企業のユビキタスエンターテインメントにおいてチーフ・ビジョナリー・オフィサーも務める。 ... 愛称は「シンちゃん」（由来などは#人物像で詳述）。妻は、スタジオジブリでのハーモニー処理をしている高屋

この連載では、開発者の皆様がシステム・アーキテクチャやアプリケーション・コードをより洗練させるのに役立つデータベース・マネジメント・システム（DBMS）の基本を振り返り、実装に合った技術の組み合わせを解説します。今回は、近年増えている、データベース内で機械学習処理を行う実装に焦点をあて、なぜデータベース内に機械学習が実装されるのか、そしてどのように実装されているのかを紹介します。 はじめに この連載は、第1回に紹介したDBMSの3階層構造における「アーキテクチャと実装」についての技術の紹介から始まり、中間の階層である「データ・モデルとデータ型」についてお伝えしてきました。データ・モデルとデータ型に関しては、JSONをDBMSで扱う方法やグラフデータモデルとグラフDBMS、解釈や取り回しに癖がある空間データについて取り上げました。 今回は、データの活用方法の１つである機械学習／AIとデータベ

はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K

Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリースW&B Fully Connected 2023カンファレンスとAI Expo2023秋にて配布予定 Weights & Biases Japan株式会社（以下、W&B Japan）は本日、大規模言語モデル（LLM）の開発手法にフォーカスするホワイトペーパーの第2弾となる「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」を公開しました。LLM導入を検討している企業向けに、自社の保持するリソースやビジネスモデルに合わせたLLM開発手法を選択するための実践的ガイドとなっており、第1弾の「LLMをゼロからトレーニングするためのベストプラクティス」を補完する形で、既存のLLMモデルを拡張する形で自社用途に適応する手法について解説しています。本ホワイトペーパーの印刷済み冊子

どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第14回目は、3Dモデル生成のための高速化手法、画像を含むネット記事を量産できる生成AIなど、5つの論文をまとめました。 生成AI論文ピックアップ画像1枚から高速で3Dモデルを生成「DreamGaussian」　バイドゥ含む研究者らが開発 OpenAI「CLIP」を真似て超えた、文章と画像を理解するオープンな手法「MetaCLIP」　Meta含む研究者らが開発 ネット記事を量産する生成AI「InternLM-XComposer」　一文入力だけで画像とテキストが混じった記事を自動生成 テキストから動画を効率よく高品質に生成する新モデル「Show-1」　シンガポールの研究

昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ

今回も導入方法などは説明しないので、まだ環境が用意できていない方は本家リポジトリのREADMEを参考にしてください。 オプション下記のコードを実行することで設定ファイルを開きます。これから説明するオプションは、このファイルかpythonコードに記載してください。 interpreter --config# config.yaml system_message: | You are Open Interpreter, a world-class programmer that can complete any goal by executing code. First, write a plan. **Always recap the plan between each code block** (you have extreme short-term memory loss, so you

ChatGPTの事前学習データの使用料をめぐって、ニューヨーク・タイムズがOpenAIを訴えました。これは、情報の価値がどのようにして生じるかという問題の基本に関わるものであり、生成AIの将来に大きな影響を与えます。しかし、簡単に答えが出るものではありません。 裁判の結果次第ではChatGPTが成り立たない 米紙ニューヨーク・タイムズは、ChatGPTの開発者であるOpenAIに対して、事前学習のデータの利用に関して支払いを求める訴訟を起こしました。 この問題は、「情報や知識に関する社会的制度をどう構築するか？」という問題の本質に関わっており、大変重要です。 最初にこれまでの経緯を見ると、ニューヨーク・タイムズはその記事を無断でAIの訓練に用いることを禁止しています。したがって、OpenAIが事前学習でニューヨーク・タイムスの記事を使っていないと証明できない限り、罰金を言い渡されることにな

はじめに こんにちは。Kagglerの 中間 と 若月 です。業務では主に人材領域でのレコメンドシステムの改善に取り組んでいます。 この記事では、レコメンドシステムにTwo-Towerモデルと近似最近傍探索による候補生成ロジックを導入することで、精度とコストを改善することに成功したので、その取り組みについて紹介します。 背景 導入したロジックについて説明する前に、まず既存のレコメンドシステムについて簡単に説明します。 既存のレコメンドシステムでは、ユーザとアイテムについてルールベースによる候補生成を行った後、機械学習モデルを用いてスコアを付与し、スコア順にユーザに推薦するアイテムを選択していました。 しかし、ルールベースによる候補生成はベースラインとしてはよいものの、性能改善には限界があり、ルールベースが複雑になればなるほど計算コストもかかるようになっていきます。 そこで、性能改善がしやす

9/28の #日本CTO協会 さんのイベントで登壇した資料を公開しました。 「ChatGPTの10ヶ月と開発トレンドの現在地」 開発のトレンドの最新情報をざっくり纏めています。 ・Prompt Engineering開発の現在地 ・RAG開発の現在地 ・Plugin開発の現在地 ・GPT-Vの登場と生成AI時代のこれからについて やや開発者寄りな内容なので、基礎を知りたい場合はAzure OpenAI大全も併せてご確認を。 (こっちも近々最新化します…) https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan

関連研究 LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト 推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになった メタ認知をさせてLLMの能力を上げる手法「メタ認知プロンプティング」 従来の課題と背景 LLMの推論能力の限界 大規模言語モデル（LLM）は、短い質問や単純なタスクに対してはゼロショットで高い性能を発揮しますが、ステップバイステップの推論が必要な長い質問や複雑なタスクに対しては、通常はその性能に限界があります。複数の前提条件や仮定に基づいて論理的に推論する必要がある場合、LLMはしばしば不正確な結論に至ることがあります。 CoTフレームワークの限界と利点 Chain-of-Thought（CoT）フレームワークは、このような複雑な問題に対する一つの解決策として提案され

※当noteで掲載しているワークフローについては各記事公開時点のComfyUI環境で動作を確認しています。その後のComfyUI/カスタムノードのアップデートにより最新の環境では不具合が生じる可能性があるので、あらかじめご了承ください。 このnoteは、いま注目されているAI動画生成ツール「AnimateDiff」のハウツーをまとめた初心者ガイドです。 「AnimateDiff」は2023年7月に公開されたオープンソースの技術で、誰でも無償で利用することができます。AnimateDiffについては以下の記事が参考になります。 導入編1. ComfyUI のすすめ「AnimateDiff」は、単体では細かなコントロールが難しいため、現時点では以下のパッケージのどれかを選んで使うことが多いです。 AnimateDiff-CLI-Prompt-Travel コマンドラインでAnimateDiff

米Amazonは9月25日（現地時間）、米AI企業のAnthropicと生成AIを推進するための戦略的提携を結び、最大40億ドルを投資すると発表した。少数株主権を取得する。 Anthropicは、米OpenAIの元エンジニアが2021年に創業した非公開企業。米Google、米Zoom、韓国通信大手のSK Telecomなどが出資している。 7月にはOpenAIの「ChatGPT」と競合するテキスト生成AIモデル「Claude」の新版「Claude 2」をリリースした。 提携の一環として、Anthropicは自社のワークロードの主要なクラウドプロバイダーとしてAmazon傘下のAWSを利用する。AWSの独自AIトレーニングチップ、TrainiumとInferentiaを使って将来の基盤モデルの開発やトレーニングを行う。両社はこれらの独自チップの開発でも協力する。 また、AhthropicはA

株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、以下、PFN）は、開発した130億パラメータの事前学習済み大規模言語モデル PLaMo™-13B（Preferred Language Model、プラモ）を、研究・商用で利用可能なオープンソースソフトウェア（OSS）ライセンスで本日公開（https://huggingface.co/pfnet/plamo-13b）しました。本モデルは、現在公開されている同規模のパラメータ数の事前学習済み言語モデルと比べ、大規模言語モデルのベンチマーク評価（lm-evaluation-harness）において、日英２言語をあわせた能力で世界トップレベルの高い性能を示しています。 日英2言語での性能比較 （ベンチマークスコアの偏差値の平均を各言語のスコアとしてプロット） (*) より正しい比較のため、公開