以下の記事が面白かったので、簡単にまとめました。 ・Llama 3.2: Revolutionizing edge AI and vision with open, customizable models 1. Llama 3.2「Llama 3.2 11B・90B」は、チャートやグラフを含むドキュメントレベルの理解、画像キャプション、自然言語の説明に基づいて画像内のオブジェクトの方向を正確に特定するなど、画像推論のユースケースをサポートします。 「Llama 3.2 1B・3B」は、多言語テキスト生成とツール呼び出し機能に非常に優れています。これらのモデルにより、開発者は、データがデバイスから外に出ることのない強力なプライバシーを備えた、パーソナライズされたオンデバイスエージェントアプリケーションを構築できます。 2. モデル評価「Llama 3.2 11B・90B」の視覚モデルは、画像

「Apple Intelligence」の機能をまとめました。 ・Apple Intelligence - Apple Developer 1. Apple Intelligence「Apple Intelligence」は、iPhone、iPad、Macに強力な生成モデルを組み込み、ユーザーのコミュニケーション、作業、自己表現をサポートするパーソナルインテリジェンスシステムです。これら「Apple Intelligence」の機能をアプリに組み込むことができます。 2. Writing Tools「Writing Tools」はシステム全体で利用でき、ユーザーがテキストを書き直したり、校正したり、要約したりするのに役立ちます。「TextField」をレンダリングするために標準のUIフレームワークのいずれかを使用している場合、アプリは自動的に「Writing Tools」を使用できるように

以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5

以下の記事が面白かったので、簡単にまとめました。 ・Gemma: Introducing new state-of-the-art open models 1. Gemma「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。 「Gemma」は本日より世界中で利用可能になります。 知っておくべき重要な詳細は次のとおりです。 ・「Gemma 2B」「Gemma 7B」の2つのサイズの

2. カスタムCopilotの作成手順「カスタムCopilot」の作成手順は、次のとおりです。 (1) 「Microsoft Copilot Studio」のサイトを開き、「try free」からログイン。 (2) 「コパイロットを作成する」の「新しいコパイロット」をクリック。 (3) 以下のように設定して、作成ボタンを押す。 「日本語」は生成AI機能に未対応だったので「英語」、会話を強化するためのURLは「OpenAIのURL」にしました。 ・コパイロットの名前 : MyCopilot ・コパイロットの話す言語 : 英語 ・生成型の回答で会話を強化する : https://openai.com/ (4) 「Copilotのテスト」でメッセージを入力して動作確認。 「GPT-4Vについて教えてください。」の質問に、ソース付きで回答してくれました。 (5) 公開タブの公開ボタンでCopilo

「Windows Copilot」の使い方をかるくまとめました。 ・Welcome to Copilot in Windows 1. Windows Copilot「Windows Copilot」は「Windows 11」に搭載された人工知能ツールであり、「Bing Chat」と連携して、Windowsにまつわる各種作業をサポートします。「Windows Update」で最新版 (22H2以降) にアップデートすることで、利用できるようになります。 2. Windows Copilot の使い方「Windows Copilot」の使い方は、次のとおりです。 (1) 「タスクバーのCopilotアイコンをクリック」または「Win+C」で起動。 サインイン中のMicrosoftアカウントを使用するため、Windowsにローカルアカウントでサインインしている場合は利用できません。 (2) 会話

「Google Colab」でLINEの「japanese-large-lm」を試したので、まとめました。 1. japanese-large-lm「japanese-large-lm」は、「LINE」が開発した36億パラメータの日本語LLMです。 2. japanese-large-lmのモデル「japanese-large-lm」では、次の3種類のモデルが提供されています。 ・line-corporation/japanese-large-lm-3.6b : ベースモデル ・line-corporation/japanese-large-lm-3.6b-instruction-sft : 指示モデル ・line-corporation/japanese-large-lm-1.7b : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabの

1. LlamaIndex 0.7.0「LlamaIndex 0.7.0」では、下位レベルでモジュール性 / カスタマイズ性を改善し、データに対するLLMアプリケーションのボトムアップ開発を可能にするというテーマを継続しています。LLM、レスポンスシンセサイザー、ドキュメントとノードオブジェクトなど、主要な抽象化の使用をさらに制御できるようになりました。 ・LLM抽象化のスタンドアロン化 元はLangChainのクラスを利用していました。 ・応答合成モジュールのカスタマイズ 応答合成モジュールとプロンプトの定型文を分離して、カスタマイズしやすくました。 ・メタデータ管理機能 ドキュメント / ノードオブジェクトにメタデータ管理機能が追加されました。 2. LLM抽象化のスタンドアロン化2-1. LLM抽象化のスタンドアロン化LLM抽象化のスタンドアロン化しました。OpenAI、Huggin

「Google Colab」で「RWKV」を試したので、まとめました。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「プレミアム」を選択。 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work",

1. ChatGPTプラグインの作成手順「ChatGPTプラグイン」の作成手順は、次のとおりです。 (1) APIの実装 (2) マニフェストファイルの作成 (3) OpenAPIドキュメントの作成 2. マニフェストファイルの作成2-1. マニフェストファイルの基本構成「マニフェストファイル」は、「ChatGPTプラグイン」のメタデータを記述するファイルです。APIのドメインの「/.well-known/ai-plugin.json」でホストします。 「マニフェストファイル」の基本構成は、次のとおりです。 { "schema_version": "v1", "name_for_human": "TODO Plugin", "name_for_model": "todo", "description_for_human": "Plugin for managing a TODO list.

「AI・人工知能EXPO 2021 【春】」の「ギリア」ブースにて、「Unity ML-Agents」 と「toio」によるサッカーロボットの強化学習を展示しました。 動画を撮ってくれた人がいました。ありがとうございます。 ソニー、強化学習により自律的に動く8台のサッカーロボットを展示。Unity-MLで学習した後、iphone単体で推論を行うらしい。8台の自律ロボット、すごい。 個人的にAI Expoの中で最も面白い展示だった。#AI #Expo #Sony #強化学習 pic.twitter.com/OJRBSnI8Ta — S Choe (@wireless_power) April 9, 2021 「toio」はiPhoneでBluetooth経由で制御されており、1台のiPhoneで8台分の「toio」の推論を行っています。 今回は、「Unity ML-Agents」と「toio

「AI・人工知能EXPO 2020 【秋】」の「ギリア」ブースにて、「Stable Baselines」 と「Raspberry Pi」によるホッケーロボットの強化学習を展示しました。 Webカメラの映像を入力として使って、「Raspberry Pi」上で「Stable Baselines」による推論を行い、ロボットアームの操作して、ホッケーロボットの対戦を実現させています。 今回は、「Stable Baselines」と「Raspberry Pi」によるホッケーロボットの強化学習の作成の流れを紹介します。 【ステップ1】 ロボットアームとホッケー台の選定はじめに、ロボットアームをいろいろ試してみて、KHRシリーズで有名な近藤科学の「KXR-A5」を選びましました。ホッケーするのに十分なサーボ速度、長時間動く耐久性、1台38,000円という値段の安さが決め手になりました。

以下の記事を参考に書いてます。 ・Deep Double Descent 1. 要約 「二重降下現象」は、「CNN」「ResNet」「Transformer」で発生します。パフォーマンスが最初に向上し、次に悪化し、次に「モデルサイズ」「データサイズ」「訓練時間」を増加すると再び向上します。この影響は、「正則化」により回避できることがよくあります。この振る舞いはかなり普遍的であるように見えますが、なぜそれが起こるのかはまだ完全には理解されていません。 2. はじめに「CNN」「ResNet」「Transformer」などの最新の深層学習モデルは、「Early Stopping」または「正則化」を使用しない場合、「二重降下現象」が発生します。モデルが訓練セットに適合できない「臨界状態」で発生します。ニューラルネットワークの「モデルサイズ」を増やすと、テストエラーは最初に減少、増加し、モデルが訓