みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
Llama 3.2 の使い方｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Llama can now see and run on your device - welcome Llama 3.2 1. Llama 3.2 Vision 11B・90B1-1. Llama 3.2 Vision 11B・90B「Llama 3.2 Vision 11B・90B」は、Metaがリリースした最も強力なオープンマルチモーダルモデルです。画像+テキストのプロンプトでは英語のみ、テキストのみのプロンプトでは英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポートしています。 コンテキスト長は128kトークンで、画像を含む可能性のある複数ターンの会話が可能です。ただし、モデルは単一の画像に注目する場合に最適に機能するため、transformers実装では入力で提供された最後の画像のみに注
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
独断と偏見でまとめる2024年10月現在ゼロから学んで今から生成モデルをコーディングできるために必要な知識集 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書
Nintendo Switch 2のデザインやスペック判明。8インチ画面や背面ボタンと12GBのLPDDR5Xを搭載 任天堂では現行Switchの後継モデルとして通称『Switch 2』の投入を計画しており、リークされている内容としては現行と同じくNVIDIA製チップセットを採用し、CPUには8コアのArm Cortex-A78cを内蔵し、1536コアのCUDAコアを内蔵したAmpereアーキテクチャーベースのGPUコアが内蔵されると言われています。そんなSwitch 2ですが、中国の掲示板などで本体やコントローラーの設計図（CAD）やコントローラーの一部部品写真に加え、各種スペック情報など大規模なリークが登場しました。 本体デザイン：現行Switchから画面サイズは8インチに大型化 本体パーツ 本体 上Switch 2、下現行Switch 本体上面 本体底面 本体デザインは現行Switc
GeForce RTX 5070 の一部スペックがリーク。2025年1月発表予定に 2024 10/10 GeForce RTX 5070 はVRAM 12GBでCUDAコアは RTX 4070 SUPER以下に。2025年1月に発表 NVIDIAはGeForce RTX 5000シリーズを2025年1月に開催されるCES 2025で発表する見込みで、当初のリークではハイエンドモデルのRTX 5090とRTX 5080のみの発表が予想されていました。しかし、どうやらNVIDIAはアッパーミドルレンジモデルにあたるRTX 5070も発表する見込みで、今回このRTX 5070のスペックに関するリーク情報が登場しました。 Wccftechの情報筋によると、NVIDIAはCES 2025でRTX 5090とRTX 5080に加え、RTX 5070も発表する計画です。GeForce RTX 3000
CogVideoXのLoRAファインチューニングを行います。 使用したデータは、前回作成した動画からPixtral12Bでキャプションを得るプログラムで作ったデータセットです。 もとにしたのは、弊社共同創業者の清水亮のYouTube番組「さすらい魂」のフッテージです。以下のようなイメージの動画です。 これをLoRAファインチューニングしたところ、以下のような動画が生成できました。プロンプトは「footage of shi3z man.a shi3z man. A man is walking at street of Europe.」です。 ヨーロッパの街並み、胸につけたピンマイク、顎髭、人種などがプロンプトなしで再現されているのがわかります。静止画のファインチューニングは20枚程度の画像でも可能ですが、動画のファインチューニングの場合、どこまで画像を用意すべきか、また、プロンプトをどのよ
はじめに GMO NIKKOの吉岡です。 前回の記事ではPhi-3-MediumをGPUで動かしてみましたが、今回はもう一つの気になるモデル、Phi-3-visionを紹介します。 新しいバージョン3.5が公開されているので、こちらを試してみます。 Phi-3.5-visionは画像を読み取り、質問から結果を返すLLMとなっています。 サーバー構成・準備 前回の記事でサーバー構成や準備を紹介したので、こちらを参照ください。 LLM LLM：https://huggingface.co/microsoft/Phi-3.5-vision-instruct 4.15B 今回は画像を読み取り結果を返してくれるPhi-3.5-visionを使います。 git clone フォルダを作成し、huggingfaceからcloneします。 大きなファイルがあるため、git lfsが必要です。 mkdir
3つの要点 ✔️ TransformerモデルのMLP層をKolmogorov-Arnold Network（KAN）に置き換えた「Kolmogorov–Arnold Transformer（KAT）」を提案 ✔️ 合理関数とグループ化されたKAN層を採用し、計算効率と精度を向上 ✔️ 画像分類や物体検出などで優れたパフォーマンスを示した Kolmogorov-Arnold Transformer written by Xingyi Yang, Xinchao Wang (Submitted on 16 Sep 2024) Comments: Code: this https URL Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computer Vision and Pattern Recogni
キャラクター付けを目的としたファインチューニング-ローカルLLMの底力 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 こんにちわ。とみーです。皆様いかがお過ごしでしょうか？ 今回色々ローカルLLMの活用法を模索する中で、やっぱファインチューニングも必要だということで取り組んでいたりします。 その内容について、知った内容等をまとめてみました。 RAGはやっぱり便利だ-この技術の活用法を模索中 実は現在、社内情報を使ったRAG(Retrieval Augmented Generation)向けチャットをさらに良いものにするためにどういう対応が必要かを調べて回ったりしています。これまでの投稿を見ていただけ
AIでディープフェイクを作るFaceFusionのインストールと使い方とNSFWフィルターの解除方法2024-06-30 FaceFusionとは？ いわゆるDeepFakeというのが作れるやつです。 トムブラウンの漫才でみちおの顔がトム・クルーズになってたりするあれが作れるやつです。 https://github.com/facefusion/facefusion 今回はWindowsでの導入方法を公式の説明を参考に確認していきます。 https://docs.facefusion.io/installation すべてコマンドプロンプト上で実行すればよいです。 必要なツールのインストール Git winget install -e --id Git.Git Conda winget install -e --id Anaconda.Miniconda3 --override "/Add
テキストプロンプトのみで、思い通りの画像を生成するのは、実は、結構難しい作業だったりします。 この解決策の模索として、とにかく多数の画像を生成して、その中から、イメージにマッチするものを選ぶという作業を試してみました。 1 はじめに 製造ビジネステクノロジー部の平内（SIN）です。 テキストから画像が生成できるAIは、イメージを言葉で伝えるだけで、高品質な画像が生成できることから、様々なシーンでの活用が検討されていると思います。 しかし、テキストプロンプトのみで、思い通りの画像を生成するのは、実は、結構難しい作業だったりします。「なかなか、思った通りの絵にならない」というところです。 そして、その解決策の１つが、とにかく多数の画像を生成して、その中から、イメージにマッチするものを選ぶというものです。 今回は、Stability AIの SDXL Turboを使用して、この作業を試してみまし
![[SDXL Turbo] 爆速画像生成AIで柴犬ジェネレーターを作ってみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/edd60cd5dfb39c91b3768db9e32cfbf97edf48c8/height=288;version=1;width=512/https%3A%2F%2Fdevio2024-media.developers.io%2Fimage%2Fupload%2Fv1728065979%2Fuser-gen-eyecatch%2Fatthnqkssrhtihoopg9o.jpg)
NVIDIA GeForce RTX 5090のスペックがリーク。CUDAコアを21760と32GBのGDDR7を搭載。消費電力は600Wに達する見込み NVIDIAは現行のGeForce RTX 4000シリーズの後継モデルであるGeForce RTX 5000シリーズを開発中で、2025年初旬にはハイエンドモデルのGeForce RTX 5090とRTX 5080が発表されると言われています。実績があるリーカーから最上位モデルのGeForce RTX 5090に関するコア数やメモリー、消費電力などの主要なスペックのリーク情報が登場しました。 GeForce RTX 5090 PG144/145-SKU30 GB202-300-A1 21760FP32 512-bit GDDR7 32G 600W — kopite7kimi (@kopite7kimi) September 26, 20
Large Text Compression Benchmark Matt Mahoney Last update: Sept 19, 2024. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compress
AI人材育成、教育の「民主化」を目指し、OpenAI・テスラの元AIエンジニアがAI学習スタートアップ「Eureka Labs」を設立 | AMP[アンプ] - ビジネスインスピレーションメディア
OpenAIとテスラの元AIエンジニアとして知られるアンドレイ・カーパシー氏が、新たなAI学習スタートアップ「Eureka Labs」を設立したことが、7月に明らかになった。 Eureka Labsが目指すのは、新しいタイプの学校。AIネイティブな学校だ。教師である人間がコース教材を作成。教師と共に働き、教材を通して、学生を指導するAIティーチングアシスタントを作成する。「教師とAIが共生する」教育環境を提供する。 市場調査を行うザ・マーケット・リサーチ・カンパニー社によれば、教育におけるAIの市場規模は近年飛躍的に拡大しており、2023年の39億9,000万米ドル（約5,900億円）から2024年には55億7,000万米ドル（約82億円）に、年平均成長率（CAGR）39.7%で成長する見込みだ。現在、教育ゲーム、適応型学習プラットフォーム、チャットボット、個別指導システムなどを通して、A
![AI人材育成、教育の「民主化」を目指し、OpenAI・テスラの元AIエンジニアがAI学習スタートアップ「Eureka Labs」を設立 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/3468477f8a7b501588078bc4d3b1aa288e975a6d/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F08%2Fimage2-3.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac やめて Linux PC を自作した - IT戦記
Nintendo Switch 2のデザインやスペック判明。8インチ画面や背面ボタンと12GBのLPDDR5Xを搭載
GeForce RTX 5070 の一部スペックがリーク。2025年1月発表予定に
CogVideoXをシングルGPUでLoRAファインチューニングする
【Phi-3.5-vision】ローカルLLMで画像の内容について答える
MLPの代わりにKolmogorov-Arnold Network（KAN）を導入してモデルの表現力と性能を向上
AIでディープフェイクを作るFaceFusionのインストールと使い方とNSFWフィルターの解除方法
[SDXL Turbo] 爆速画像生成AIで柴犬ジェネレーターを作ってみました | DevelopersIO
NVIDIA GeForce RTX 5090のスペックがリーク。CUDAコア21760と32GBのGDDR7搭載でTDPが600Wのモンスタースペックに
Large Text Compression Benchmark