C++ のパッケージマネージャーの選択メモ( conan vs. vcpkg vs. Hunter on Windows and Ubuntu ): C++ 実装がサブプロジェクトとして内包されるクロスプラットフォームアプリのリポジトリーの場合 - C++ ときどき ごはん、わりとてぃーぶれいく☆
タイトルが少しややこしいので最初に整理します。 このメモは: C++ のパッケージマネージャーの選択のはなし ただし: アプリはクロスプラットフォーム ( このメモでの具体例は Windows-10 & Ubuntu-19.04 ) アプリ全体(=このメモでは「ソリューション」とします)はいくつかの構成部品(=このメモでは「プロジェクト」とします)に分けて作られる プロジェクトの1つ以上に C++ を採用したい そのプロジェクト単位で C++ のライブラリーを管理できるパッケージマネージャーを導入したい → どうするのが楽そうかな のメモです。 選択肢と大雑把な検討 conan https://conan.io/ クロスプラットフォーム対応の C++ のパッケージマネージャーが欲しいの悩みに答えてくれる定番。 CMake でごにょごにょする vcpkg https://github.com
Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log
はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語特化 InstructGPT を使った。 GPU on WSL 基本的に この手順 に従って進めれば WSL で GPU が使えるようになる。具体的には、Windows 11 へ WSL 対応 NVIDIA ドライバのインストール、WSL 内で CUDA Toolkit インストールの 2 点。 NVIDIA ドライバのインストールは NVIDIA のドライバダウンロードサイトで Windows 11
CUDAによる局所特徴量計算の高速化とソースコード公開 - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 はじめに こんにちは、エンジニアの高木です。 私は現在、adaskitという社内の自動運転関連のオープンソースプロジェクトに携わっており、プロジェクトの成果としてこれまでlibSGMやcuda-bundle-adjustmentなどを公開しています。 今回はVisual SLAMやSfM(Structure from Motion)で行われる局所特徴量計算について、CUDAによる高速化に取り組んだ話を紹介します。また、そのソースコードをcuda-efficient-featuresという名前でGitHubに公開しました。 fixstars/cuda-efficient-features 背景 局所特徴量計算 Visual SLAMやSfMでは、2つの視点間の相対的なカメラ姿勢を推定する
目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは！カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていただいている村尾(@MURA_omura)です。 私は高専の専攻科生で、現在GANsを用いた音声生成に関する研究に取り組んでいます。 高専といえばYouTubeで100万人の登録者がいるかっつーさんや、生活に技術を取り込むのが上手なラムダ技術部さんが有名です。 1年半ほど前からKey作品にはまっていて、この間Summer Pockets REFLECTION BLUEを購入しました！ Kye作品は泣ゲーで知られていて、 「CLANNADは人生」 というフレ
西川善司の3DGE：GeForce RTX 30シリーズのアーキテクチャを探る。CUDA Coreの増量とRT Coreの高性能化に注目だ
西川善司の3DGE：GeForce RTX 30シリーズのアーキテクチャを探る。CUDA Coreの増量とRT Coreの高性能化に注目だ ライター：西川善司 去る9月2日，NVIDIAは，オンラインイベント「GeForce Special Event」を行い，新世代GPU「GeForce RTX 30」シリーズを発表した。発表となったGPU製品は「GeForce RTX 3090」「GeForce RTX 3080」「GeForce RTX 3070」の3種類で，2018年8月に発表となった「GeForce RTX 20」シリーズの後継製品となる。 本稿では，GeForce RTX 30シリーズのアーキテクチャについて詳しく解説してみよう。 Ampere世代のGPUアーキテクチャを検証する Ampere初のGPUである「GA100」を搭載するモジュール 今回発表となったGeForce R
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ
ウマ娘はレース場で「馬」となる？（darknet・ディープラーニング） - えいあーるれいの技術日記
きっかけはちょっと余計な疑問でした。 デビットカードをようやく作ったことでサブスクやネット注文が容易にできるようになり動画をサブスクし始めたのが一ヶ月前。 いろいろ探して番組を視聴しているうちに年齢や性別の関係からかオススメに「ウマ娘」がでてきて視聴し始めたのがこの作品を知るきっかけになりました。 ゲームベースのアニメで好きなものと言ったら、ポケモンとかイナズマイレブン（無印）くらいで、実は今年の秋まで1期12話のアニメをほとんど見ていませんでした。 「ウマ娘」。名前は耳にしたことあるけど馬って言われても分からんしな〜〜。でもなんか人気らしいしな〜〜と思いつつ1期を見たらとても良かった。 個性豊かな可愛らしいキャラクターたちがレース場を爆走するというギャップ、憧れの先輩を目指して（というよりも仲間）とともに練習に励みたとえ挫折しても仲間たちと協力して乗り越えていくという誰でも没入できるスト
こんにちは AIチームの戸田です 今回は日本語NLPライブラリであるGiNZAのv5から実装されたTransformerモデルによる固有表現抽出を試します。 固有表現抽出とは、入力となる自然文から地名や製品名などの固有名詞を抽出するタスクです。今回固有表現抽出に使用するデータセットとして、ストックマーク株式会社が作成したWikipediaを用いた日本語の固有表現抽出データセットを使用します。また、Transformerモデルは処理に時間がかかるので、環境はGoogle ColaboratoryのGPU環境を利用しました。 事前準備 wgetを使ってデータセットをダウンロードします。 wget https://raw.githubusercontent.com/stockmarkteam/ner-wikipedia-dataset/main/ner.json 必要なpythonライブラリをダ
AI Labの尾崎です。 主に人間とロボットとのインタラクションに関する技術開発を担当しております。 さて、インタラクションといえば、ARやVRを始めとしたxRが巷で流行っていると思います[1]。たとえば、家具のCGオブジェクトを現実空間に重ねて表示[2]したり、VRゴーグルをかぶって仮想空間の物体をリズムに合わせて斬るゲーム[3]なんかがあります。 このxRではユーザ体験を向上させるために、物体や人体との距離などを測定することがあります。たとえば、AR上でオブジェクトが障害物に隠れる現象（オクルージョン）を再現するため、VR空間上に手を表示するため、空間を３Dモデルとして保存するために測定されます。 このときに役立つハードウェアがデプスセンサやLiDARなどと呼ばれる3Dセンサ（俗称）[4]になります。しかし、この3Dセンサはたくさん種類があり、それぞれどのような特性を持つのか私を含め知
NVIDIA は訓練済みモデルを公開している NVIDIA は最新のモデルの実装や、訓練済みモデルを公開しています。 カタログページ では、DeepLearning に限らず docker のコンテナなど分野問わず研究成果を公開していて見ていて楽しいです。 また、github の NVlabs では、実装が置いてあったりします。 今回は、この中から面白そうなもので、訓練済みモデルをダウンロードできるものを使って遊んでみたいと思います。 使うモデル NVlabs の中の FUNIT というものを使って遊びたいと思います。 pix2pix のような Image-to-Image Translation のモデルのようです。 犬を別の動物に変えるような画像を生成したりしています。 訓練では動物の顔を別の動物の顔に変換するような訓練をしていますが、自分の顔の画像を入力して自分の顔を別の動物に変えて
Note: This blog post is also available as a documentation page on Transformers. Large Language Models (LLMs) such as GPT3/4, Falcon, and LLama are rapidly advancing in their ability to tackle human-centric tasks, establishing themselves as essential tools in modern knowledge-based industries. Deploying these models in real-world tasks remains challenging, however: To exhibit near-human text unders
100fps超え画像生成StreamDiffusionのデモに飽きたら次に進もう。stremオブジェクトで動かすコツ公開｜めぐチャンネル
解説を論文執筆者でプロジェクトの代表でもある「あき先生」が解説してくださっているYuTubeもあります。論文の拾い読みもしていただいており、とても参考になりますので、ぜひご覧ください。（3時間と長いですが飛ばせるような、無駄な部分はありません） デモやサンプルコードも豊富にあるので、機能や性能を知りたい場合はそちらを動かしてください。大変興味深いデモもあります。アプリに組み込む場合もラッパーが準備されているのでそちらを使えば厄介なpipeやstreamオブジェクトの操作は必要ありません。しかし、性能を引きだしなが柔軟にアプリで使用するためには直接pipeやstreamを操作する方がよさそうです。この記事では後者のケースでStreamDiffusionを使用する時のコツについてこれまでにテストした手法を解説します。 環境構築Readmeに記述されているとおりに構築を進めます。デモやexamp
Nintendo Switch 2の暫定スペックがリーク。DLSS 3採用でスペック以上に高画質・高フレームレートでの動作が可能か | ニッチなPCゲーマーの環境構築Z
Nintendo Switchの次世代モデルとされるNintendo Switch 2 (仮称)の暫定スペックがリークされました。YouTubeチャンネルのGamingRedTechが報じました。 Nintendo Switch 2はパフォーマンスが大幅に向上するだけではなく、新しいテクノロジーが含まれる。Nintendo Switch 2について、複数の情報筋から得た最新の情報を共有したい。 Nintendo Switch 2のスペックは以下になるという。これらの情報が間違っている可能性もあるが、信憑性は高いはずだ。 Nintendo Switch 2 暫定スペック CPUは8コアのARM Cortex-A78GPUはNVIDIA Ampereアーキテクチャベースの12SM (1536CUDA換算)。一部、Ada Lovelaceの機能を備える12GB LPDDR5 128bitメモリク
私は2014年からiMac Retina 5Kディスプレイモデルを使用していました。 約5年経過して買い換えを検討し、Windows PCなども含めて散々迷った挙句、結局また2019年版のiMac 5Kモデルを購入しました。 この記事ではなぜまたiMacを購入したのか、なぜその構成にしたのか、などといったことについて書いています。 もちろん使ってみての感想も書いています。 Photo by Carl Heyerdahl. この写真のみ私が撮影したものではありません。この記事の他の写真は私が撮影したものです。 iMac 2014を5年使ってみてどうだったか iMac Retina 5K Late 2014（以下iMac 2014と表記）はMacではじめての5Kディスプレイモデルでしたが、当時私はMacBook Air + Cinama Display 20インチからの乗り換えだったこともあっ
前回は、WSL2からGPUが利用可能になったことを紹介したが（「Windows 10のWSL2からGPUが使えるようになった」）、今回はその続きとしてWSL2でGPUを使う設定を実際にしてみる。いくつか条件はあるものの、作業自体はそれほど難しくない。ただし、GPU利用といっても現時点では計算処理、特にNVIDIAのGPUを使った機械学習関係の処理が主な目的となるので、この分野に興味がないとせっかく設定しても使い道に困るかもしれない。 ここでは、NVIDIAのGPUを搭載したマシンに「CUDA on WSL」を、WSL2側にDockerなどをインストールして、NVIDIAが機械学習用に提供しているコンテナーを動かしている。いわゆるAI開発用の環境だが、これまで、Linuxをインストールしたマシンを用意するのが普通だった。しかし、CUDA on WSLを使えば、WindowsマシンのWSL2か
更新 2022/10/17 設定に間違いがあったので修正しました。 コメントくださった方ありがとうございます。 ある程度知識ある人向け わかんないことはググって （まあそういう人らは自分でやってそうだけどね 自己責任でどうぞ 細かいことは知らん これでPCが爆発しようがウイルスに感染しようが怖い人が来ようが世界から消されようが私の知るところではない そもそも NovelAIDiffusionだろうがWaifuDiffusionだろうが元はStableDiffusionってOSSのAIモデル。 その中でもNovelAIは独自に改良と賛否両論な例の学習データを駆使してずば抜けた精度を発揮した んで先日この独自のデータが見事に漏洩。5chはお祭り騒ぎだったね。。 NovelAIがどんな改善を加えて高精度なイラスト生成をしているのかについては下記 https://gigazine.net/news
Visual ChatGPTが誰でも使えるようになっていたので画像を生成してみた | DevelopersIO
はじめに 新規事業統括部Passregiチームの山本です。 最近、特に3月1日ChatGPTのAPIが公開されてから、AIを使ったチャットボットに関する話題が増えています。そんな中、ChatGPTを利用した、画像を対話的に生成したり説明させたりできる、Visual ChatGPTが公開されたので、早速動かしてみました。 Visual ChatGPTについて Visual ChatGPTは、クエリに関するプロンプトマネージャ介して、さまざまな画像のモデルとChatGPTを使用することで、画像を対話的に生成します。細かい内容は論文にゆずろうかと思います。 https://arxiv.org/abs/2303.04671 より これが実行できるソースコードが、つい先日（自分の知る限りだと3月9日に）githubで公開されました。当初、自分の持っているWindows機で実行してみたのですが、使用し
タイトル: GPUの力を解放するプログラマー 東京の繁華街、青山のオフィスビルに住むプログラマーの田中健太は、朝から晩までスクリーンと向き合いながら日々を過ごしていた。彼のデスクには、複数のモニターと、コードがびっしりと詰まったノートが並んでいる。 ある日、彼は新しいプロジェクトに取り組んでいた。タスクは、古いNAMPy（Non-Accelerated Matrix Processing）を使って計算する非効率的なループ処理を、自動で高効率なGPU対応コードに変換するプログラムを作成することだった。彼の目標は、GPUのパワーを最大限に引き出し、処理速度を劇的に向上させることだった。 彼の心には、過去の経験からくる焦燥感があった。NAMPyのループは、コードが複雑になり、処理が遅くなることが多かった。しかし、最近のGPU技術の進歩を受けて、彼はこれを利用して問題を解決する決意をした。 初めの
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。 サポートするモデルは、次のとおりです。 サポートする学習法は、次のとおりです。 サポートするデータセットは、次のとおりです。 事前学習データセット ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Wikipedia (en) ・Wikipedia (zh) ・Pile (en) ・SkyPile (zh) ・The Stack (en) ・StarCoder (en) SFTデータセット ・Stanford
Windows10のGPU環境でPyTorchやTensorFlowを利用したい。 そのためにはCUDAのcudnnのインストールが必要となる。 今回はWindows10とCUDAでPyTorchを使う準備について紹介する。 WindowsでCUDAを使う準備 PyTorchにしろTensorFlowにしろ、GPU環境で利用するにはCUDAの準備が必要だ。 WindowsでCUDAを使う準備としては以下の通り。
Requirement: This project require a Nvidia Card that can run CUDA. With a card with 4 vram, it should generate 256X512 images. 🎉 Attention! This version is highly outdated: 🎉 ✨Download the last update from Patreon.✨ 👉 https://www.patreon.com/DAINAPP 👈 In the Patreon version you can run: 512X512 with 4 VramUse upscaler Faster render with more schedulersUse img2imgUse inpaintingLoad other models
DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23
DockerがWebGPUを用いてGPUを抽象化、AI処理などGPUを使ったコンテナ化アプリのポータビリティを実現する技術を開発中。DockerCon 23 Docker社は米ロサンゼルスで10月3日と4日の2日間、年次イベントとして開催した「DockerCon 23」で、WebGPUを抽象化レイヤとすることで、コンテナ化されたGPUアプリケーションをポータブルにする技術を開発中であると明らかにしました。 この技術は2日目の基調講演の後半、Docker CTOであるJustin Cormack氏がOne more thingとして発表したものです。 GPUを用いたアプリケーションのポータビリティが課題に Dockerコンテナはポータビリティが大きな特長です。ノートPCからオンプレミスのサーバ、クラウド上の仮想マシンまで、簡単にDockerコンテナを移動し、そのまま実行できます。 Docke
西川善司の3DGE：IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた
西川善司の3DGE：IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた ライター：西川善司 既報のとおり，Intelは，単体GPU製品「Intel Arc」（以下，Arc）シリーズを発表した。 Intelが2020年に発表した「Iris Xe MAX」は，同社が，Intel 740（i740）をリリースした1998年以来，22年ぶりにリリースした単体GPU（Discrete GPU）だった。その進化版となるGPUが，今回のArcである。 発表イベント前に行われた技術説明会では，Arcに関する詳しい解説が行われたので，考察も交えて詳細に見ていきたい。 ArcシリーズはACM-G10とACM-G11の2種類が存在 Arcの開発コードネームは，もともと第2世代単体GPU（Discrete Graphics 2nd）の意味である「DG2」だったが（
NVIDIAは10月1日（現地時間）、Ampereアーキテクチャを採用した新型GPU「GeForce RTX 3070」搭載カードを10月29日に発売すると発表した。Founders Editionの価格は税別7万9980円となる。 GeForce RTX 3070は「GeForce RTX 2080Tiよりも高速」であることがウリで、9月1日の発表時に米国での想定販売価格は499ドル（約5万3000円）、10月中の発売がアナウンスされていた。 上位モデルのGeForce RTX 3080と同3090は9月に発売されたが、現在でも流通数が少なく店頭では入荷したそばから売れている状態が続いている。 GeForce RTX 3070の主なスペック CUDAコア：5888 ベースクロック：1.5GHz ブーストクロック：1.73GHz 標準メモリ容量：8GB GDDR6X メモリインタフェース：
使い方pip install -e . でインストール 上記のようなモデルを生成するには、次のノートブックを参照してください。: sample_text_to_3d.ipynb - テキスト プロンプトで条件付けされた 3D モデルのサンプル sample_image_to_3d.ipynb - 合成ビュー画像で調整された 3D モデルをサンプリングします encode_model.ipynb - 3D モデルまたはトリメッシュをロードし、マルチビュー レンダリングとポイント クラウドのバッチを作成し、それらを潜在的にエンコードして、レンダリングし直します。これを機能させるには、Blender バージョン 3.3.1 以降をインストールし、環境変数BLENDER_PATHを Blender 実行可能ファイルのパスに設定します。 テキストから3Dモデルを生成するimport torch fr
エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 - what we use（技術スタックデータベース）
エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 「エンジニアが技術的な意思決定に携わること」は、キャリアにおいて重要な意味を持ちます。特定の技術がどのような思想のもとに作られており、利点や欠点は何か。そして、その技術が自社の求めるニーズに合致しているかなど、複数の観点に基づき決断を下す必要があります。ひとたびその技術を導入すれば、長年にわたってメンテナンスし続けることも確定します。こうした経験を通じてエンジニアは多くのことを学び、成長するのです。 では、各企業で活躍する著名なエンジニアたちは、これまでどのような技術的な意思決定に携わってきたのでしょうか。今回はエムスリー株式会社のVPoEである河合俊典（ばんくし）さんに、キャリアのなかで印象に残る意思決定について聞きました。 エムスリーが目指すのは「全員CTOレベル
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
GeForce RTX 4060 TiとRTX 3060 Tiをゲーム50タイトルで性能比較した結果が登場。RTX 4060 Tiの冴えない性能が明白に NVIDIAのGeForce RTX 4060 Tiについては2023年5月末に発売されたものの、仕様面では先代のRTX 3060 Tiに対して劣る部分が多く、CUDAコアは1割減となる4352基、VRAM容量は据え置きの8GB、バス幅は半分の128-bitと残念な部分も多くなっています。一方でNVIDIAでは動作クロックの向上やL2キャッシュの増加によってパフォーマンスはRTX 3060 Tiを超えると発表はしていますが、価格もRTX 3060 Tiを大きく上回る69,800円で発売したため、日本では深夜販売に1人しか現れない他に、海外では発売日に入荷をしない量販店や、発売数時間で定価を下回る額で販売する量販店など売れない事が約束された
GeForce RTX 40シリーズは、レイトレの“どこ”を改善しようとした？ GeForce RTX 40シリーズの開発において、NVIDIAはレイトレーシング性能を向上させるための改良や拡張に対し、“多角的な視点”で取り組んだとされる。 一体どこがどう多角的なのか……を見ていく前に、説明の都合上「レイトレーシングとは何か？」という基礎を改めて振り返っておきたい（何度も説明していることなので、耳にたこができてしまっている人は、このパートは読み飛ばしても構わない）。 大ざっぱに言えば、レイトレーシングとは「あるピクセルの色を算定するとき、そのピクセルが受け取っているはずの光の情報を得るために光線（＝レイ）を射出して、その軌跡をたどる（＝トレースする）処理」のことを指す。下図は、レイトレーシングにおける典型的な3つのパターンを示している。 この図では、レイトレーシングにおけるレイトレース事例
3090 Tiより高速な「GeForce RTX 4070 Ti」突如登場 発売中止の「GeForce RTX 4080（12GB）」を“リネーム”
NVIDIAは1月3日（米国太平洋時間）、新型GPU「GeForce RTX 4070 Ti」を発表した。同GPUを搭載するグラフィックスカードは、パートナー企業を通して順次発売される。米国では1月5日から販売を開始する予定で、想定販売価格は799ドル（約10万5000円）からとなる。 GeForce RTX 4070 Tiの概要 GeForce RTX 4070 Tiは、NVIDIAが2021年9月21日に登場を発表し、同年10月14日に発売の中止を発表した「GeForce RTX 4080」の12GB版の商品名称を変更したものである。 名称を変更したことと、想定ベースの販売価格が100ドル値下げされたこと以外は、以下の通り発表当時のスペックを据え置いている。 GPUコアアーキテクチャ：Ada Lovelace CUDAコア：7680基 稼働クロック：2.31GHz～2.61GHz グラ
大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成 - 端の知識の備忘録
概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Math-7Bを利用している LLMが出力したPythonコードを実行するインタープリターを実装することで、LLMのハルシネーションによる計算ミスを防ぐパイプラインが有力であった LLMの出力を比較的高い
PlayStation 5とXbox Series XとNintendo Switchのスペックを比較してみるとこんな感じ
Microsoftが2020年3月16日に最新ゲーム機「Xbox Series X」の詳細なスペックを公開したのに続き、ソニーが2020年3月19年に次世代機「PlayStation 5(PS5)」の詳細情報を発表しました。これにより、Microsoftとソニーの次世代機の詳細が出そろったので、2017年3月3日に発売された任天堂の据置型ゲーム機「Nintendo Switch」とともに、スペックを比較してみました。 PS5: release date, price, specs and news for the PlayStation 5 | What Hi-Fi? https://www.whathifi.com/advice/ps5-release-date-price-specs-and-news-for-the-playstation-5 Xbox Series X price
Steamのハードウェアサーベイにて人気のグラフィックスカードは長年、GeForce GTX 1060が首位を維持してきましたが、登場から既に6年が経過した事から2019年に発売がされたGeForce GTX 1650が最新のハードウェアサーベイにてシェア1位を獲得したようです。 NVIDIA GeForce GTX 1650がシェア6.27%を獲得。GTX 1060を0.5%上回る Steamでは毎月1回の頻度で市場で使われている大まかなPC構成を集計したハードウェアサーベイを発表していますが、2022年11月に集計されたSteamハードウェアサーベイによるとSteamを導入しているPCで最も導入されているグラフィックカードにNVIDIAのGeForce GTX 1650が初めて1位を獲得しました。 このSteamハードウェアサーベイでは2017年8月分の集計からグラフィックカード固有の
インターンシップでマルチA100 GPUサーバをぶん回してみた - NTT Communications Engineers' Blog
はじめに 2月14日から25日までの2週間、NTTコミュニケーションズのインターンシップに参加させていただいた八木です。普段は大学院で画像処理の高速化に関する研究をしています。インターンシップでは技術コースのうち「AI/MLシステムとの統合を志向した、メディアAI技術の研究開発」ポストに応募しました。全日リモートでの参加で、joinしたチームのマルチA100 GPUサーバなどを用いて画像認識モデルを学習し、NTT Com で独自に構築しているデータセットでその性能評価をしました。この記事では、その体験談を記載します。 インターンシップまでの経緯 就活イベントで NTT Com の紹介を聞いたのですが、そこで色々と説明してくださった社員の方からメディアAI技術開発チームを紹介してもらい、後日今回のメンターさんらと懇談していただきました。その際、チームの紹介を受け興味を持ち、このインターンシッ
rinna社から、日本語に特化した強化学習済みの「対話GPT言語モデル：rinna/japanese-gpt-neox-3.6b-instruction-ppo」をオープンソースで公開したとの大ニュースがありましたので、早速ためしてみます！😀 無料のGoogle Colabで動くお試し用の簡易プログラムも作ってみましたので、ぜひお試しください。 １．モデル特徴（プレス文から）36億パラメータ（3.6B）を持つ汎用GPT言語モデルをベースに、対話GPT言語モデルへのfine-tuningと強化学習を行っています。 強化学習には、HH-RLHFの一部を日本語に翻訳したデータを用いています。 強化学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されています。 特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context
Ubuntu Weekly Topics 2020年5月22日号WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム Microsoft Build 2020において、WSLに関わるいくつかの新機能がお披露目されました。 Windows 10 2020 May Update（あるいは「Windows 10 Ver.2004」）におけるWSL2の紹介や、WSL2用のLinux Kernelの話題だけかと思いきや、多くの「隠し球」が提供される展開となっています。発表されたものを順不同に見ていきましょう。 まず、もっとも大きな発表が『WSL2向けのDirectX』の発表です。テクノロジースタックとしてはこれは、以下のものから構成されています。 WDDMドライバで動作するGPUを、Linuxゲストに対
AMDが2024年9月6日からドイツ・ベルリンで開催されている国際コンシューマ・エレクトロニクス展(IFA 2024)において、一般ユーザー向けGPUとデータセンター向けGPUの双方で使えるアーキテクチャ「UDNA」を開発中であることを発表しました。これにより、NVIDIAのCUDAエコシステムと同様の統合が実現し、ラップトップからデータセンターまで、あらゆる場所でアプリケーションを実行できるようになります。 AMD announces unified UDNA GPU architecture — bringing RDNA and CDNA together to take on Nvidia's CUDA ecosystem | Tom's Hardware https://www.tomshardware.com/pc-components/cpus/amd-announces-u
このプロジェクトは、2022-09-01に募集を開始し、171人の支援により1,882,700円の資金を集め、2022-11-18に募集を終了しました 「タイトル生成」機能がTwitterで大反響をいただいたAI BunChoを用いた書籍化企画！ AI BunChoを用いて書いた作品とノウハウをまとめた本『AIに手伝ってもらったら物語が創れた件』を出版します！ この本でAIが実際に小説や漫画などの創作に役立つということを、世の中に訴えたい！ AI BunChoはAIが 物語のタイトルやプロットを提案したり 本文を生成する創作支援アプリです AIを用いて物語を作る ——そんなことできるの！？ できるんです！ そう、AI BunChoならね でも、使うにはちょっとコツが必要で—— 今回はそんなノウハウを 実際の作品と共に解説した本 『AIに手伝ってもらったら物語が作れた件』 書籍化企画です！！
この記事でやること この記事ではcolab上で生成したweightsを用いて、Jetsonで走らせるところまでやります。 YOLOのオリジナルモデルの作成方法については過去の記事を参考にしてください。 https://qiita.com/tayutayufk/items/4e5e35822edc5fda60ca https://qiita.com/tayutayufk/items/4dba4087e6f06fec338b Jetson Nanoの用意 前提としてJetsonにはJetCardをインストールしておいてください。 最初にOpenCVのダウンロードから行っていきます。 https://qiita.com/usk81/items/98e54e2463e9d8a11415 このサイトを参考に導入してください。 自分は/home/"ユーザーネーム"/Lib/以下にクローン＆ビルドしまし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog
分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
GiNZA v5のTransformerモデルによる固有表現抽出 | 株式会社AI Shift
インタラクション向け3Dセンサの仕様と撮影結果を比較してみた | | AI tech studio
NVIDIAの訓練済みモデルで遊ぶ - Qiita
Optimizing your LLM in production
iMac Retina 5K 2019レビュー: 再び5Kを選んだ理由
WSL2にCUDA on WSLをインストールする (1/2)
リークされたNovelAIのデータでローカル実行してみた - Qiita
次世代の高速計算。自動で高効率なGPU対応コードに変換するプログラム。 - Qiita
Google Colab で LLaMA-Factory を試す｜npaka
Windows10とCUDAでPyTorchを使う準備 - ITips
Stable Diffusion GRisk GUI 0.1 by GRisk
GeForce RTX 3070シリーズは7万9980円～で10月29日に発売
テキスト/画像から3Dモデルを生成する【Shap-E】 - Qiita
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
GeForce RTX 4060 TiとRTX 3060 Tiを50のゲームで性能比較した結果が登場。売れない理由が分かる結果に。
GPUの「レイトレーシング処理」改良の歴史をひもとく【GeForce RTX 40シリーズ編】
Steamで最も人気グラボはNVIDIA GeForce GTX 1650。性能がデフレ
rinna社が日本語特化の対話GPT言語モデルを公開！ VRAM6GBあれば動くかも。｜はまち
2020年5月22日号 WSL2の新機能と今後、新しい姿のLinuxデスクトッププラットフォーム | gihyo.jp
AMDがNVIDIAのCUDA対抗を目指して新GPUアーキテクチャ「UDNA」を開発中
1万いいね超—AI BunCho『AIに手伝ってもらったら物語が創れた件』書籍化
Jetson NanoでオリジナルYOLOを動かす - Qiita