【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
機械学習による株価予想の十八手 - Qiita
1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利
Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka
「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 GPTQを利用するため、「auto-gptq 」もインストールしています。 # パッケージのインストール !pip install t
話題のLlama 2という大規模言語モデルをAmazon SageMaker JumpStartで動かしてみた | DevelopersIO
料金については正確な情報として以下の公式情報も参照ください。 以降はml.g5.48xlargeなども使用しますので、費用にはご注意ください。 なお大きめのインスタンスはService Quotaの上限緩和申請が必要となるケースもありますので、必要に応じて対処下さい。 作業用ノートブックの起動 7b-chatモデルを右上の「Open notebook」ボタンから起動してみます。 または以下のRun in notebookの「Open notebook」からでも起動可能です。 End User License Agreement (EULA) と Acceptable Use Policy (AUP) がダイアログに表示されますので、内容を確認して問題なければ承諾します。 そうするとノートブック起動中の画面となります。 マネジメントコンソール側でml.t3.mediumのKernel Gat
ChatGPT Code Interpreter でTitanic生存者予測にチャレンジ - Taste of Tech Topics
近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…？ ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います！ Titanic生存者予測とは？ かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性（性別、年齢、乗船時の運賃など）から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
数理・データサイエンス関連教材 | 東京大学 数理・情報教育研究センター
複素１変数の微積分 複素関数論は数学の様々な局面で使われるきわめて強力な理論である．本講義では複素数平面，複素関数の微分，複素関数の積分とコーシーの定理といった複素関数論の基礎について解説を行う． 主な内容は ◎複素数平面 ◎リーマン球面と1次分数変換 ◎ベキ級数 ◎複素関数の微分と積分 ・正則関数，コーシー・リーマン方程式，コーシーの積分定理 ◎コーシーの積分公式とその応用 ・ベキ級数展開，リウヴィルの定理，最大値原理，代数学の基本定理 ◎調和関数とポアソンの公式 ◎有理形関数 ・ローラン展開，孤立特異点，無限遠点 ◎留数 ・定積分への応用，ルーシェの定理，逆写像定理 複素解析学I-1 複素解析学I-2 複素解析学I-3 複素解析学I-4 複素解析学I-5 複素解析学I-6 複素解析学I-7 複素解析学I-8 複素解析学I-9 複素解析学I-10 複素解析学I-11 複素解析学I-12
AIマップ
AI Map English Download AI Map Beta 2.0 English (Sep. 1, 2021) Read more » AIマップβ2.0 AI研究初学者と異分野研究者・実務者のための課題と技術の俯瞰図 AI（Artificial Intelligence）研究は拡大し、全体を俯瞰的に捉えることが難しくなっている。また、AI研究の成果を用いた多数のシステム（AIシステム）が実社会で活用され始めており、AIシステムとAI技術との対応も把握が難しくなっている。そこで、これから活躍するAI研究の初学者、およびAI活用を狙う異分野の研究者・実務者をターゲットとしたガイドとして、AIマップβ2.0を作成した。本AIマップβ2.0は、2019年に発刊したAIマップβの発展版であり、AI課題マップと、AI技術マップの2種から構成される。概要を以下に示す。 【AI課題マップ】
AutoML チュートリアル（HPOとNAS）
AutoMLに関するチュートリアル資料です。主に，ハイパーパラメータ最適化（HPO）とニューラル構造探索（NAS）に関する説明をしています。
「そうだ、数理最適化、やろう。」ってなった時にめっちゃ参考になったリンク集＆参考書｜CO-WRITE
数理最適化案件とAI/機械学習案件とのアナロジー 「やってみなければわからない」中で僕たちDSはどうするか本記事では表題に関して、脳筋系ゆるふわVTuberこと入社2年目DSの岡部がお送りいたします。（DS=データサイエンティスト） 発... ◆【理論・実践】（2021年時点で）オススメの参考書 最大のアップデートはこちらの2冊です。参考書は時代の流れに合わせていいものが出てくるものですね。もちろん過去の参考書にもいいものはたくさんありますが、日進月歩の分野である以上、新しいものに軍配が上がりやすい構図はあると思います。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで Pythonではじめる数理最適化： ケーススタディでモデリングのスキルを身につけよう 以下それぞれの所感です 【理論】「最適化分野全般を知るための『最適解』」とも言われている教科書 僕が最適化にハマっていた当時は様々な本
数千万ユーザーのビッグデータに機械学習モデルを適用するには（広告配信ソリューション実現の工夫紹介）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告にてデータアナリストをしている國吉です。 ヤフーでは、「Yahoo!広告」という広告出稿サービスを提供しており、それに付随して、広告を出稿するクライアントを支援するためのソリューションを提供しています。本記事では、私が開発に携わっている「Yahoo! JAPAN 予測ファネル」（以下、予測ファネル）という広告配信ソリューションについてご紹介します。予測ファネルを開発するにあたっては、ビッグデータを用いて機械学習モデルの作成と推論をするため以下の課題がありました。 学習時のメモリリソースの確保、推論時間の短縮が必要 ソリューションのリリース後には数多くのモデルが作成されモデルの管理が煩雑になる 本記事では
recsys-python
Home recsys-python | Pythonによる推薦システム演習問題集 概要 recsys-pythonはPythonによる推薦システムの演習問題集です。推薦システムの基本である、評価履歴や評価値行列の扱いから、内容ベース推薦システム、近傍ベース協調フィルタリング、推薦システムの評価などに関する問題を取り揃えています。現時点では、13章構成で全163問用意しています。今後、内容を変更したり、問題を追加、削除したりすることもあります。 動機 言語処理100本ノックを参考にさせて頂き、推薦システム版の演習問題集を開発したいと思ったのがきっかけです。個人での学習に加え、大学での授業や研究室等でご活用いただければ幸いです。 到達目標 Pythonを学習しながら推薦システムの基本を修得できる。 評価履歴や評価値行列を扱いながらNumPyによる行列演算やベクトル演算を修得できる。 数式をP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米国データサイエンティストのブログ -
litagin/moe-speech · Datasets at Hugging Face
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
CyberAgent AI事業本部MLOps研修応用編
