大規模言語モデルの学習コードまとめ｜npaka
大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv
DeepLearningについて、最近作ったもの、書いたもの、勉強したこと
こんにちは！逆瀬川 ( @gyakuse ) です。 今日は最近作ったもの、書いたもの、勉強したことを備忘録的にまとめていきたいと思います。 なぜ書くのか、なぜ学ぶのか DeepLearningの普及以降、Attention Is All You Need以降、Hugging Faceでの民主化以降、そしてStable DiffusionやChatGPTの登場以降、どんどんAGIへの距離が短くなってきています。未来は想定より大きく変わりそうです。どったんばったん大騒ぎのときはみんなが分かっておくべきことは効率的に共有すべきで、そのために書いています。書くためには論文等を読む必要があります。そしてそのためには基礎からしっかり学ぶことが大事です。次の一歩をみんなで歩んでいくために、学び、書いています。 間違ったことを言うかもしれませんが、それでも誰かのためになれば嬉しいです。あと、個人的にはこ
Tailscale(SSH)ことはじめ
はじめに Tailscale、気にはなっていたのだけれど、この辺りのツイートを見て興味が出たので、自分でも手を動かしたのでメモ。 Sign Up 費用感はこの辺りを読むとわかりやすい。個人利用なら20台は無料で使えるので検証には十分ですね。 Personalプランのリンクから登録すればよい。 と言っても、細かいサインアップの手続きはなく、MS/Google/GitHubいずれかのアカウントで連携するのみ。※私はGitHubで連携した。 Usage デバイス登録(一台目、Amazon Linux2) 早速１台目を登録してくれということなので、近場にあったAmazonLinux2 on EC2(というかCloud9)へ導入する。 基本的に言われるがままにコマンド実行するだけで、VPNの知識は特に何も調べてないままエージェントが導入される。 デバイス登録(二台目、Windows Server)
自宅 Ubuntuサーバー × Tailscale × Nextcloudで内部・外部アクセス可能なファイルサーバを構築する - araki tech
オンラインストレージの作成と使用のためのクライアント・サーバ型のソフトウェア。機能的にはDropboxに似ているが、オフプレミスのオンラインストレージサービスは提供しない。Nextcloudはフリーかつオープンソースなので、誰でも自分のプライベートサーバにインストールして利用することができる。(Wikipedia 引用) https://nextcloud.com/ 管理サービスと組み合わせて機能し、WireGuard プロトコルを使用して、他のクライアントとのPeer-to-Peer (P2P) または中継 VPN 通信を確立するためのソフトウェア。(Wikipedia 引用) Subnet routers and traffic relay nodes 最終イメージ 完成図は下記の通りです。 cloud.example.com を叩けば、自宅でホスティングしているNextcloudに繋
Docker一強の終焉にあたり、押さえるべきContainer事情
章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール（Container Runtime）として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes（K8s）の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Significant-Gravitas/AutoGPT: AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
Release ReazonSpeech v1.1.0 · reazon-research/ReazonSpeech