タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Transformer[1]の核心となる仕組みであるAttentionは、入力シーケンス内の各トークン間の関連性に基づいて注意の計算を行います。それにより、Transformerは従来の系列処理において主流であったRNNの性能を凌駕する性能を実現し、更には画像処理などの領域でも大きな成果を上げることができました[2]。このように従来のモデルでは成し得なかったような成果を達成できる万能な仕組みであるAttentionですが、その計算コストは入力シーケンス長\(n\)に対して指数関数的に増加するという大きな課題を持ちます。つまり、扱えるシーケンスの長さは計算機のハードウェア性能に大きく影響され、ある程度のシーケンス長を扱うには、高い処理能力と大容量のメモリを持つ計算機が必要となります。そのため、如何にすればAttentionの計算コストを下げることができるのか、計算量を減少させられるかが研究さ
CommunityOpen SourceBring your monorepo down to size with sparse-checkoutGit 2.25.0 includes a new experimental git sparse-checkout command that makes the existing feature easier to use, along with some important performance benefits for large repositories. This post was written by Derrick Stolee, a Git contributor since 2017 who focuses on performance. Some of his contributions include speeding u
EngineeringOpen SourceMake your monorepo feel small with Git’s sparse indexThe new sparse index feature makes it feel like you are working in a small repository when working in a focused portion of a monorepo. One way that Git scales to the largest monorepos is the sparse-checkout feature, which allows you to focus on a subset of the files. This is supposed to make it feel like you are actually in
SparseなDNNモデルの分散学習
大規模言語モデル (LLM) をはじめとする巨大なDNNモデルでは、計算量の削減のためsparseなアーキテクチャが使われることがあります。本講演では、このようなsparseなDNNモデルに対する分散学習の手法について解説します。12/20のW&Bミートアップで発表しました。
モノリポ時代に知っておくと便利な「git sparse-checkout」 - kakakakakku blog
今まで使っていなかった Git コマンドを学んでいく．今回は git sparse-checkout を試す． git-scm.com git sparse-checkout とは？ コマンド名にある sparse は「わずかな」という意味で，Git リポジトリの「一部」を取得できる．git clone --depth を使ってコミットを刈り取るのではなく，指定したディレクトリを取得する．モノリポ（モノレポ）構成のときに効果的に使える．git sparse-checkout は歴史的な変化もあり，今年になって改善されている．記事を検索すると Git 2.25 より前の git sparse-checkout を紹介した記事が多いように感じたため，今回は Git 2.26.2 を使って試した． Git 1.7 2010年2月 リリース git sparse-checkout 導入 Git 2
拡散モデルについて思ったこと、統計モデリング等との関係 - xiangze's sparse blog
久しぶりの投稿になります その間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイデアの源泉となった非平衡統計物理学，統計モデリング、進化生物学などとの関係に関して思ったことを書きます。 ためになる論文、本のリンクも貼ります。 目次 目次 score matchingとの関係 他の生成モデルとの関係 非平衡統計物理学との関係 統計モデリングの手法との共通点、相違点 情報幾何との関係 進化生物学との関係 専用ハードウェアへのヒント？ なぜ拡散モデルはうまくいくのか コンテンツ生成以外の応用 その他 Next Step(ToDo) ためになるリンク 英語 ためになる本 Fitness la
偉大なリポジトリの一部だけを利用したい Gitで特定のファイルやディレクトリだけcloneしたい おそらくあなたがやりたいのは Sparse checkout ではないでしょうか 先人の情報によれば「とりあえず普通に clone する」という例が多いのですが、ファイル数が多い場合など、すべてを clone したくない場合もあります。 そのような場合は下記のようにして sparse checkout を有効にします。 リポジトリの内、必要となるのはコンパイルされたヘッダファイル 1 つだけ ということがそれなりにあるので sparse checkout ができるとそういう時に便利そうだ。 ただ、調査した感じでは大規模なリポジトリの一部だけを利用するという用途の場合、 sparse checkout と submodule を組み合わせる必要があるらしい。 わからないことは 1 つずつチェック
「Git 2.25」リリース、「git sparse-checkout」コマンドの追加や細かい機能強化が行われる | OSDN Magazine
Git 2.25は2019年11月に公開されたGit 2.24に続く最新安定版。84人の開発者から合計583のコミットがあったという。 実験的機能としてリポジトリの一部のみをチェックアウトする「git sparse-checkout」コマンドが新たに追加された。今までも設定ファイルを用意することで特定のディレクトリやファイルのみをチェックアウトすることができたが、コマンドラインで対象を指定するパターンを与えて同様の処理を実行できるようになった。サブコマンドとしてパターンにマッチするファイルを出力する「git parse-checkout list」コマンドも加わっている。 そのほかの新機能として、「git range-diff」コマンドでコミット注釈（commit notes）に対する比較を制御するための「--notes=＜ref＞」および「--no-notes」オプションが導入されたほか
戦後75年間の「世界の危機と経済人との関わり」を総括 司会者：お待たせいたしました。これより、スペシャルセッション：ウィズ／アフターCOVID-19の「人間の安全保障」と「平和×ビジネス×SDGs」を始めさせていただきます。モデレーターは慶応義塾大学総合政策学部教授、神保謙様。パネリストは慶應義塾大学環境情報学部教授、ヤフー株式会社チーフストラテジーオフィサー、安宅和人様。武蔵野大学客員教授、川口順子様。三井住友銀行頭取CEO、髙島誠様。そして広島県知事、湯崎英彦です。 それではここからは、神保様にモデレーターをお任せしたいと思います。よろしくお願いいたします。 神保謙氏（以下、神保）：はい、よろしくお願いいたします。それではこれから、スペシャルセッション：ウィズ／アフターCOVID-19の「人間の安全保障」と「平和×ビジネス×SDGs」を始めたいと思います。私はこのセッションのモデレータ
SciPy（scipy.sparse）を使うと疎行列（スパース行列）を効率的に扱うことができる。PythonのリストやNumPy配列numpy.ndarrayの密行列（非スパース行列）を疎行列のクラスに変換することも可能。 疎行列（スパース行列）と密行列（非スパース行列） SciPy（scipy.sparse）の疎行列の種類 CSR: scipy.sparse.csr_matrix CSC: scipy.sparse.csc_matrix COO: scipy.sparse.coo_matrix LIL: scipy.sparse.lil_matrix SciPyで疎行列クラスを生成・変換 リスト、numpy.ndarrayと相互変換 値、行、列のリストから生成 空の疎行列を生成、要素を追加・削除 他の疎行列から生成・変換 疎行列生成の処理時間比較 scipy.sparseとnumpy.n
git の sparse-checkout を使ってモノリポでも快適にいこう！ - asoview! Tech Blog
こんにちは。エンジニアリングマネージャーをやっている竹内です。 弊社では現在 Git リポジトリをモノリポで運用しています。 tech.asoview.co.jp 上記記事内に partial cloneやshallow clone、sparse checkoutなどGitで巨大なリポジトリを扱うための機能なども活かし、快適にMonorepoを扱える環境を構築する必要があります。 とありますので、今回は sparse-checkout について書きたいと思います。 sparse-checkout とは git-scm.com sparse-checkout とは、ざっくりいうとローカルに checkout するディレクトリを限定することができる git の機能です。 これにより自分が使うディレクトリのみローカル(working tree)に持ってこれます。 モノリポ内には数十のパッケージ(
Non-determinism in GPT-4 is caused by Sparse MoEWhat the title says It’s well-known at this point that GPT-4/GPT-3.5-turbo is non-deterministic, even at temperature=0.0. This is an odd behavior if you’re used to dense decoder-only models, where temp=0 should imply greedy sampling which should imply full determinism, because the logits for the next token should be a pure function of the input seque
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance - Microsoft Research
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance Published August 4, 2021 By Junyan Chen , Principal Applied Science Manager Frédéric Dubut , Principal PM Manager, Core Search & AI Jason (Zengzhong) Li , Partner Group Engineering Manager Rangan Majumder , Vice President Recently, Transformer-based deep learning models like GPT-3 have been ge
リポジトリの一部だけcheckoutするGitコマンド：sparse-checkout - はんなりと、ゆるやかに
大きなリポジトリを扱うときにリポジトリの一部だけcloneしたい時があります。そんなときに使えるコマンドがgit sparse-checkoutです。Partial Cloneとgit sparse-checkoutコマンドを使うとリポジトリの一部ディレクトリだけcheckoutできます。 Partial Clone機能を使うと不要なオブジェクトを除外してダウンロードできるので、大きなリポジトリもサイズを抑えて素早くcloneできます。 git-scm.com Partial Cloneしたリポジトリに対してgit sparse-checkoutを使って必要なファイルだけcheckoutします。Git 2.26でgit sparse-checkoutにaddが追加され使いやすくなっています。 git-scm.com 今回の検証に使ったgit version は 2.26.2 です。 202
3つの要点 ✔️ Attentionのレイヤー毎の特徴を再現することで，計算量の削減を達成 ✔️ Sliding Window Attenion、Dilated Sliding Window Attention、Global Attentionという3つのAttentionを使ってTransformernの計算量を削減した ✔️ 計算量を削減しただけではなくて，当時のSOTAを達成している． Generating Long Sequences with Sparse Transformers written by Rewon Child, Scott Gray, Alec Radford, Ilya Sutskever (Submitted on 23 Apr 2019) Comments: Published on arxiv. Subjects: Machine Learning (c
特徴量エンジニアリングとしてのOne-Hotベクトルの必要性と、PandasでSparseな行列を使うときのGroupbyの†闇†の話 - Qiita
特徴量エンジニアリングとしてのOne-Hotベクトルの必要性と、PandasでSparseな行列を使うときのGroupbyの†闇†の話Python機械学習pandasPython3 PandasでOne-HotベクトルをメモリケチるためにSparse行列（疎行列）として記録してGroupbyしたら値が消えて、1日分の処理丸々無駄にしまいました。疎行列のGroupbyで悲しい思いをする人が出ないように書いておきます。 環境：Pandas 0.23.4 Final 前置きが若干長いので、†闇†の部分だけ読みたい方は、「PandasのGroupbyとSparse行列の†闇†」まで飛んでください。 One-Hotベクトルとは あるカラムだけ1で他のカラムは0な行列の表現。カテゴリー変数でよく使います。古典的な統計の教科書では「ダミー変数」という言い方もします。PandasのOneHotベクトルを作
TLDR: YesHi, I am François Lagunas.I am doing Machine Learning research, and I have been working for the last months on using sparse matrices, especially in Transformers. The recent announcement that OpenAI is porting its block sparse toolbox in PyTorch is really big news: “We are in the process of writing PyTorch bindings for our highly-optimized blocksparse kernels, and will open-source those bi
GitHub - castorini/pyserini: Pyserini is a Python toolkit for reproducible information retrieval research with sparse and dense representations.
Pyserini is a Python toolkit for reproducible information retrieval research with sparse and dense representations. Retrieval using sparse representations is provided via integration with our group's Anserini IR toolkit, which is built on Lucene. Retrieval using dense representations is provided via integration with Facebook's Faiss library. Pyserini is primarily designed to provide effective, rep
リポジトリの一部分だけcheckoutできるsparse-checkoutがactions/checkout@v4に来てた - Qiita
リポジトリの一部分だけcheckoutできるsparse-checkoutがactions/checkout@v4に来てたGitGitHubGitHubActions
English
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sparse Attentionについて分かりやすく解説！
Bring your monorepo down to size with sparse-checkout
Make your monorepo feel small with Git’s sparse index
sparse checkout でリポジトリの一部だけを持ってくる
「Windows 10 May 2020 Update」、開発者向けの準備が完了 ～“Go-Live”なSDKが公開／WSL 2、Hosted App Model、Sparse Signed Packagesなどの開発者向け機能を提供
ヤフー・安宅和人氏「世界のトレンドはOpen＆Sparseへ向かっている」 ヒトよりモノが動く時代の、都市のあり方
Python, SciPy（scipy.sparse）で疎行列を生成・変換 | note.nkmk.me
Non-determinism in GPT-4 is caused by Sparse MoE
Sparse Transformers：入力シーケンスの長さによる計算量増加問題への革新的なアプローチ
Is the future of Neural Networks Sparse? An Introduction (1/N)
Git - git-sparse-checkout Documentation
togetter.com
japan-anime-song.com
exoto.jugem.jp
smodin.io
japan-anime-song.com
www.esrij.com