FLoCとはなにか - ぼちぼち日記
1. はじめに Google がChrome/89よりトライアルを開始しているFLoC (Federated Learning of Cohorts)技術に対して、現在多くの批判が集まっています。 批判の内容は様々な観点からのものが多いですが、以前より Privacy Sandbox に対して否定的な見解を示してきたEFFの批判「Google Is Testing Its Controversial New Ad Targeting Tech in Millions of Browsers. Here’s What We Know.」が一番まとまっているものだと思います。 これまで Privacy Sandbox 技術に関わってきた身としては、各種提案の中でFLoCは特にユーザへの注意が最も必要なものだと思っていました。しかし、これまでのド直球なGoogleの進め方によって、FLoCのトラ
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
はじめまして、ZOZO研究所福岡の家富です。画像検索システムのインフラ、機械学習まわりを担当しています。 今回は画像検索システムでお世話になっているAnnoyについてじっくり紹介したいと思います。 目次 目次 Annoyについて 近傍探索について Annoyのソースコードを読むときのポイント AnnoyIndexというクラスのインスタンスを作る インストール過程について PythonのC/C++拡張 Annoyの実装 1. add_item 2. build 3. get_nns_by_vector 4. build再考 他に問題となる点について CPU依存部分 ディスクかメモリか まとめ さいごに Annoyについて Annoyは、SpotifyによるPython近傍探索ライブラリです。 github.com 弊社のテックブログでも以前に取り上げています。 techblog.zozo.c
西川善司の3DGE：Primitive Shader対Mesh Shaderの真実。ジオメトリパイプライン戦争の内幕とAMDのゲーマー向けGPU戦略
西川善司の3DGE：Primitive Shader対Mesh Shaderの真実。ジオメトリパイプライン戦争の内幕とAMDのゲーマー向けGPU戦略 ライター：西川善司 去る2022年12月，AMDのDavid Wang氏（Senior Vice President，Engineering，Radeon Technologies Group，AMD）とRick Bergman氏（Executive Vice President，Computing and Graphics Business Group，AMD）にインタビューする機会があった。 役職名からも分かるとおり，Wang氏とBergman氏は，AMDにおけるRadeon GPU戦略の中心にいる人物である。インタビューでは，同社のGPU戦略について筆者が気になることのあれこれを聞けたので，その概要をレポートしよう。 David Wan
西川善司の3DGE：Radeon RX 7900 XTX/XTは何が変わったのか。大幅な性能向上を遂げたNavi 31世代の秘密を探る
西川善司の3DGE：Radeon RX 7900 XTX/XTは何が変わったのか。大幅な性能向上を遂げたNavi 31世代の秘密を探る ライター：西川善司 Radeon RX 7000シリーズのパッケージを掲げるAMD CEOのLisa Su氏 AMDの新世代GPU「Radeon RX 7900」シリーズは，AMD製GPUとしては初のリアルタイムレイトレーシング技術対応となった「Radeon RX 6000」シリーズの後継製品で，内部アーキテクチャを刷新した「RDNA 3」世代へと進化した。 RDNA 3アーキテクチャ採用のGPUは，開発コードネーム「Navi 3x」と呼ばれていて，今回発表されたRadeon RX 7900シリーズの開発コードネームは「Navi 31」となっている。 本稿では，事前に行われた技術説明会の情報をもとに，Radeon RX 7900シリーズのアーキテクチャにつ
Tweet☜この記事をシェアする この記事であつかうテンソルは、行列とそっくりな２階のテンソルです。しかも２ｘ２という単純な・・・。なぜかって？２階のテンソルがわかれば他の複雑なテンソルも理解できると思うからです。 Tweet☜この記事をシェアする 専門家は言います。 テンソルと行列は違う と。 しかし、そう言われたって、テンソルと行列は、同じにみえます。 5 －1 3 4 どちらもこんなふうに数字のセットとして表されます。 ベクトルや行列との掛け算や計算のルールなども、まったく同じです。 テンソルとはいったい何なんでしょう？ いったい、専門家は何を言おうとしているのでしょうか。 （えっと・・・なぜか読者が急増しているので、あえてお断りしておきます。本記事はあくまで一般人を対象にした解説です。専門家の方を対象とした厳密な内容ではありません。その証拠に添字とかアインシュタインの縮約とか省略と
固体物理・量子力学を中心に｜ばたぱら
カテゴリーごとの投稿 Category: 数学 Category: 微積分 【微分】逆三角関数の微分を絵で解いて覚えない 【テイラー展開】coth(x)の展開 【積分】指数関数 exp(-ax^2) の積分（ガウス関数型） 絵でわかる「回転体の側面積（表面積）」の求め方 【重積分】面積のイメージで学ぶ「ヤコビアン」の意味 【全微分】関数がf(x,y)の全微分であるための必要十分条件（証明） 【多変数関数】よくわかる包絡線／包絡線の求め方 【積分】パップス=ギュルダンの定理でトーラスの体積・表面積 【積分】立体角とは／立体角ω 積分を平面角θ、φに直す 【微分】ラプラシアンΔの極座標表示を導く計算 【微分】∂/∂x、∂/∂y、∂/∂z を極座標表示に変換 【高校数学】面積を求める：1/6公式、1/12公式、1/30公式などパターンまとめ 【積分】三次関数と直線が３交点をもつとき、囲まれた領域
中学・高校数学にいわゆるユークリッド幾何学は不要
ここでいう「ユークリッド幾何学」とは、座標空間、ベクトル、三角関数、微分積分などの解析的手法を用いないいわゆる総合幾何学のことです(*1)。2020年8月現在の高校数学のカリキュラムでいえば、「数学A」の「図形の性質」に該当する分野です。 ユークリッド幾何学が不要だと思う理由は単純明快で、何の役にも立たないからです。大学に入って、「補助線を引いて、相似な三角形を作って～」とか「コンパスと定規による作図」みたいなパズルゲームをやることは絶対にありません(*2)。これは常識で考えても分かると思います。たとえば工学の研究で、ある物体の弧長や面積などを測定しなければならないとして、ユークリッド幾何学の補助線パズルが適用できる多角形や円などしか測れないのでは話になりません。一方、座標空間、ベクトル、三角関数、微分積分などの手法は一般的な現象を記述する上で必ず必要になります。 もちろん、たとえば三角比
A Survey of FPGA Based Neural Network Accelerator 邦訳と感想 - Computer Science And Mathematics
今回は2/17日にドワンゴさんで行われたFPGAXでの発表で紹介したサーベイ論文「A Survey of FPGA Based Neural Network Accelerator」の邦訳を掲載することにする。 稚拙ながら発表スライドも以下にあるので興味のある方はぜひ御覧ください。( ´∀｀) https://www.slideshare.net/leapmind/an-introduction-of-dnn-compression-technology-and-hardware-acceleration-on-fpga-88557866 A Survey of FPGA Based Neural Network Accelerator Kaiyuan Guo, Shulin Zeng, Jincheng Yu, Yu Wang, Huazhong Yang https://arxiv.o
内積とは?定義と求め方/公式を解説!ベクトルの掛け算を分かりやすく
内積：ベクトルどうしの掛け算を分かりやすく解説 ＜この記事の内容＞：ベクトルの掛け算(内積)について０から解説し、後半では実戦的な内積を扱う問題の解き方やコツを紹介しています。 『内積』は、高校数学で習うベクトルの中でも、特に重要なものなのでぜひじっくり読んでみて下さい。 関連記事：「成分表示での内積（第二回：空間ベクトル）」 内積とは何か?ベクトルの掛け算の意味 そもそも『内積』とは何なのか？はじめから見てみましょう。 内積と外積：ベクトルの掛け算は２種類ある！ 前回、ベクトルの足し算と引き算を紹介しました。→「ベクトルが分からない？はじめから解説します」 そうすると、掛け算もあるのではないかと思うのは自然な事だと思います。 実はベクトルの足し算、引き算と違ってベクトルには２種類の全く違う「掛け算」が存在します！ 一つは内積とよばれるもので、『ベクトル』と『ベクトル』の間に、掛け算である
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
近傍探索ライブラリ「Annoy」のコード詳解 - ZOZO TECH BLOG
【基礎】たぶんこの世で一番やさしいテンソルの話 基礎の基礎 - スタディヘルプ