1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
統計検定準1級 合格体験記 - Qiita
はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も
最強将棋AIが新境地へ、DeepMindのAI「AlphaTensor」が50年以上停滞していた行列乗算アルゴリズムの改良に成功
囲碁世界チャンピオンを打ち負かしたDeepMind製のAI「AlphaGo」は度重なる機能強化によってチェスや将棋などあらゆるボードゲームへの対応を果たしました。新たに、AlphaGoの系譜を受け継ぐAI「AlphaTensor」が「行列の積を計算する最適な方法を求めるゲーム」に挑み、行列の積を計算する未発見のアルゴリズムを導き出すことに成功しました。 Discovering faster matrix multiplication algorithms with reinforcement learning | Nature https://doi.org/10.1038/s41586-022-05172-4 Discovering novel algorithms with AlphaTensor https://www.deepmind.com/blog/discovering-no
高速なPython互換言語「Mojo」のMac版登場、Appleシリコンにネイティブ対応。Pythonの9万倍、C言語に比肩する高速性
高速なPython互換言語「Mojo」のMac版登場、Appleシリコンにネイティブ対応。Pythonの9万倍、C言語に比肩する高速性 Modular社はPythonの高速なスーパーセットと同社が位置づける開発中の新言語「Mojo」の、Appleシリコンにネイティブ対応したMac版をリリースしました。 Today is the day! Mojo for Mac is live! Download it right now! Read our launch blogpost on how to get startedhttps://t.co/XSMkqUmHKt — Modular (@Modular_AI) October 19, 2023 Mojoは9月に初めてローカル環境でコンパイルなどを実行可能なLinux対応のツール群を公開しています。今回のAppleシリコンにネイティブ対応した
推薦システムにおいて線形モデルがまだまだ有用な話 | CyberAgent Developers Blog
本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設
近年のAIは、人間が手を加えなくてもコンピューターが自動的に大量のデータからそのデータの特徴を発見する「ディープラーニング(深層学習)」という学習手法で動いています。このディープラーニングは、コンピューターゲームに代表されるリアルタイム画像処理に特化した演算装置・プロセッサであるGPUで処理されるというのが通例ですが、ライス大学のコンピューター科学者がIntelと共同で「GPUに比べて最大15倍も高速にディープラーニングできるCPU向けソフトウェア」を開発しました。 ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE (PDFファイル)https://proceedings.mlsys.org/paper/2021/file/
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
BitNetから始める量子化入門
はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる
行列入門
行 列 入 門 i 本教材について 本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成 21 年告示の学習指導要領における新設科目「数学活用」の「社会 生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数 学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味 やどのような場面で活用されるのかがわかりにくかったことから， 「数学活用」の内容とし たものです。ただし， 「数学活用」の内容としたことから内容は大綱的に示すことになりま した。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成 11 年告示の学習指導要領における数学 C の内容）をそのまま残すとともに，高等学校数学を 超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような 学校設定科目を設けて指
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorization SVD（Singular Value Decomposition） Factorization Machine 深層学習を使った推薦手法 ニューラルネットワーク推薦手法に対する警鐘 Recboleプロジェクト Recboleプロジェクトを用いた各アルゴリズムの検証 General Re
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコメンドアルゴリズムについて 強調フィルタリング（アイテムベース） Matrix Factorization 最後に ママリ内での課題 ママリはサービスとして6年目を迎え、サービスの成長とともにアプリ内の記事数も増えており、それに伴いユーザーが本来欲しい情報にたどり着くことも難しくなってきました。 加えて「子育て層のユーザー」という切り口1つとっても、0才児のママと1才児のママでは悩みや欲しい情報がまったく異なります。 このような背景から、これまで人的に行っていたルールベースで
楕円同士の接触判定と衝突判定
ググっても出てこなかったので。 2つの楕円が接している（内接 or 外接）かどうか判定する方法についてです。ついでに衝突判定もできます。 衝突判定だけしたい方 以下で説明する方法でも判定自体はできますが、非常に非効率です。悪いことは言いません。GJK法などを使いましょう。凸同士なので簡単にできます。 どうしても接触を判定したい方 心して読み進めてください。 事の発端 まだそんなにバズってないけど宣伝していいらしいので． AI でも普通のプログラマーでもない優秀なプログラマーたる皆さんは，もちろん楕円が接するか判定する方法を知っていますよね？ 私は一昨日実装しました．各位の解法に興味があります．よろしくお願いいたします． — 青い楕円形のぜろ (@0_uda) October 4, 2022 もちろん楕円が接するか判定する方法を知っているので、書くことにしました。 楕円の表現方法 楕円とはい
機械学習やレコメンドでよく見る「特徴量」の本質とは――「行列分解」の基本を図版とPythonコードで理解する
AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は「行列計算」について学びました。今回のテーマは、「行列の計算分解」です。 前回、データを分析する際には、基本的に1次元のベクトルデータではなく多次元のデータを用いることが多いので、行列計算が重要になると解説しました。行列の計算は、AIが行う計算でもよく使用されており、さまざまな分析に関わる教科書などは行列表記での説明がほとんどです。今回紹介する「行列分解」は、そんな行列計算の中で重要なテクニックの一つです。 行列分解をする理由や行列分解後に得られる結果の意味などについて、数式の内容よりも意味の解釈に注力して解説するので、そこに注目して学習してください。 行列分解をする理由 初めに「行列分解とは何か」を説明します。行列分解とは、ある行列を
線形代数をBlenderで、やる｜Melville
「線形代数をBlenderで、やる」とはどういうことでしょう？ とりあえずこの画像を見てください これだけではよくわからないと思いますが、 要するに下の画像と全く同じ計算をやっています 確かに「結果」がBlenderの画像で並んでいる数字と同じになっているBlenderのノードの側にもよく見ると、3,1,4…と、 WolframAlphaの画像と同じ値が並んでいるのが確認できます 左の3つのノードが左の行列を表し、右の3つのノードが右の行列を表しているさて、このBlenderのノードシステム（GeometryNodes）ですが、 本来は3DCGのジオメトリをプロシージャルに生成にするためのもので、 決して線形代数をするための機能ではありません！ しかし、それをうまく悪用すれば使えば、 上のような行列の演算をさせて線形代数遊びができます！ この記事の最後では、これを応用して次のGIFのような
型安全で高速な連鎖行列積の計算
この記事は Haskell Advent Calendar 2021 の22日目の記事です。 次のような３つの行列の積を考えてみましょう。 ABC = \begin{pmatrix} a_{00} & a_{01} & a_{02} \\ a_{10} & a_{11} & a_{12} \\ a_{20} & a_{21} & a_{22} \\ a_{30} & a_{31} & a_{32} \\ \end{pmatrix} \begin{pmatrix} b_{00} & b_{01} \\ b_{10} & b_{11} \\ b_{20} & b_{21} \\ \end{pmatrix} \begin{pmatrix} c_{00} & c_{01} & c_{02} & c_{03} & c_{04} \\ c_{10} & c_{11} & c_{12} & c_{13}
AI開発に必要な数学の基礎知識がこれ1冊でわかる！ 【本書の目的】 本書は以下のような対象読者に向けて、 線形代数、確率、統計/微分 といった数学の基礎知識をわかりやすく解説した書籍です。 【対象読者】 • 数学がAIや機械学習を勉強する際の障壁になっている方 • AIをビジネスで扱う必要に迫られた方 • 数学を改めて学び直したい方 • 文系の方、非エンジニアの方で数学の知識に自信のない方 • コードを書きながら数学を学びたい方 【目次】 序章 イントロダクション 第1章 学習の準備をしよう 第2章 Pythonの基礎 第3章 数学の基礎 第4章 線形代数 第5章 微分 第6章 確率・統計 第7章 数学を機械学習で実践 Appendix さらに学びたい方のために 序章 イントロダクション 0.1 本書の特徴 0.2 本書でできるようになること 0.3 本書の対象 0.4 人工知能（AI）と
Golangを用いた様々な計算の高速化 - Qiita
0.はじめに 競技プログラミングでは制限時間内に解を求めるようなプログラムが求められます。競技プログラミングでなくとも、必要に応じてプログラムを高速化したい場面は無数にあります。逐次処理のプログラムを並行化することで処理を高速化する、並行プログラミング/マルチスレッドプログラミングを活用できる機会は多いのではないでしょうか。1 本記事は Golang で逐次処理で計算できる処理を並行化/高速化することで、並行処理の威力や Golang の並行化の書きやすさを体感することを目標とします。 1.様々な計算の高速化 Go at Google: Language Design in the Service of Software Engineering にもあるように Golang の並行処理は CSP をベースにしており、並行処理が書きやすい言語と言えます。 Golang に組み込まれている g
ドラマ総集編のようなすばらしい現代数論の入門書 - hiroyukikojima’s blog
今回エントリーするのは、山本芳彦『数論入門』岩波書店だ。この本は以前にも、このエントリーで紹介しているが、今回は違う観点から推薦したいと思う。 数論入門 (現代数学への入門) 作者:山本 芳彦 岩波書店 Amazon ゆえあって、最近またこの本を読み始めたのだが、面白くて遂にほぼ全部読んでもうた。そして全体を読破すると、この本がもくろんでいること、この本の特質がひしひしつと伝わってきた。ひとくちに言えば、この本は、「ドラマの優れた総集編を観るようなすばらしい内容」ということなのだ。 ドラマの総集編って、全12話を4話ぐらいでかいつまむ。もちろん、圧縮しているので、カットされたエピソードもあるし、ナレーションで進めちゃう場面もあるし、スルーされるキャラもある。でも、優れた総集編では、本編より本質が浮き彫りになり、面白さが倍増になることも多い。この本は、数論の総集編として、そのメリットがみごと
書評『統計のための行列代数』July 19, 2020 | 21 min read | 3,454 views jabookmathはじめに 『統計のための行列代数』（D. A. Harville 著，伊理正夫 監訳，丸善出版，2012年）を読んだので，まとめと感想を書きます． （そこまでの精読はできていませんが，それでも誤植と思われる箇所が散見されたので，気づいた範囲ですが末尾にまとめておきました．） まとめ+α 原題は『Matrix Algebra from a Statistician’s Perspective』で，統計学者が身につけるべき線形代数の知識や考え方を全2巻でまとめた著名な教科書です．線形代数は重要かつ範囲がとても広く，抑えるべきポイントがわかりづらいと大学時代から感じていたので，こういう応用を見据えた教科書はありがたいです． 一般的な線形代数の教科書ではあまり
ゼロから作るDeep Learning ❸
大ヒットを続ける人気シリーズの第3弾。今回は「DeZero」というディープラーニングのフレームワークをゼロから作ります。DeZeroは本書オリジナルのフレームワークです。最小限のコードで、フレームワークのモダンな機能を実現します。本書では、この小さな――それでいて十分にパワフルな――フレームワークを、全部で60のステップで完成させます。それによって、PyTorch、TensorFlow、Chainerなどの現代のフレームワークに通じる知識を深めます。キャッチフレーズは――作るからこそ、見えるモノ。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷
言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしながら、従来の大規模モデルはデータセンターという大量のGPU・潤沢な電源・安定した地盤を備えた豊かな環境で処理されるものであり、対して自動車というものは余りにも狭く、電源が乏しく、振動が大きいという劣悪極まりない環境
Transformerという手法は必ずしも万能でも効率的でもない。 むしろTransformerは非効率的だというのが一般的な見解だ。しかし、Transformerには実績があり、実績という壁の前には多少(かどうかわからないが)の非効率は無視される。 他にもHyenaなどもっと効率的と思われる手法が提案されているが、そうした提案の一つがRWKVである。 そもそもなぜTransformerが必要になったかというと、それまで言語モデルに用いられていたRNN(Recurrent Neural Network)は並列処理が難しかったからだ。並列処理が難しい理由は簡単で、言葉というのは過去から未来へ向かって一方向に進むからである。 言語モデルは全て「この文章に続く単語は何か」を予測し、それを連鎖的に繰り返していくが、RNNは単語をひとつひとつ選んでいかないと次の単語を原理的に予測できない。 これを並
1. はじめに 本記事では、2022年10月にNatureに掲載されたAlphaTensor[1]および関連分野を紹介します。AlphaTensorは「AIが行列積演算の新しいアルゴリズムを発見した」といううたい文句のもとSNSを中心に大きな話題となりました。具体的には、[1]でAIが”発見”したアルゴリズムのひとつでは2進数上の4×4の行列の積を47回の掛け算で計算することができ、これは[1]以前の最速49回(Strassenのアルゴリズム)を上回ったことになります。なお、Strassenのアルゴリズムの49回はその発見から[1]まで約50年間破られていませんでした。 「AIが新しいアルゴリズムを発見した」という広告ですが、実際は 「あるテンソルのよい分解方法を強化学習を利用して探索した」 といった方が正しいです。この 「あるテンソル」はその分解方法と「行列積のアルゴリズム」が自然と対応
大名行列は正則なのか？｜uynet
本当なのか？ これについて調査したところ、さまざまな学説が提唱されていたのでその結論を発表いたします。 1.任意の大名行列は正則ではないとする定義 まず大名行列は行列ではないので、積を定義することができません。よって逆行列とか以前に正則ではありません。 2.福島正則の大名行列のみ正則とする定義 福島正則という大名がいたらしいのですが、この大名行列に関しては正則であるとする定義が発見されました。興味深いですね。 3.参勤交代の帰りを逆行列をすることで任意の大名行列が正則であるとする定義 大名行列の参勤交代は往復なので行きと帰りが存在しますが、帰りを逆行列と定義することにより任意の大名行列は逆行列を持つことが導かれます。正則の定義は逆行列を持つことであるため、このように定義すれば任意の大名行列は積を定義しなくとも正則であるという拡張をすることができます。 まとめいかがでしたか？この記事が参考に
西川善司の3DGE：IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた
西川善司の3DGE：IntelのノートPC向けGPU「Arc」とはいかなるGPUなのか。性能から機能までをひもといてみた ライター：西川善司 既報のとおり，Intelは，単体GPU製品「Intel Arc」（以下，Arc）シリーズを発表した。 Intelが2020年に発表した「Iris Xe MAX」は，同社が，Intel 740（i740）をリリースした1998年以来，22年ぶりにリリースした単体GPU（Discrete GPU）だった。その進化版となるGPUが，今回のArcである。 発表イベント前に行われた技術説明会では，Arcに関する詳しい解説が行われたので，考察も交えて詳細に見ていきたい。 ArcシリーズはACM-G10とACM-G11の2種類が存在 Arcの開発コードネームは，もともと第2世代単体GPU（Discrete Graphics 2nd）の意味である「DG2」だったが（
概要 「Python で競技プログラミングをやる」の文脈で、高速フーリエ変換を使うための基礎知識を整理します。 高速フーリエ変換自体は競技プログラミング以外の文脈でも重要なアルゴリズムですが、そうした需要に応えることは、本記事では想定していません。 高速フーリエ変換の詳しいアルゴリズムにはこの記事では触れません（既存の解説が多数ありますし）。代わりにフーリエ変換についての基礎知識について、少し整理しました。ここは、使用言語に関係しない部分です。 最低限、Python での実装だけ見たい人は大部分を飛ばしてよいと思います。 フーリエ変換の性質 フーリエ変換の定義 詳しくは、本記事では扱いません。 $K$ を $1$ の $n$ 乗根を $n$ 個持つ体とします（競プロの文脈だと、$K=\C$ および $K=\F_p$ が重要です）。 $K$ に値を持つ数列 $A = (a_0,a_1,\ld
![[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3b83cb0b151f85f4ab582d54745629884ec04db/height=288;version=1;width=512/https%3A%2F%2Fmaspypy.com%2Fwp-content%2Fuploads%2F2023%2F01%2F5Dth6Yjz_400x400.jpg)
ArchiTekは、「イノベーション・ジャパン2019 ～大学見本市＆ビジネスマッチング～」（2019年8月29～30日、東京ビッグサイト）において、同社が開発するエッジデバイス向けAI（人工知能）プロセッサの技術紹介を行った。競合のエッジAIチップと比較して電力性能やコスト面で優位性があると訴える。【訂正あり】（2019年9月18日17時00分） ArchiTekは大阪市に本社を置き、独自アーキテクチャ「aIPE（ArchTek Intelligence Pixel Engine）」の開発を進めるベンチャー企業。代表取締役CTO（最高技術責任者）の高田周一氏をはじめとして、エンジニア陣はテレビやゲーム機のLSI開発経験がある大手電機メーカー出身者や半導体ベンチャー経験者で固める。 同社は2018年6月、経済産業省のスタートアップ支援プログラム「J-Startup」に選定された。同年10月
会社のDX推進に欠かせないデータサイエンティストですが、具体的にどのようなスキルを備えている必要があるのでしょうか。今回は一般社団法人データサイエンティスト協会が公開している「データサイエンティストスキルチェックリストver5」の内容に則り、データサイエンティストに求められる3つのスキルセットを解説します。 データサイエンティストに必要な3つのスキルセットとは？ データサイエンティストには、大きく分けて「データサイエンス力」「データエンジニアリング力」「ビジネス力」の3種類のスキルが求められます。 データサイエンス力 データサイエンス力は、企業のビジネス課題に関連するデータを情報科学理論に基づいて分析し、課題解決につなげる能力です。企業が効率的にデータを活用できるかどうかはデータサイエンティストの解析能力に大きく左右されるため、データサイエンティストにとって要のスキルと言えます。 データエ
Juliaで精度保証付き数値計算
Juliaを使って、精度保証付き数値計算の方法を紹介します。精度保証付き数値計算は「敷居が高い」と言われ続けていますが、その敷居をみんなが跨げるようにするのが本稿の目的です。Juliaは近年飛ぶ鳥を落とす勢いの計算機言語で、区間演算が実装されているIntervalArithmetic.jlというパッケージがあります。これを利用して、精度保証付き数値計算を実装した例を紹介します。精度保証付き数値計算ってこうやるんだと身近に感じてもらい、今後使ってもらったら嬉しいです。 注意 区間演算の実装であるIntervalArithmetic.jlの実装にまだ不安があり、精度保証付き数値計算で論文を書くときは、MATLABのINTLABやC++のkvライブラリを利用することを推奨します。今はまだ、こうやって実装するのかと気軽に精度保証付き数値計算を体感してもらうためのコンテンツです。今後、区間演算の実装
Haskellの多相型システムでは、型をパラメーターとして取る型を定義することができる。この拡張として、GHC拡張の型レベル自然数を使うと、自然数をパラメーターとしてとる型を定義することができる。 型レベル自然数を使うには、GHC拡張の DataKinds を有効にして、 GHC.TypeLits モジュール（もしくは GHC.TypeNats モジュール）をimportする。 この記事で説明するのは基本的に、GHC組み込みの Nat カインドを持つ型レベル自然数である。データ型として帰納的に定義される自然数については、比較のために紹介する程度にとどめる。 初級編 まずは、型レベル自然数の基本的な使い方を紹介する。 雰囲気を掴む 小難しい話に入る前に、GHCの型レベル自然数の雰囲気を見ておこう。 {-# LANGUAGE DataKinds #-} {-# LANGUAGE ScopedT
Python互換言語「Mojo」、Appleシリコンにネイティブ対応したMac版が公開。Pythonの9万倍、C言語に比肩する高速性 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 ModularはPythonの高速なスーパーセットと同社が位置づける開発中の新言語「Mojo」の、Appleシリコンにネイティブ対応したMac版をリリースしました。 Mojoは9月に初めてローカル環境でコンパイルなどを実行可能なLinux対応のツール群を公開しています。今回のAppleシリコンにネイティブ対応したMac版のリリースは、このLinux版のリリースに続いて登場しました。 ちなみに現時点でWindowsでのMojoの利用はWindows Subsystem for Linux（WSL）を用いてLinux版を使う方法が示されており、Windows版のリリース時期はまだ明らかにされていないようです。 MojoはPythonより高速にA
Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい？（西川善司のバビンチョなテクノコラム） | テクノエッジ TechnoEdge
テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 Core Ultra搭載のノートPCのサンプル評価機が我が家にやってきた。 モデル名はASUS「Zenbook 14 OLED UX3405」。 西川Zen司という名前でありながら、ASUSのZenbookを実際に自宅で触るのは初めてのことである（Ry"Zen"の方は初代から愛用してはいたが）。 本機の搭載CPUは、Core Ultra 7 155Hで、ラインアップ上の中間グレードに位置するモデルとなる。 搭載CPUはCore iシリーズではなく、Intelが昨年末から投入を開始した新シリーズ「Core Ultra」を採用。本機は、いわゆるIntelが2024年以降に強力に推進する「AI PC」だ。 わざわざ「
注意機構・自由エネルギー原理・ニューラルネットの概念の獲得
モダン・ホップフィールドネットと正準ニューラルネットには，どちらも生物学的妥当性をもつ再帰型ニューラルネットとして提案された，という共通点がある．この投稿では，モダン・ホップフィールドネットと正準ニューラルネットにまたがる共通点を掘り下げていくことによって，注意機構，自由エネルギー原理，そしてニューラルネットにおける概念の獲得という一見異なる容貌をした３つの概念が，隠れた水路を通じてお互いにつながり合うことを明らかにしたい． 1. ホップフィールドネット 1−1. モダン・ホップフィールドネットと注意機構 モダン・ホップフィールドネットは，離散的な状態しか持たない古典的なホップフィールドネットを拡張したモデルで，連続的な状態とそれに対応した状態の更新式を備えている[1]．この新しいホップフィールドネットには，①多くのパターンを連想空間に保存する指数関数的な記憶容量を持ち，②1回の更新でパタ
Preferred Networksは、PyTorchを用いた深層学習の研究開発をサポートする「pytorch-pfn-extras」ライブラリをオープンソースソフトウェアとして公開するなど、PyTorchコミュニティーとの連携強化について発表した。 Preferred Networks（PFN）は2020年5月12日、PyTorchコミュニティーとの連携強化について発表した。 PyTorchは、プログラミング言語「Python」向けのオープンソース機械学習ライブラリ。同社は今回、PyTorchを用いた深層学習の研究開発をサポートする「pytorch-pfn-extras」ライブラリをオープンソースソフトウェア（OSS）として公開した。 pytorch-pfn-extrasは、Chainerの中で特に役立つ機能をPyTorch向けに再実装したものだ。ChainerからPyTorchに深層学
PFNがChainerの開発を終了しPyTorchへ移行、西川社長「非常に大きな決断」：人工知能ニュース Preferred Networks（PFN）は2019年12月5日、同社が開発する深層学習フレームワーク「Chainer」のメジャーアップデートを終了すると発表した。 Preferred Networks（PFN）は2019年12月5日、同社が開発する深層学習フレームワーク「Chainer」のメジャーアップデートを終了すると発表した。バグフィックスおよびメンテナンスは継続する。同社の研究開発基盤は、Chainerから米Facebookが主導する深層学習フレームワーク「PyTorch」へ順次移行する。 同日に公開された「Chainer v7」が最後のメジャーリリースになる予定だ。ChainerファミリーのライブラリであるChainerCVやChainer Chemistry、Chain
Projection Matrixについて | shikihuiku – 色不異空 – Real-time rendering topics in Japanese.
はじめに Projection Matrixは何となくややこしいイメージが強い。実際ややこしい。自分でも勘違いすることがある。 なのでいったんまとめることにする。 Row Major, Column Major, ベクトルとの乗算の順序 Projection Matrixは4x4の正方行列で、メモリに格納するときに行要素を優先して格納すればRow-Major、列要素を優先して格納すればColumn-Majorと呼ばれる。 Row-Majorは以下の添え字の順番で格納したものを指す。 $$ \begin{pmatrix} a_1 & a_2 & a_3 & a_4 \\ a_5 & a_6 & a_7 & a_8 \\ a_9 & a_{10} & a_{11} & a_{12} \\ a_{13} & a_{14} & a_{15} & a_{16} \end{pmatrix} $$ 対し
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo!カーナビのエンジニアをしている浅見宗広です。 Yahoo!カーナビは、自動車事故の少ない社会を実現すべく、ドライバーの皆さんの運転特性を把握し、より安全な運転を促す「ドライブ記録」機能を搭載しています。この「ドライブ記録」には、運転特性をスコア化する機能もあり、本稿では、スマホの加速度センサーを利用してどのように運転特性をスコア化しているかを紹介しようと思います。 なお、本記事は、パワーアップした「ドライブ記録」のスコアエンジン開発裏話（外部サイト）をエンジニア向けに、技術的な要素を掘り下げた内容になっています。 目次 運転特性とは？ 車の加速度とスマホが計測する加速度の関係 スマホの加速度センサーから取得
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
ディープラーニングを活用したレコメンドエンジン改善への取り組み - ZOZO TECH BLOG
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
レコメンドエンジン導入までの取り組みとアーキテクチャについて - コネヒト開発者ブログ
Pythonで動かして学ぶ！あたらしい数学の教科書 機械学習・深層学習に必要な基礎知識 | 翔泳社
書評『統計のための行列代数』 | Hippocampus's Garden
言語モデルを高位合成でFPGAに実装してみた
これは衝撃!1.5Bで超高性能LLM!RWKV-5-World-v2｜shi3z
AlphaTensor :強化学習を利用した高速な行列積演算アルゴリズムの発見 - Qiita
[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP
画像処理と機械学習に特化したエッジAIチップ、「売価は1000円以下を目標」
データサイエンティストに必要な3つのスキルセットとは？くわしく解説
GHCの型レベル自然数を理解する - Qiita
PyTorchを用いた深層学習の研究開発向けライブラリを公開
PFNがChainerの開発を終了しPyTorchへ移行、西川社長「非常に大きな決断」
スマホの加速度センサーから車の運転特性を求める 〜 Yahoo!カーナビの挑戦