FlexAttention: The Flexibility of PyTorch with the Performance of FlashAttention
In theory, Attention is All You Need. In practice, however, we also need optimized attention implementations like FlashAttention. Although these fused attention implementations have substantially improved performance and enabled long contexts, this efficiency has come with a loss of flexibility. You can no longer try out a new attention variant by writing a few PyTorch operators - you often need t
書籍が開発者としての資質を強化する。C++エキスパート・高橋晶が選ぶ、人生に影響を与えた5冊
書籍が開発者としての資質を強化する。C++エキスパート・高橋晶が選ぶ、人生に影響を与えた5冊 2024年8月8日 高橋 晶 C++日本語リファレンスサイトcpprefjpを運営し、C++の最新情報を日本語で発信している。 株式会社Preferred Networksに所属し、スーパーコンピュータのソフトウェア開発に携わっている。 著書として、『C++テンプレートテクニック』(SBクリエイティブ)、『C++ポケットリファレンス』(技術評論社)、『プログラミングの魔導書』(ロングゲート)。 X: @cpp_akira GitHub: faithandbrave 1. 『スイッチ！「変われない」を変える方法』Chip Heath 著、 Dan Heath 著 千葉敏生 翻訳 2. 『習慣の力』Charles Duhigg 著、渡会 圭子 翻訳 3. 『これからの「正義」の話をしよう ── いまを
外資IT企業のSoftware Engineer - Machine Learningのオファーをもらうためにやったこと - 肉球でキーボード
写真は前職の最終出社日に同期と朝まで飲んで撮った渋谷スクランブルスクエア この記事について 本記事では自分が外資IT企業のSoftware Engineer - Machine Learning(機械学習エンジニア)に応募して、オファーをいただくまでにやったことを書きます。 外資IT企業のSoftware Engineerに関する日本語ドキュメントは、既に多くの方が素晴らしい記事を公開してくれていますが、Machine Learning / Data Science専門のポジションに関する情報はまだまだ少ない印象です。 本記事が外資IT企業でMachine Learning / Data Science関連の職を目指す人の参考になればと思います。 本記事には以下の内容は含まれません。 具体的な面接項目・質問内容 お金の話 企業ごとの面接項目についてはGlassdoor, LeetCode、
GAIA-1: 自動運転のための世界モデルを理解する
1. はじめに Turing 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容: 世界モデルとは何か 世界モデルの開発はなぜ自動運転に重要なのか 世界モデルGAIA-1について 2. 世界モデルとは 世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用などの「世界の仕組み」を表現するモデルのことです。人間は、生まれながらにして備わっている身体感覚や運動能力を通じて身の回りの世界に関するメンタルモデルを構築し、それを基に予測や計画、行動をおこなっています。例えば、ボールを
編集距離（レーベンシュタイン距離）を理解し、実装する - Qiita
とある実験を行うため、編集距離を使う必要があるので、勉強したものをアウトプットします。 ＜本記事のゴール＞ 編集距離について、理解した上で、Pythonで実装できている状態 ＜進め方＞ 編集距離の概念を理解する 編集距離の実装（正解）を見る デコレータについて理解する メモ化について理解する 編集距離の実装（正解）を理解する 補足：編集距離の発展形を理解する 編集距離の概念を理解する 編集距離、または、レーベンシュタイン距離については、Wikipediaに以下の記載があります。 レーベンシュタイン距離（レーベンシュタインきょり、英: Levenshtein distance）は、二つの文字列がどの程度異なっているかを示す距離の一種である。編集距離（へんしゅうきょり、英: edit distance）とも呼ばれる。具体的には、1文字の挿入・削除・置換によって、一方の文字列をもう一方の文字列に
Optimizing AI Inference at Character.AI
At Character.AI, we're building toward AGI. In that future state, large language models (LLMs) will enhance daily life, providing business productivity and entertainment and helping people with everything from education to coaching, support, brainstorming, creative writing and more. To make that a reality globally, it's critical to achieve highly efficient “inference” – the process by which LLMs g
訪問ヘルパー 消滅の危機 介護が必要になっても「ヘルパーさんがこない」 | | 小島美里 | 毎日新聞「政治プレミア」
介護の人手不足が続いています。高齢者・障がい者の支援事業などを展開するNPO法人暮らしネット・えんの代表理事の小島美里さんに聞きました。【聞き手・須藤孝】 ◇ ◇ ◇ ――訪問ヘルパーは消滅の危機にあると訴えています。 小島氏 そう言わざるをえません。しかし、多くの人は介護が必要になったら、ヘルパーさんに来てもらえると思っています。このギャップが問題です。 70代のヘルパー ――どのような状況ですか。 ◆ヘルパーの平均年齢は54歳といわれていますが、現場の感覚ではとてもそんなものではありません。この仕事をはじめてから28年目に入っていますが、当初40代だったヘルパーが70代になっています。 その人たちが辞めたいと言っても、辞めてもらうことができない状態です。週に2、3回でもいいから、と頼んでいるのが現実です。 ヘルパーは約50人いて、50代が一番多いのですが、次が70代で、14人います。こ
トレーニングメニューを「iPad×データ分析」で最適化。FC町田ゼルビアの躍進を支える “試合に勝つため”のiPad活用
サッカー明治安田J1リーグで快進撃を続けるFC町田ゼルビアは、パフォーマンスを最大限発揮するため、iPadをトレーニングや分析に活用しているという。躍進を支えるiPadの存在について、同クラブを取材した。 データ分析で効率よく選手のポテンシャルを上げる 東京都町田市をホームタウンとするサッカークラブ「FC町田ゼルビア」。2023年10月に名将・黒田剛監督のもと悲願のJ1リーグ初昇格を決め、2024年シーズンは第13節を終えた時点で現在2位と、まさに破竹の勢いを見せている。 サッカーのみならず、現代スポーツにおいてデータの活用は欠かせない。FC町田ゼルビアでは、主に「フィジカルトレーニング」と「分析」において、iPadやGPSデバイスを役立てているという。同クラブのテクノロジー活用について、フィジカルコーチ・山崎亨氏と分析担当コーチ・赤野祥朗氏に話を聞いた。 まずサッカーにおけるフィジカルコ
Staff Engineerの本を読んだ｜Kenta Shimada
Staff Engineer: Leadership beyond the management track (English Edition) www.amazon.co.jp Staff Engineer, Leadership beyond the management trackというタイトルの本を呼んだ 何が書かれているのかGAFAに代表される米国Tech companyではSoftware Engineerの職位として、Stuff Engineerというタイトル・ポジション・グレードがある。会社によって違いはあるものの、概ねSeniorよりも更に上のグレードのエンジニアを指す。 例えばGoogleでは下記のようなグレードがある。Google Senior Fellowが最上位となる。 Senior Software Engineer Staff Software Enginee
Google Software Engineering Levels and Ladders
Google (now Alphabet) hires a lot of engineers every year. There are articles out there about the interview process and how to prepare, and I do definitely recommend spending time in preparation. Google interviews for software engineers mostly do not focus on the candidate's resume or prior experience, instead asking technical questions on various topics and coding. You'll do better if you mentall
MSI Cyborg 15 (A12V)の開封方法 - 分解とアップグレードのオプション | LaptopMedia 日本
1.底板を取り外す底板をシャーシに固定しているプラスネジが9本あります。このネジを外したら、プラスチック製のこじ開け工具を使って、パネルを持ち上げてデバイスから離します。 2.バッテリーを取り外す内部には、53.5Whのバッテリーパックが入っています。取り外すには、バッテリーを固定している3本のプラスネジを外し、マザーボードからコネクタを抜きます。 3.メモリとストレージのアップグレード金属製のシュラウドの下に2つのSODIMMスロットがあります。合計64GBのDDR5 RAMをサポートします。ストレージ面では、M.2 PCIe x4スロットが1つあり、Gen 4 SSDを使用することができます。 4.冷却装置冷却に関しては、CPUとGPUの間で共有される1本のヒートパイプと、それぞれのGPUに専用されるもう1本のヒートパイプを備えています。さらに、2つのヒートシンク、1つのファン、グラフ
UbuntuTips/Others/MagicSysRq - Ubuntu Japanese Wiki
対象とするUbuntuのバージョン すべて 原文 PmDematagodaが公式フォーラムに投稿した、"MagicSysRq keys for assistance with Ubuntu troubles"（2008/01/19時点の内容） はじめに SysRqキーは他のキーと組み合わせて使うことで、さまざまな低レベルコマンドをシステムの状態に関係なく実行することができます。ただし、Linuxカーネル自身がカーネルパニックを起こしていたり、フリーズしている場合は利用できません。Xサーバのフリーズ状態から復帰する場合や、ファイルシステムを破壊することなくコンピュータを再起動する際によく使われます。 フリーズしたUbuntuを安全に再起動するには Ubuntuがフリーズし何もできなくなったとしましょう。可能な限りHDDにダメージを与えたり、データをなくすことなく、きれいにOSを再起動したい場
TransformerにおけるSoftmax関数の計算量とLinear Transformer - あつまれ統計の森
Transformerは汎用的に用いることのできる強力なDeepLearningである一方、入力系列のトークンが多くなると計算量も増大します。当記事ではTransformerの各Attention処理でのSoftmax計算の軽減にあたっての研究である、Linear Transformer論文について取りまとめました。 作成にあたってはLinear Transformer論文や、「A Survey of Transformers」の内容を参考にしました。 ・用語/公式解説 https://www.hello-statisticians.com/explain-terms 前提の確認 Transformerの仕組みの概要 Dot Product Attentionに主に基づくTransformerの仕組みについては既知である前提で当記事はまとめました。下記などに解説コンテンツを作成しましたので
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita
[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説]DeepLearning深層学習Transformer Attentionを爆速にした論文Transformers are RNNsを解説 こんにちはYosematです！ 今回は長いこと計算時間が問題になっていたAttentionが爆速になってしまったという論文Transformers are RNNsを解説していきます。 今後も論文解説を続けていきますのでぜひTwitterとQiitaをフォローしてください！モチベ上がります！ 忙しい人向け Attentionの計算に内積を使うのをやめてカーネル関数を使う Self-Attentionの計算オーダーが$O(n^2)>>O(n)$になった 計算は爆速になったけどパフォーマンスはcompetetive! Tra
![[深層学習]4000倍早いTransformer, Self-Attentionの計算量がO(n^2)からO(n)になった[論文解説] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d8d4d84eca044cae4e427a7ef160bfc061da1b9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJTVENDAwMCVFNSU4MCU4RCVFNiU5NyVBOSVFMyU4MSU4NFRyYW5zZm9ybWVyJTJDJTIwU2VsZi1BdHRlbnRpb24lRTMlODElQUUlRTglQTglODglRTclQUUlOTclRTklODclOEYlRTMlODElOENPJTI4biU1RTIlMjklRTMlODElOEIlRTMlODIlODlPJTI4biUyOSVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSU5RiU1QiVFOCVBQiU5NiVFNiU5NiU4NyVFOCVBNyVBMyVFOCVBQSVBQyU1RCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmU2ZTA3NDIwMDIwYTljMDU5NDMzNjNjNDliMThiYzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZb3NlbWF0MSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YWQ2NTNkN2Y5OWRmNmE2YWY2YTI1MDAwNjY3MzNlMjE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D19795f4372018a595595886d8f99d6b7)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reducing Instagram’s basic video compute time by 94 percent
A comprehensive guide to go generate - Eli Bendersky's website
How to read input when debugging GO in Visual Studio Code?
Python Damerau-Levenshtein distance implementation « mwh.geek.nz
すばやく実装するための戦略とテクニック2024 / speed is power! 2024 #techramen24conf #shoyu
三笘選手のシュートフォームをグーグルのAI「Gemini」が教えてくれる、国立競技場で体験会
