ここ数年、深層学習に基づく生物配列の解析技術が台頭してきている。本稿は、その中でも特に急速に発達しているタンパク質の言語モデル(protein language models: pLMs)に関する総説である。アカデミアはもとより巨大IT企業も研究参画するこの技術は、基盤となるモデル開発がすでに一段落し、多様な生物学的・工学的タスクに対する応用結果が続々と報告されるフェーズに入っている。本稿では、最近のpLMsで中心的に用いられるTransformerの内部機構や学習方法、pLMsが獲得した生物学的情報の解析といった基本的な事項の解説から始め、配列解析、タンパク質機能予測・機能改変、立体構造予測、そして大規模言語モデルによる機能性タンパク質配列生成まで、実験的検証事例を交え幅広いテーマを紹介する。最後に、今後のpLMs研究が迎えうる展開について、萌芽的結果を踏まえつつ考察したい。
はじめに 新しくJuliaを始めた時に配列操作で困らない程度にまとめたものです(演算は含みません)。 量が多いので必要に応じて目次から飛ぶことをオススメします。 誤字脱字、もっといい書き方などがあれば教えて頂けると嬉しいです。 動作環境 macOS 10.15.4において Version 1.0.5 Version 1.1.1 Version 1.2.0 Version 1.3.1 Version 1.4.0 で以下のコードが動作することを確認済みです。 出力が異なったものはコメントでv1.x.yと表記しました。 配列を作成する 1次元配列 各要素は,で区切る。1次元配列は列ベクトルであることに注意。 julia> [1] 1-element Array{Int64,1}: 1 julia> [1, 3, 4] 3-element Array{Int64,1}: 1 3 4 julia>
初めに 本記事は実務上で速度的優位性を得るために内包表記を使うことが合理的かどうか検証したものです。 文中のコードは読者層を広くするために型ヒントを省いています。 更新履歴 詳細 追記 (2023/05/24) 計測環境はPython3.12.0a6です。 修正 (2023/05/24) 記事中のバイトコードがPython3.7.16のものだったのでPython3.12.0a6のものに差し替えました。 修正 (2023/05/27) 「list(generator) 使えよ」とのご指摘があったので 単純な例の内包表記を[i for i in range(ELEMENTS)]からlist(range(ELEMENTS))に修正しました。 ご指摘ありがとうございます。 追記 (2023/05/28) Twitterでの反応に対しての追記を行いました。
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア(機械学習 & MLOps領域)をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
2022年のノーベル物理学賞の受賞テーマである「量子もつれ」のイメージ。 ©Johan Jarnestad/The Royal Swedish Academy of Sciences 日本では、特に自然科学賞に携わる研究について、ノーベル賞の受賞は「研究のゴール」のように思われがちです。 しかし、ノーベル賞を受賞するような研究も、過去から未来へと脈々と受け継がれていくものの一つです。 今年のノーベル賞のうち自然科学部門(生理学・医学賞、物理学賞、化学賞)を受賞したテーマのポイントを押さえつつ、その一歩先にある研究現場の「今」のエッセンスを3回にわたる連載でお届けします。 2回目は、10月4日に発表された「物理学賞」です。 ※他の賞は次のリンクから御覧ください。生理学・医学賞、化学賞。 2022年のノーベル物理学賞では、現代でも注目されている量子コンピューターなどに関わる、「量子力学」の基礎
(花園 祐:中国・上海在住ジャーナリスト) 「100年に一度の大転換」とも言われる電気自動車(EV)シフトを迎え、自動車業界では完成車メーカーのみならず、各部品メーカーも変革への対応に追われています。モーターやバッテリーはもちろんのこと、既存部品においても、よりEVに適した形態、性能への転換が進んでいます。 こうしたEVシフトの波が押し寄せているのは、自動車の最大の消耗部品ともいえるタイヤも例外ではありません。各タイヤメーカーは、EVの特性に合わせたEV用タイヤの開発、市場投入を進めています。特にEV市場が急成長している中国では、今後の業界動向を占う、大きなファクターにもなりつつあります。 そこで今回は、EV用タイヤと従来のエンジン車用タイヤとの違いおよび中国市場の現状について見ていきたいと思います。 従来型以上に求められる耐摩耗性、静粛性 駆動系や制御系の部品と比べ、一見するとタイヤには
Running Stan on the GPU with OpenCL Rok Češnovar and Jonah Gabry Source: vignettes/opencl.Rmd Introduction This vignette demonstrates how to use the OpenCL capabilities of CmdStan with CmdStanR. The functionality described in this vignette requires CmdStan 2.26.1 or newer. As of version 2.26.1, users can expect speedups with OpenCL when using vectorized probability distribution functions (function
数学におけるラドン=ニコディムの定理(ラドン=ニコディムのていり、英: Radon–Nikodým theorem)は、測度論の分野における一結果で、ある可測空間 (X, Σ) が与えられたとき、(X, Σ) 上のある σ-有限測度(英語版) ν が別の (X, Σ) 上の σ-有限測度 μ に関して絶対連続であるなら、任意の可測部分集合 A ⊂ X に対して次を満たす可測函数 f : X → [0, ∞) が存在することを述べた定理である: この函数 f はラドン=ニコディム微分と呼ばれ、dν/dμ と表記される。 この定理の名は、1913年に空間 RN での特別な場合について証明を与えたヨハン・ラドンと、1930年に一般の場合の証明を与えたオットー・ニコディム(英語版)に由来する[1]。1936年にハンス・フロイデンタールは、この定理を特別な場合として含む、リース空間での一結果
We compare the performance of Julia and Numba, for a minimal benchmark that enables to see some fundamental difference between Julia and accelerated-Python. Python is a programming language with so many advantages that we don’t even need to list them. It is also commonly acknowledged that its main drawback is code performance. Given this problem, many ways of speeding-up Python have been proposed
Deep ensembles can be considered as the current state-of-the-art for uncertainty quantification in deep learning. While the approach was originally proposed as a non-Bayesian technique, arguments supporting its Bayesian footing have been put forward as well. We show that deep ensembles can be viewed as an approximate Bayesian method by specifying the corresponding assumptions. Our findings lead to
この記事についてこの記事では、Vision Transformer[1]登場以降のTransformer x Computer Visionの研究で、興味深い研究や洞察について述べていきます。この記事のテーマは以下の4つです。 • Transformerの急速な拡大と、その理由 • TransformerとCNNの視野や挙動の違い • TransformerにSelf-Attentionは必須なのか? • Vision Transformerの弱点と改善の方向性 また、この記事のまとめとしての私の見解は、以下の通りです。 1. Vison Transformer以来、Transformerはその適用範囲を急速に拡大した。その理由として、色々なデータに適用できること、異なるモーダル間で相関を取りやすいことがあると個人的に考えている。 2. TransformerとCNNの大きな違いとして視野
As soon as abstract mathematical computations were adapted to computation on digital computers, the problem of efficient representation, manipulation, and communication of the numerical values in those computations arose. Strongly related to the problem of numerical representation is the problem of quantization: in what manner should a set of continuous real-valued numbers be distributed over a fi
Categorical variables are a natural choice for representing discrete structure in the world. However, stochastic neural networks rarely use categorical latent variables due to the inability to backpropagate through samples. In this work, we present an efficient gradient estimator that replaces the non-differentiable sample from a categorical distribution with a differentiable sample from a novel G
こんにちは。 本日はprior distributionについて深入りしてみようと思います。事前分布って不思議ですよね。個人的には共役事前分布って誰が見つけたのかなー?と永遠思ってます。事前分布のスキルを高めるということはベイズの力を高めるということだと思います。なのでやっていきましょう。 Conjugate Prior 欲しいものはいつもposterior distributionです。 とが同じ分布になる時、そのpriorをconjugate priorといいます。共役事前分布です。しかし、実世界においてconjugate priorで十分か、といいますとそうではありません。なので現状はMCMCを使った次のようなアルゴリズムを使って数値計算するらしいです。 Stan WinBUGS(Bayesian inference Using Gibbs Sampling) OpenBUGS(Ba
「ラスト」と読みます。 Mozilla に従事するグレイドン・ホアレが個人的に開発していましたが、のちに Mozilla の公式プロジェクトとなりました。 2021年には、AWS, Google, Huawei, Microsoft, Mozilla がメンバーとなる Rust Foundation に権利が委譲されました。 Rust は「錆(さび)」を意味します。開発チームに自転車乗りが多く、ロゴも自転車のさび付きチェーリングを元にしています。 C言語やC++に変わる言語として開発されました。 Stack Overflow で2016~2019年の間「最も愛されているプログラミング言語」として1位を獲得しています。 Firefox の Servo(HTMLレンダリングエンジン)も Rust で開発されています。 if ... や while ... なども式として評価することができます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く