タンパク質の言語モデル
ここ数年、深層学習に基づく生物配列の解析技術が台頭してきている。本稿は、その中でも特に急速に発達しているタンパク質の言語モデル（protein language models: pLMs）に関する総説である。アカデミアはもとより巨大IT企業も研究参画するこの技術は、基盤となるモデル開発がすでに一段落し、多様な生物学的・工学的タスクに対する応用結果が続々と報告されるフェーズに入っている。本稿では、最近のpLMsで中心的に用いられるTransformerの内部機構や学習方法、pLMsが獲得した生物学的情報の解析といった基本的な事項の解説から始め、配列解析、タンパク質機能予測・機能改変、立体構造予測、そして大規模言語モデルによる機能性タンパク質配列生成まで、実験的検証事例を交え幅広いテーマを紹介する。最後に、今後のpLMs研究が迎えうる展開について、萌芽的結果を踏まえつつ考察したい。
Juliaで最低限やっていくための配列操作まとめ - Qiita
はじめに 新しくJuliaを始めた時に配列操作で困らない程度にまとめたものです(演算は含みません)。 量が多いので必要に応じて目次から飛ぶことをオススメします。 誤字脱字、もっといい書き方などがあれば教えて頂けると嬉しいです。 動作環境 macOS 10.15.4において Version 1.0.5 Version 1.1.1 Version 1.2.0 Version 1.3.1 Version 1.4.0 で以下のコードが動作することを確認済みです。 出力が異なったものはコメントでv1.x.yと表記しました。 配列を作成する 1次元配列 各要素は,で区切る。1次元配列は列ベクトルであることに注意。 julia> [1] 1-element Array{Int64,1}: 1 julia> [1, 3, 4] 3-element Array{Int64,1}: 1 3 4 julia>
Python 内包表記の限界: 複雑な処理と実行速度の関係 - Qiita
初めに 本記事は実務上で速度的優位性を得るために内包表記を使うことが合理的かどうか検証したものです。 文中のコードは読者層を広くするために型ヒントを省いています。 更新履歴 詳細 追記 (2023/05/24) 計測環境はPython3.12.0a6です。 修正 (2023/05/24) 記事中のバイトコードがPython3.7.16のものだったのでPython3.12.0a6のものに差し替えました。 修正 (2023/05/27) 「list(generator) 使えよ」とのご指摘があったので 単純な例の内包表記を[i for i in range(ELEMENTS)]からlist(range(ELEMENTS))に修正しました。 ご指摘ありがとうございます。 追記 (2023/05/28) Twitterでの反応に対しての追記を行いました。
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
【1分解説】教養として知っておきたいノーベル物理学賞。その先にある、量子論の｢外側｣とは
2022年のノーベル物理学賞の受賞テーマである｢量子もつれ｣のイメージ。 ©Johan Jarnestad/The Royal Swedish Academy of Sciences 日本では、特に自然科学賞に携わる研究について、ノーベル賞の受賞は｢研究のゴール｣のように思われがちです。 しかし、ノーベル賞を受賞するような研究も、過去から未来へと脈々と受け継がれていくものの一つです。 今年のノーベル賞のうち自然科学部門（生理学・医学賞、物理学賞、化学賞）を受賞したテーマのポイントを押さえつつ、その一歩先にある研究現場の｢今｣のエッセンスを3回にわたる連載でお届けします。 2回目は、10月4日に発表された｢物理学賞｣です。 ※他の賞は次のリンクから御覧ください。生理学・医学賞、化学賞。 2022年のノーベル物理学賞では、現代でも注目されている量子コンピューターなどに関わる、｢量子力学｣の基礎
タイヤ業界にも“電動化”の波、中国で激化する「EV用タイヤ」開発競争 各メーカーが続々と新製品投入、業界地図が書き換えられるか？ | JBpress (ジェイビープレス)
（花園 祐：中国・上海在住ジャーナリスト） 「100年に一度の大転換」とも言われる電気自動車（EV）シフトを迎え、自動車業界では完成車メーカーのみならず、各部品メーカーも変革への対応に追われています。モーターやバッテリーはもちろんのこと、既存部品においても、よりEVに適した形態、性能への転換が進んでいます。 こうしたEVシフトの波が押し寄せているのは、自動車の最大の消耗部品ともいえるタイヤも例外ではありません。各タイヤメーカーは、EVの特性に合わせたEV用タイヤの開発、市場投入を進めています。特にEV市場が急成長している中国では、今後の業界動向を占う、大きなファクターにもなりつつあります。 そこで今回は、EV用タイヤと従来のエンジン車用タイヤとの違いおよび中国市場の現状について見ていきたいと思います。 従来型以上に求められる耐摩耗性、静粛性 駆動系や制御系の部品と比べ、一見するとタイヤには
Running Stan on the GPU with OpenCL
Running Stan on the GPU with OpenCL Rok Češnovar and Jonah Gabry Source: vignettes/opencl.Rmd Introduction This vignette demonstrates how to use the OpenCL capabilities of CmdStan with CmdStanR. The functionality described in this vignette requires CmdStan 2.26.1 or newer. As of version 2.26.1, users can expect speedups with OpenCL when using vectorized probability distribution functions (function
ラドン＝ニコディムの定理 - Wikipedia
数学におけるラドン＝ニコディムの定理（ラドン＝ニコディムのていり、英: Radon–Nikodým theorem）は、測度論の分野における一結果で、ある可測空間 (X, Σ) が与えられたとき、(X, Σ) 上のある σ-有限測度（英語版） ν が別の (X, Σ) 上の σ-有限測度 μ に関して絶対連続であるなら、任意の可測部分集合 A ⊂ X に対して次を満たす可測函数 f : X → [0, ∞) が存在することを述べた定理である： この函数 f はラドン＝ニコディム微分と呼ばれ、dν/dμ と表記される。 この定理の名は、1913年に空間 RN での特別な場合について証明を与えたヨハン・ラドンと、1930年に一般の場合の証明を与えたオットー・ニコディム（英語版）に由来する[1]。1936年にハンス・フロイデンタールは、この定理を特別な場合として含む、リース空間での一結果
Julia vs Numba and Cython: Looking Beyond Microbenchmarks
We compare the performance of Julia and Numba, for a minimal benchmark that enables to see some fundamental difference between Julia and accelerated-Python. Python is a programming language with so many advantages that we don’t even need to list them. It is also commonly acknowledged that its main drawback is code performance. Given this problem, many ways of speeding-up Python have been proposed
SLAM開発における課題と対策の一例の紹介
第6回 3D勉強会＠関東 発表スライド https://3dvision.connpass.com/event/156241/Read less
Deep Ensembles from a Bayesian Perspective
Deep ensembles can be considered as the current state-of-the-art for uncertainty quantification in deep learning. While the approach was originally proposed as a non-Bayesian technique, arguments supporting its Bayesian footing have been put forward as well. We show that deep ensembles can be viewed as an approximate Bayesian method by specifying the corresponding assumptions. Our findings lead to
現状では、量子コンピュータを使っても特に高速に組合せ最適化問題や量子化学計算、機械学習は解けない件 by Yuichiro Minato | blueqat
こんにちは。最近米国でも量子コンピュータにまつわる誇大広告が問題になっています。米国ではすでに量子アニーリングを行っている企業はほとんどおらず、量子ゲート方式しかやっていないのにもかかわらず、誇大広告とはどういうことでしょうか？また、量子コンピュータに参入してしまった企業はどのように対策をしているのでしょうか。 特に誇大広告として語られてしまっているのが、 １，組合せ最適...
Computer Vision x Trasformerの最近の動向と見解｜akiraTOSEI
この記事についてこの記事では、Vision Transformer[1]登場以降のTransformer x Computer Visionの研究で、興味深い研究や洞察について述べていきます。この記事のテーマは以下の4つです。 • Transformerの急速な拡大と、その理由 • TransformerとCNNの視野や挙動の違い • TransformerにSelf-Attentionは必須なのか？ • Vision Transformerの弱点と改善の方向性 また、この記事のまとめとしての私の見解は、以下の通りです。 1. Vison Transformer以来、Transformerはその適用範囲を急速に拡大した。その理由として、色々なデータに適用できること、異なるモーダル間で相関を取りやすいことがあると個人的に考えている。 2. TransformerとCNNの大きな違いとして視野
A Survey of Quantization Methods for Efficient Neural Network Inference
As soon as abstract mathematical computations were adapted to computation on digital computers, the problem of efficient representation, manipulation, and communication of the numerical values in those computations arose. Strongly related to the problem of numerical representation is the problem of quantization: in what manner should a set of continuous real-valued numbers be distributed over a fi
Categorical Reparameterization with Gumbel-Softmax
Categorical variables are a natural choice for representing discrete structure in the world. However, stochastic neural networks rarely use categorical latent variables due to the inability to backpropagate through samples. In this work, we present an efficient gradient estimator that replaces the non-differentiable sample from a categorical distribution with a differentiable sample from a novel G
事前分布に深入りする – MIIDAS Science Blog
こんにちは。 本日はprior distributionについて深入りしてみようと思います。事前分布って不思議ですよね。個人的には共役事前分布って誰が見つけたのかなー？と永遠思ってます。事前分布のスキルを高めるということはベイズの力を高めるということだと思います。なのでやっていきましょう。 Conjugate Prior 欲しいものはいつもposterior distributionです。 とが同じ分布になる時、そのpriorをconjugate priorといいます。共役事前分布です。しかし、実世界においてconjugate priorで十分か、といいますとそうではありません。なので現状はMCMCを使った次のようなアルゴリズムを使って数値計算するらしいです。 Stan WinBUGS（Bayesian inference Using Gibbs Sampling） OpenBUGS（Ba
とほほのRust入門 - とほほのWWW入門
「ラスト」と読みます。 Mozilla に従事するグレイドン・ホアレが個人的に開発していましたが、のちに Mozilla の公式プロジェクトとなりました。 2021年には、AWS, Google, Huawei, Microsoft, Mozilla がメンバーとなる Rust Foundation に権利が委譲されました。 Rust は「錆(さび)」を意味します。開発チームに自転車乗りが多く、ロゴも自転車のさび付きチェーリングを元にしています。 C言語やC++に変わる言語として開発されました。 Stack Overflow で2016～2019年の間「最も愛されているプログラミング言語」として1位を獲得しています。 Firefox の Servo(HTMLレンダリングエンジン)も Rust で開発されています。 if ... や while ... なども式として評価することができます。
2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください！ 他にも次のような記事を書いていますので興味があればぜひ！ わずか1%のラベルでImageNet高精度「SimCLR」解説 出きたてホヤホヤ！最新オプティマイザー「AdaBelief」を解説！ 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ 新たな活性化関数「FReLU」誕生&解説！ 自然言語処理の王様「BERT」の論文を徹底解説 2021/02/28 SimCLRのバッチサイズに関する記述を修正 2020年に大きく盛り上がりを見せた分野に自己教師あり学習(=Self-Supervised Learning(SSL))があります。SSLとは名前の通り自分で教師を用意するような手法で、デー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
視点:文化人類学への開かれた招待 第2版
Tuning High Performance Convolution on NVIDIA GPUs — tvm 0.17.dev0 documentation