著者のHarshit Tyagi氏は、インドでデータサイエンスに関するインストラクターをしています。同氏がMediumに投稿した記事『ほぼすべての機械学習プロジェクトのためのタスクチートシート』では、機械学習モデルを構築するにあたって必要なタスクがリストアップされています。 学習データの取得やAIモデルの訓練といった固有なタスクを含む機械学習モデルの構築には、様々なタスクを実行する必要があります。こうしたタスクを、同氏は以下のような8つにステップに分けてチェックリスト化しました（具体的なチェック項目については、本記事本文を参照）。 問題の定義と開発アプローチの検討 データソースの特定とデータの取得 学習データの特徴に関する分析 学習データの変換やクリーニング ベースラインモデルの開発とベストモデルの探索 ファインチューニングとアンサンブル学習の検討 開発資料の文書化とプレゼン資料の作成 機

3つの要点 ✔️ 新たに提案するグローバル状態量を用いることで，少量のパラメタを追加するだけで複数の物性値を予測することが可能に ✔️ Pooling層において，結晶内の原子の順番を考慮したSet2SetというPooling方法を採用 ✔️ 原子の埋め込みを用いて，全元素ごとの相関を可視化 Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals written by Chi Chen, Weike Ye, Yunxing Zuo, Chen Zheng, Shyue Ping Ong (Submitted on 12 Dec 2018 (v1), last revised 28 Feb 2019 (this version, v2)) Comments: Chemistry of

3つの要点 ✔️ Attentionの計算量をO(n^2)からO(n log n)へと劇的に削減 ✔️ アクティベーションなどのメモリ使用量を大幅に削減 ✔️ 速度・メモリ共に実装効率を大きく改善しながらも、Transformerの性能を維持 Reformer: The Efficient Transformer written by Anonymous (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: Accepted at ICLR2021 Subjects: Machine Learning (cs.LG); Computation and Language (cs.CL); Machine Learning (stat.ML) Official Comm 大規

全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transformer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transformerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。 それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transformerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transformerは2017年に公開され、今

以下の記事を参考に書いてます。 ・OpenAI BLOG : Image GPT 1. はじめに言語で学習した大規模モデルがもっともらしい（論理的に一貫性がある）なテキストを生成できるのと同じように、画像で学習した大規模モデルがもっともらしい画像を生成できることを発見しました。サンプル品質と画像分類精度の相関関係を確立することにより、私たちの教師なし学習の生成モデルは、畳み込みに匹敵する特徴を含むことを示しています。 2. Image GPT「教師なし学習」と「自己教師あり学習」（人間がラベル付けしたデータを用いない学習）は、機械学習の長期にわたる課題です。最近では、「BERT」「GPT-2」「RoBERTa」「T5」などのTransformerモデルが、様々な言語タスクでトップの性能を達成しています。しかし、画像分類のための強力な特徴量を生成することには成功していません。私たちの研究は、