はてなブックマーク

こんばんは、Dajiroです。今回はGoogle Colabratory(以下、Colab)におけるPyTorchの使い方についてご紹介します。ColabといえばGoogle社が無料で提供しているノートブック形式のPython計算環境です。通常のCPUに加え、GPUとTPUといった機械学習向けの計算環境も使えるため、手っ取り早く爆速で計算を回すのには最強の環境と言えると思います。使い方は簡単、以下のリンクに飛ぶだけです。恐ろしい・・・ colab.research.google.com さて、Colabの最大の特徴の１つはTPU (Tensor Processing Unit)が使えることです。TPUはGoogle社が開発した機械学習に特化したプロセッサです。機械学習では32, 64ビット等の計算精度が求められないため、TPUは8／16ビットの演算器から構成されています。このように使用用途

こんにちは。機械学習の適用先としては、自然言語処理、画像解析、時系列解析など幅広い分野があるわけですが、今日はグラフ構造に対する機械学習モデルを紹介したいと思います。グラフで表現出るものは多く、例えば人間関係だとか、論文の引用・被引用関係、さらには化合物の構造なども当てはまります。近年のグラフニューラルネットワークの多くはグラフの頂点や辺を何らかの特徴量で表現し、それらを周囲の情報を取り込みながら更新していくという仕組みを取っています。数多くの事例が報告されていますが、特に注目されているGraph Attention Networks（GAT）について取り上げます。 原著論文はこちら。これを理解するための鍵は、グラフの頂点を表す特徴量をどのように更新するか、そしてグラフの頂点と頂点の「つながり」の重要度をどのように計算するか、という２点にあると思います。 arxiv.org Graph A

こんにちは、Dajiroです。前回の技術記事を書いてからだいぶ日が空きました。本ブログでは機械学習に関する幅広い技術を解説しようと目論んでいるので、まだ扱ったことのない自然言語処理のネタををじっくりコトコト仕込んでいました。本記事では 単語埋め込み 語順の組み込み Self-Attention に焦点を当てながら、2値分類の一連のワークフローの解説と（若干の）実装をご紹介します！実装はこちらの書籍を参考にしました。2値分類を行うためのTransformerのエンコーダ部分が紹介されています。 つくりながら学ぶ！PyTorchによる発展ディープラーニング 作者:小川 雄太郎発売日: 2019/07/29メディア: Kindle版 Transformerとは？ 仕組みの概要 全体の流れ 1. 文章のベクトル化 2. 語順情報を追加 3.アテンションの計算 二値分類と結果の解釈 所感 Trans