はてなブックマーク

アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の”Personal”から”View API keys”をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 で

GPT-1bの概要 ここでは、GPT2-mediumとの比較を中心にGPT-1bの概要を説明したいと思います。 GPT-1bの事前学習に使ったデータセットはこちらです。 Japanese C4Japanese CC-100Japanese Wikipedia GPT2-mediumで使ったデータセットからJapanese C4というデータセットが追加されています。 C4データセット(Colossal Clean Crawled Corpus)はGoogleのTransformerベースのモデルであるT5(Text-to-Text Transfer Transformer)で使われた“Webから収集された文章を集めたデータセット”で、その日本語のデータになります。 そして、パラメータ数はGPT2-mediumの3億強から13億に増えています。 レイヤは同じ24ですが、埋め込みの次元が1024

機械学習入門編 機械学習についてある程度基礎知識がないと難しいですので、まずは最低限の機械学習の理解をするための本をご紹介します。 どの順番に読んでもいいですが、まずは手を動かすはじめの2冊がオススメです。 『［第2版］Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ』 Pythonを使った機械学習の定番の本ですね。 機械学習をこれから勉強する！という方に最適です。 非常にわかりやすく、パーセプトロンからしっかりと説明されています。 また理論だけでなく、実際にScikit-Learnなどを使って実装しますので、PythonやScikit-Learnについても理解することができます。 自然言語処理についても、Bag-of-WordsやTF-IDFについては説明されており、本格的に自然言語処理を勉強する前に読んでおくと良い

Streamlitのまとめ記事 最近、非常に人気が出てきているWebアプリ開発、ダッシュボード作成のためのフレームワークStreamlit。 この記事では、過去の記事をまとめてご紹介しています。 Streamlitの基本から様々な機能を紹介していますので、見て気になる機能があればチェックしてみてください。

では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。 The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performi... Transformerとは自然言語処理において、現時点ではもっとも成果を挙げているモデルであるBERTやXLNetで使われている重要な仕組みです。 ですので、自然言語処理を学ぶ、業務で使う人は是非押さえておきたいモデルです 。 モデルの構造は知っているので、どのように実装するかを知りたい、という方は以下の記事をご