Databricksで日本語DollyデータセットによるDollyのトレーニングを試す - Qiitaこちらでもトレーニング用のスクリプトが公開されたので、日本語データセットでトレーニングしてみました。 データセットの準備 データセットは引き続きこちらを活用させていただきました。 ただ、トレーニング用のスクリプトで前提としているJSONのカラム名と上のJSONのカラム名が異なっているので変換しています。変換したものはこちらに公開しています。jsonl形式です。 変換処理はこちら。 import json json_open = open("/dbfs/FileStore/shared_uploads/takaaki.yayoi@databricks.com/dolly/databricks_dolly_15k_ja.json", 'r') json_load = json.load(json_open) new_json_list = [] for element in json_load
