科研費小区分のキーワードをBERTでベクトル化して可視化 - Qiita

はじめに 今年もそろそろ科研費の季節がやってまいりました。 申請にあたって小区分のキーワード表があるので、各キーワードの位置関係を知るために、BERTでベクトル化して次元削減し、2次元で可視化してみました。pdfからデータを読み込むところはtabulaでやります。 科研費小区分とキーワード 科研費を申請する時に、自分の研究をどの分野で審査してほしいか指定します。審査区分表 に「内容の例」があるので、これをキーワードとしてBERTでベクトル化します。申請する種目によって小区分、中区分、大区分がありますが、今回は小区分があるということを理解していれば大丈夫です。各小区分には5桁の番号が割り振られており、近い分野はおおむね近い番号になっているようです。 審査区分表 2ページより 環境 前半： ローカル tabulaでpdfからデータを取得して整形する部分はローカルで作業しました。 MacOS M