BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化する

こんにちは、 Ubie の @yubessy です。普段は Medical Engineering というチームで医療・医学に関するデータや AI を扱う仕事をしています。 今回は BigQuery の EDIT_DISTANCE と AI.GENERATE を組み合わせて病名の名寄せ処理を効率化した話をします。 病名マスターの名寄せの問題 世の中には数えきれないほどたくさんの種類の病気があります。 が、医療情報をデータとして処理するためには、同じ種類の病気に同じ名前をつけてまとめ、違うものには違う名前をつけて区別できるよう、病名の有限集合としてのマスターが必要です。 Ubie では創業初期から独自の病名マスター (社内病名) を使っていました。これは複数のデータソースをもとに社内の医師が整備したもので、一般の生活者向けにわかりやすい表記を採用したり、医学的にほぼ同じ病気を統合するといった

[sh19910711]

"BigQuery には EDIT_DISTANCE という関数があり / これと NFKC 正規化を行う NORMALIZE 関数を使い、社内病名と標準病名の全組み合わせの正規化後編集距離を計算"