ECサイト上の商品名は、「送料無料」や「ポイント5倍」、「母の日」といった宣伝文句が付加され、本来の商品名が分かりづらくなっています。 これらの不要なキーワードは、自然言語モデルを作成する際の妨げとなり、精度を上がりづらくしている一つの要因となっています。 そこで、本記事では、これら不要なキーワードを効率的に除去する方法について、具体的な手法と事例を紹介します。 データクレンジングの例、LLMオープンモデルを活用したアプローチ、さらにはGoogle Cloud PlatformのVertex AIやGemini-proを用いた解決策について触れます。 3行まとめ ・商品名から頻出単語のリストを作成し、商品名から不要なキーワードを検索して除去する ・オープンモデルでプロンプトを実行し除去する ・Google Cloud Platform のVertex AI、Gemini-proで除去する
![AIで商品名をクレンジングする、Llama2や、Google Cloud Gemini-proとVertex AIを活用した商品名の最適化](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3c08c823ae0329317c64060400171b37f2de2ff/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--lXD6oX62--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AAI%2525E3%252581%2525A7%2525E5%252595%252586%2525E5%252593%252581%2525E5%252590%25258D%2525E3%252582%252592%2525E3%252582%2525AF%2525E3%252583%2525AC%2525E3%252583%2525B3%2525E3%252582%2525B8%2525E3%252583%2525B3%2525E3%252582%2525B0%2525E3%252581%252599%2525E3%252582%25258B%2525E3%252580%252581Llama2%2525E3%252582%252584%2525E3%252580%252581Google%252520Cloud%252520Gemini-pro%2525E3%252581%2525A8Vertex%252520AI...%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AShintaroAmaike%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzg5ODUyZjZkYzguanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%2525A0%2525AA%2525E5%2525BC%25258F%2525E4%2525BC%25259A%2525E7%2525A4%2525BE%2525E3%252583%25259E%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252583%252587%2525E3%252582%2525A3%2525E3%252582%2525A2%252520%2525E3%252583%252586%2525E3%252583%252583%2525E3%252582%2525AF%2525E3%252583%252596%2525E3%252583%2525AD%2525E3%252582%2525B0%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmNWYzMmE0MWIuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)