【Intern CV Report】Trainsによる実験管理 - Sansan Tech Blog
こんにちは，DSOC 研究開発部 インターン生の内田です．先日プチ卒業旅行として伊豆の温泉旅館に行ってきました．伊豆といえば バナナワニ園 ですよね，異論は認めません．バナナワニ園のワニたちは基本的に動かないので思わず「休日の俺じゃん」って呟いてしまいました． さて，今回はCVとは直接関係ないですが，多くの人が頭を悩ませている実験管理に関する話題です． 機械学習と実験管理 機械学習，特に深層学習を用いたプロジェクトにおいては，精度を引き出すためにハイパーパラメータが非常に重要です．一口にハイパーパラメータといっても，モデルサイズや学習率，バッチサイズなど挙げるとキリがありません． 最適なハイパーパラメータを定めるには，Grid Searchなりでパラメータを探索し，精度などと共にロギングする必要があります．バナナワニ園のワニのように怠惰な私にとって，パラメータや結果をマメに記録しておくこと
Elasticsearchで分散表現を使った類似文書検索
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
