BERTでの語彙追加~add_tokenに気をつけろ!~ - Retrieva TECH BLOG
こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 みなさんは、BERTなどの学習済み言語モデルに対して語彙を追加したくなることはありませんか？ 諸々の論文(こちらやこちらやこちら)により、特定ドメインやrare-wordの語彙を追加することによって、性能が上がることが知られています。 そこで、語彙を追加しようと思い、TransformersのTokenizerの仕様を見ると、add_tokens という関数があります。これを使えば、tokenizerに語彙を追加できるので、あとはembedding側にも新しい語彙を受け取れるようにすれば万事解決です！ とは、うまくいかないので、今回はこの辺りについて、ちょっとした解説をします。 add_tokensの問題点 なにがうまくいかな
二酸化炭素を減らすと部屋が寒い (冬なので) - 本しゃぶり
扉の反対側にある窓を「全開」にした。 生まれた「流れ」は二酸化炭素濃度を低下させる。 まあ、ちょっぴり寒くなるが。 「換気」と「寒気」 部屋が寒い。 2021年12月26日の室温 1日の大半が15℃以下。朝起きる時だけは暖房を入れているのでそれなりに上がるが*1、日中は基本的に暖房を入れていない。だから寒いのである。 なぜ日中に暖房を入れないのかというと、二酸化炭素濃度の上昇を抑えるためだ。もちろん地球全体の話ではない。俺の部屋の中の話である。室内の二酸化炭素濃度の上昇を抑えるために、部屋のドアは開けっ放しがデフォとなっている。だから暖房を入れる気にならないのだ。 部屋のドア こんな生活を送るようになったきっかけは、今年の4月に二酸化炭素濃度測定器 (CO2センサ)を買ったからである。 カスタム (CUSTOM) CO2モニター CO2-mini カスタム(CUSTOM)Amazon 導入
for文のforはなぜforなのか? - yapattaのブログ
よく考えるとプログラミング言語で当たり前に使っているfor文のforは不思議な命名だ。 他のループで使う、whileやloopは繰り返しをする意味が含まれるからまだわかる。一方forは個人的なイメージではあるがループに関する意味は無さそうだ。 という感じになぜforなのか疑問が湧き上がってきた。 そこで今回はfor文のforはなぜforになったのかを調べてみた。 因みに一番最後に結論が書かれているので結論だけ気になる方は最後だけ見て頂けたら。 この結論は著者のyapattaの推論も含まれている。何か反論、意見があったら気軽にコメントして欲しい。自分が気づかなかったポイントを知れたら面白い。 まずforに一応ループ周りの意味が含まれるか辞書で調べてみた。自分がただforという単語に反復的な意味が含まれていることを知らなかったという可能性もある。 ejje.weblio.jp 10番目の意味で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tailscale · Best VPN Service for Secure Networks