汎用言語表現モデルBERTの内部動作を解明してみる - Qiita
0.概要 本記事では汎用言語表現モデルBERTを実際のタスクに応用させる中でその内部動作を可視化し、BERTの動作ロジックを解明しようと試みたものです。前回記事からの続編となります。 厳密性に欠く実験方法、主張など多々ございますが、BERTに関する議論のひとつの土台として読んでいただければと思います。 尚、文中に100Mコーパスなどの表記が出てきます。これはwikipediaの中から100Mbyte分のデータを抽出して8割をトレーニングに、2割をvalidationに使ってモデルを訓練したという意味です。 1.はじめに 本記事で検証する項目を整理します。 前回記事で、「BERTが転換点となってネットワーク(脳)のチューニングに重きが移るのではないか」という説を書きました。そこでBERTのより詳細な動作状況を解明すべく、今回は次のようなテーマを検証してみようと思います。 [テーマ] 汎用言語
明石市長、職員に「火つけてこい」 立ち退き交渉進まず：朝日新聞デジタル
兵庫県明石市の泉房穂（ふさほ）市長（５５）が道路の拡幅工事をめぐり、物件の立ち退き交渉を担当する職員に対して「（物件を）燃やしてしまえ」「今日（物件に）火つけて捕まってこい、お前」などと暴言を浴びせていたことがわかった。泉氏は２８日、朝日新聞の取材に発言の事実を認め、２９日にも記者会見して経緯を説明するとした。 泉氏によると、市はＪＲ明石駅前の国道の拡幅を目指していたが、立ち退き交渉が進んでいなかった。この状況を受け、２０１７年６月、市長室で担当職員に発言したという。 朝日新聞は関係者から、約１分半にわたる録音データを入手。それによると、泉氏とみられる男性が「あほちゃうかほんまに」「立ち退きさせてこいお前らで」「もう行ってこい、燃やしてこい、今から建物」「損害賠償、個人で負え」などと発言していた。 泉氏は取材に、自身の発言だと認めたうえで、「工事の遅れに激高してしまった。パワハラなので、本
DeNAを退職しました。
12月末が最後の出社日で今は有給休暇消化中です。ここに退職理由を書いていきます。転職先は残念ながらGAFAではないです。 ボーナスが少なくて年俸通りの額がもらえない年俸 / 13が月給で、月給をさらに2で割ったものに色をつけたものがボーナスとして年二回支給されることになっている。 しかし、業績悪化に伴い1回のボーナスの基準の金額は月給 / 2 x 0.9となっており、月給 / 2 x 0.9しかもらえない人が大多数。 がんばったところで月給 / 2 x 1.0。 年俸通りの額はなかなかもらえない。 もちろん、これは部署にもよる。 家賃補助が来年度からなくなるこれは実質減給なのでホントにだめ。がんばってくれ。 社員総会の内容がだめ社員総会で創業20周年記念プロジェクトの内いくつかがピックアップされて紹介された。 そのうちの一つが「大きな声で挨拶をしよう」というもので完全にだめだった。 発表も
一人暮らしが両手首骨折＆TFCC損傷した時の覚書 - HackMD
# 一人暮らしが両手首骨折＆TFCC損傷した時の覚書 2017年頭の記憶なのでうろ覚えだけどメモ。できないことには対策できることとできないことがある。 ## 痛みが原因でできないこと ### 背
tkr on Twitter: "peingの脆弱性 1.トークンほしい人のユーザーページ開きます 2.F12押します 3.生トークンが載ってます 以上"
peingの脆弱性 1.トークンほしい人のユーザーページ開きます 2.F12押します 3.生トークンが載ってます 以上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
