SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのComputer Visionにおける躍進と 肥大化する計算資源 〜 6/10 (木) 14:00～14:30 講師：藤井 亮宏 氏（株式会社エクサウィザーズ）​ 概要： Vision Transformer (ViT) が2020年末に発表され、ImageNetの認識精度においてConvolutional Neural Networks (CNN) ベースのモデルをTransformerのみを使ったモデルが凌駕した。それによってTransformerがAlexNet以降画像系タスクを支配していたCNNに取って換わる可能性が高くなったが、ViTでは大量のデータと大規模な計算資源を必要とすることが障壁となっている。本チュートリアル」では、Computer

NAACL 2015の論文のLCCT: A Semi-supervised Model for Sentiment Classificationを読んだ。メモと気になった部分を軽く実装して試してみた。 感情分析で、コーパスベースのアプローチと辞書ベースのアプローチでco-trainingする話。 コーパスベースのアプローチだと、精度は高いが再現率が低い。逆に辞書ベースのアプローチだと再現率は高いが精度が低いのでこれを解決したいというもの。 ドメインに依存しない汎用的な素性をコーパスベースのアプローチで取得し、ドメインに依存するような素性は辞書ベースのアプローチでカバーする。 ドメイン依存の単語はSemi-supervised Sentiment-aware LDAというアプローチを使って獲得する。ポジティブ、ネガティブ、ニュートラルの3分類でそれぞれに対していくつかシードを与えてることでド

海野です。10/24に、リクルートテクノロジーズさんの会議室で、EMNLP2015読み会を開催しました。 10件の発表と、およそ40人の参加者が集まりました。 昨年も開催しましたが、規模が2倍程度になり、この分野への注目度が伺えます。 特にEmbeding系の論文が多かったらしく、EMNLPのEはEmbeddingのEではないか、という皮肉があったそうです。 10本の発表中、2本がattentionベースの手法で、Embedding、RNNに続いて次のトレンドになりつつあるのかなという感触を得ました。 当日のTwitterの様子は、togetterにまとめました。 最後に、会場提供や運営を手伝っていただいた、リクルートテクノロジーズ様と、@yag_aysさんに感謝いたします。 以下に発表スライドの一覧を載せます。 @Quasi_quant2010 Learning Better Embed

Google Tech Talks is a grass-roots program at Google for sharing information of interest to the technical community. At its best, it's part of an ongoing di...

The 2015 Conference on Empirical Methods in Natural Language Processing is the high mass for the NLP community. It happened last weekend in Lisbon, Portugal. Here are a few thoughts I’d like to share. First, NLP is HOT. I could see the Sponsors/Hunters/Gatherers of Talent from many well known Silicon Valley companies… hiding in the dark alleys, waiting for their PhD preys. Hey I had to hide my Fac

しましま @shima__shima 今日からECMLPKDD2015に向けて出発．国際会議 37回目，ECMLPKDD 9回目，初ポルトガル（15ヶ国目），ポルト 1回目． 2015-09-06 05:42:15

Welcome!2015 IEEE International Conference on Big Data (IEEE BigData 2015) Oct 29 - Nov 01, 2015 @ Santa Clara, CA, USA Welcome!2015 IEEE International Conference on Big Data (IEEE BigData 2015) Oct 29 - Nov 01, 2015 @ Santa Clara, CA, USA Welcome!2015 IEEE International Conference on Big Data (IEEE BigData 2015) Oct 29 - Nov 01, 2015 @ Santa Clara, CA, USA Welcome!2015 IEEE International Conferen

朝7時から論文の添削。時差的には日本の8時なので、娘がいるかいないかで朝起きられるかどうかが変わっているらしい……。今年の健康診断の結果が先日返ってきていて、この5-6年肝臓とコレステロールの値が高いままずっと下がらなかった（運動不足による脂肪肝）のだが、去年の5月に娘が生まれてから超朝型生活になり、この4月からは週4日保育園の送り迎えをしている（かつ土日は外で遊んでいる）せいか、いずれも値があっという間に正常値に戻った。これまでの値（正常値の3倍くらい）はなんだったのか（汗） 朝も娘が生まれる前は8時に起きるのもつらかったのだが、いまや毎日目覚ましをかけなくても6時には起きているしな〜。夜型は一生治らないと思っていたのだが、人間あっという間に適応できるものである（こなせる仕事の絶対量は確実に減っているが、単位時間当たりの生産性は明らかに上がっている）。 午前中は NLP for the

朝起きて、学生の論文の添削の続き。日本の大学のサーバ経由でアクセスしているせいかもしれないが、Google 検索がやたら遅く、添削に支障をきたす……。非ネイティブからすると、検索エンジンが使えないと英語で論文を書くのは相当厳しいので、大変やりにくい。 自分は「この表現、大丈夫かな？」と思ったら、まず Google で検索し、ヒット数や表示されるスニペット（数行出てくる周辺の文脈）でおかしなところがあれば "" で囲って完全一致検索をしたり、そのうちのいくつかの単語を *（アスタリスク）で置換してワイルドカード検索してみたり（前置詞とか動詞がよく迷う）、あるいは site:aclweb.org と自然言語処理の論文 PDF が膨大に索引付けされているサイトを指定して自然言語処理分野ではどのような表現を使うか調べたりしているが、これらが使えないだけで英文作成能力が1/10くらいになるのである。

クラウドソーシングをもちいた階層分類タスクの品質管理についての下記の論文が 2015 IEEE International Conference on Data Mining (ICDM)に採択されました： Naoki Otani, Yukino Baba, Hisashi Kashima. Quality Control for Crowdsourced Hierarchical Classification. In Proceedings of the 2015 IEEE International Conference on Data Mining (ICDM), Atlantic City, NJ, USA, 2015. なお、本論文の内容は、昨年度学部卒業生の大谷君の卒業論文の内容をもとにしたものです。

EMNLP accepted papers are online: http://t.co/T4oPrgXAN2