ML and NLP Research Highlights of 2021
Credit for the title image: Liu et al. (2021) 2021 saw many exciting advances in machine learning (ML) and natural language processing (NLP). In this post, I will cover the papers and research areas that I found most inspiring. I tried to cover the papers that I was aware of but likely missed many relevant ones. Feel free to highlight them as well as ones that you found inspiring in the comments.
Applications of Deep Neural Networks with Keras
Deep learning is a group of exciting new technologies for neural networks. Through a combination of advanced training techniques and neural network architectural components, it is now possible to create neural networks that can handle tabular data, images, text, and audio as both input and output. Deep learning allows a neural network to learn hierarchies of information in a way that is like the f
Trends in Natural Language Processing: ACL 2019 In Review - Mihail Eric
This week I had the great fortune to attend the Annual Meeting of the Association for Computational Linguistics (ACL) 2019 held in wonderful Florence in an old Medici family fortress. Conferences are some of my favorite events to attend because in a very short amount of time you are able to tap into the stream-of-consciousness of a community, to learn what people are thinking and where the field i
A Comprehensive Survey on Graph Neural Networks
Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graph
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
Inverse reinforcement learning (IRL) is the problem of inferring the reward function of an agent, given its policy or observed behavior. Analogous to RL, IRL is perceived both as a problem and as a class of methods. By categorically surveying the current literature in IRL, this article serves as a reference for researchers and practitioners of machine learning and beyond to understand the challeng
A Survey on Neural Network-Based Summarization Methods
Automatic text summarization, the automated process of shortening a text while reserving the main ideas of the document(s), is a critical research area in natural language processing. The aim of this literature review is to survey the recent work on neural-based models in automatic text summarization. We examine in detail ten state-of-the-art neural-based summarizers: five abstractive models and f
深層強化学習のサーベイ論文を読む - mabonki0725の日記
ランニングできず 英語できず 深層強化学習のサーベイ論文を読む 「DeepLearning for Video Game Playing」https://arxiv.org/abs/1708.07902 最近までのPCゲームやテレビゲームを深層学習で解くAI技術について網羅的に解説した論文である。従って深層学習を使っても碁や将棋の様なボードゲームは対象外となっている。 下図の様な殆ど全ての深層強化学習を系統別かつ目的別に解説してあり大変な労作である。もし注目するモデルがあれば、この論文で検索すると以下のことが分る様になっている。 ・モデルの概要 ・モデルを発表した論文 ・考案した動機や対象としたゲーム ・モデル開発が可能なプラットホーム ・継承したモデルと発展先のモデル 下図の様に深層学習としては2013年の偉大なDQNから全てが始まっている。しかしこのDQN前にはSuttonのSarsa
東大の科学がスゴい『科学の技法』
東大の理系は、一年生から「科学の技法」を叩き込まれる。 『知的複眼思考法』を読んだとき、批判的に読み・考えるトレーニングを徹底させる東大の文系が羨ましいと思った。『科学の技法』を読んだいま、科学の技法をゼミナール形式で学べる東大の理系が羨ましい。 東大で始まった新しい試み「初年次ゼミナール理科」が凄い。 理系の一年生は全員必修で、1クラス20名の少人数を、教師＋TA（ティーチングアシスタント）できめ細やかに指導する。学術的な体験（アカデミック体験）を通じて、サイエンティフィック・スキル（科学の技法）を修得することを目的としている。 この科学の技法が羨ましい。前半が「基礎編」で、あらゆる研究をする上で基礎的となるだけでなく、仕事にも必須なスキルが紹介されている。後半が「実践編・発展編」で、研究チームを意識できるようなゼミを「ラボ」として開講し、そこで基礎的な演習を行う（垂涎だらけなり）。 ◆
Convolutional Neural Networks のトレンド @WBAFLカジュアルトーク#2
動画： https://www.youtube.com/watch?v=cBog5o9ebcQ 全脳アーキテクチャ若手の会 ( http://wbawakate.jp/ ) カジュアルトーク#2 ( http://wbawakate.jp/posts/events/12th/ ) での発表資料です．Read less
Deep Learning のトレンドについて喋ってきた
Convolutional Neural NetworksのトレンドについてCasualじゃない話をしてきました． 全脳アーキテクチャ若手の会カジュアルトーク 全脳アーキテクチャ若手の会カジュアルトーク というところでお話をしてきました． ちょっと層がわからなかったのですが，IT系のエンジニアの方が多かったみたいです． （学生は4人くらい…？しかもほぼ身内） 僕のスライドはSlide Shareの方にアップロードされています． しかも，映像もアップロードされていた… 発表後記 実際はConvolutional Neural Networks(CNN)系論文128本ノックにするつもりだったとはいえない空気でしたね… 個人的には画像生成やキャプション生成系の研究速度はとても速く進んでいると感じています． Visual Turing Test の話はもう少し掘り下げたかったですね． Deep M
論文に関する基礎知識2016
2018年分差分Upしました． https://www.slideshare.net/tallzelkova/2018-99872316 研究室に入ったB4向け論文の読み方探し方講座のスライド．ほんのり更新しました．論文の書き方は結構更新があったのですがUpしていいかわからなかったのでとりあえずOFFで． // --- 以下昨年のコピペ --------- 本スライドは前所属の立命館大学 田村・木村・柴田研究室OBの一刈さんに始まり，大槻，石黒君，現D3の森君，他によるBrushupによって現行の形になりました．ここにお礼を申し上げます． シンポジウムとジャーナル，国際会議の論文の評価や価値については分野によって異なる可能性があります．あくまで大槻の研究分野での話であることはご承知おきください． また，内容は個人の見解によるところも大きいです．よろしくお願いいたします． Read less
高速で論文がバリバリ読める落合先生のフォーマットがいい感じだったのでメモ - 書架とラフレンツェ
(図書館学系の話題でもあるからちょっと悩んだけれど、文献読解全般に関する内容だからこちらへ) 既に日々論文をバリバリ読んでいるひとには今更な記事だろうけれど、分野ごとの違いもあって興味深かったのでざっくり記録する。 論文を大量に読む際に、頭から几帳面に読んでいると時間がどれほどあっても足りないし、後から「こんなことが書いてあった論文なんだったっけ？」という問題も発生してしまう。 研究者の皆様はMendeley などの文献管理ツールをを用いていることが多いかとは思うが、それでも論文の読み方そのものに工夫をすればインプット/アウトプットの効率が圧倒的によくなるので、やってみるにこしたことはない。 その工夫とは何かというと、論文を読むときに「特定の問いに集中して読む」というものだ。学術論文は分野ごとの違いはあれ、必ず特定の流れに従って構成されている。そこで要点のみに注目して読み、他の事項を捨てる
調査手法の分類
他の社会調査を補完する調査として重要であるとともに、体系的な分析によって、それ自身が社会調査としての意味を持つことができます。 ただし、実査を伴わないため、社会調査には含めないこともあります。 近年、情報技術の浸透によって、多様な情報の活用可能性、多様な分析の可能性が高まってきたことから、そこから有用な情報を取り出すテキストマイニングが盛んになってきています。
機械学習界隈の情報収集方法 - kisa12012の日記
こんにちは．Machine Learning Advent Calendar (MLAC) 2013の14日目を担当します，[twitter:@kisa12012]です．普段は博士学生として，各地を放浪しながら機械学習の研究をしてます．今回の記事はボストンで執筆しています．現地時間(EST)での締切は守ったのでセーフ…ですよね？ 本日は機械学習の技術的な内容の話ではなく，筆者が実践している機械学習関連の情報収集方法について纏めます*1．大きく分けて，学会情報の管理・論文情報の収集・その他の三種について述べたいと思います．今回のトピックの多くは他の分野にも通用する話になっているかと思います．他の分野の方がどのように情報収集されているのかも気になるところです． 学会情報の管理 まずは学会情報の管理についてです．機械学習に関連するカンファレンスは（特に近年乱立気味で）非常に沢山あります．全てをチ
JSAIからJIMSへ：富山から長崎へ - Mizuno on Marketing
富山で開かれた人工知能学会（JSAI）の全国大会に参加し、次いで長崎で開かれた日本マーケティング・サイエンス学会（JIMS）の研究大会に参加した。それぞれにおいて、Twitter 上のインフルエンサーについて進めてきた一連の共同研究の成果を発表した。 JSAI では主に「ネットワークが創発する知能」のセッションに参加した。対象とされたネットワークは Twitter が多く、情報工学、ゲーム理論、社会心理学、数理生物学など、さまざまなモデルの適用例が紹介された。そこには、ぼく自身が関わる研究も含まれる： Twitterネットワーク上のユーザコミュニティ抽出と話題分析 by 新保 直樹、織田 瑞夫、城 沙友梨、米山 照彦(以上構造計画研究所)、水野 誠(明治大学)iPhone あるいは Android に関する日本語のツイートを約半年にわたって収集し、被RT数が一定の期間を通して多いユーザをイ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pre-Trained Models: Past, Present and Future
GitHub - gestalt-ml/AppliedMLSurvey: Development Iteration Statistics Collected Applied Machine Learning Publications
Global overview of Imitation Learning · Issue #611 · arXivTimes/arXivTimes
GitHub - arXivTimes/arXivTimes: repository to research & share the machine learning articles