はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり

So, your company decided to invest in machine learning. You have a talented team of Data Scientists churning out models to solve important problems that were out of reach just a few years ago. All performance metrics are looking great, the demos cause jaws to drop and executives to ask how soon you can have a model in production. It should be pretty quick, you think. After all, you already solved

Troubleshooting Deep Neural Networks A Field Guide to Fixing Your Model Why? When I started in deep learning, I felt frustrated that I was spending most of my time debugging instead of the "fun" stuff. (Later, I discovered that debugging never goes away, and the best practitioners still spend most of their time on it.) As I learned more and began helping others train models, I realized that much o

ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい

著者のAlexandre Gonfalonieri氏は、フランス・パリに拠点を置く複数のAIスタートアップでデータサイエンティストとして活躍しています。同氏がMediumに投稿した記事「なぜ機械学習モデルは製品化すると劣化するのか？」では、機械学習モデルが製品化されてから劣化してしまう原因とその対策が自身の経験にもとづいて解説されています。 同氏によると機械学習モデル製品は製品化された直後がもっとも高精度であり、以降時間の経過とともに精度が劣化してしまいます。こうした劣化の原因として、コンセプトドリフトが指摘できます。この概念はモデルが開発された当初に使われていた学習データと製品化された後に入力されるデータのあいだで特徴上の差異が生じた結果、モデルの予測精度が劣化してしまう、ということを意味しています。 コンセプトドリフトによる性能劣化に対する対策として、同氏は以下のような3つの対策を提案

2. アジェンダ  講演前半 (概要, ビジネスミーティング内容, トレンド, Keynote)  概要  ビジネスミーティングの内容  トレンド（私見）  Keynoteザッピング  講演後半 (受賞関係, 研究紹介)  Codd Award 受賞講演 (Prof. Ailamaki)  Best Paper  Interventional Fairness: Causal Database Repair for Algorithmic Fairness  Runner-up  Incremental and Approximate Inference for Faster Occlusion-based Deep CNN Explanations  Fast General Distributed Transactions with Opacity  面白かっ

by stem.T4L 宿泊予約サイトのBooking.comはプラットフォームに機械学習を取り入れており、毎日いくつものA/Bテストを実施して最適なオプションや表示方法を模索しています。機械学習を取り入れるなかで失敗と成功の両方を何度も経験してきたBooking.comが、150の成功モデルから学んだことについて論文を発表しました。「機械学習が現実の企業やプラットフォームのパフォーマンスにどう影響するのか」を述べたこの論文を、VMwareのCTOを務めたのちにAccelのベンチャーパートナーとなったAdrian Colyer氏がかみ砕いて解説しています。 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com (PDFファイル)http://delivery.acm.org/10.1145/3340

回答 (5件中の1件目) ディープラーニングは昔ニューラルネット（神経回路網）と言われていました。 モデルとなった神経回路網において、神経の結合、処理状態がわかれば考えていることがわかるのか？と言われればそれは無理ですね。これはブラックボックスです。 じゃ、考えていることがわかるようなニューラルネットは作れるかと問われれば、できないと断言はできない。 ちなみに三十年くらい前のAIの主要トピックスは。 エキスパートシステム　これは専門家の知識を記述するもので内容はわかります。 ファジーシステム　どこ行ったんでしょうね？ ニューラルネット でした。

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku61.6K views•43 slides Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida15.5K views•38 slides

Microsoft Researchは2019年6月25日（米国時間）、データサイエンスやディープラーニング、強化学習向けにオープンソースのデバッグ／可視化ツール「TensorWatch」を発表した。TensorWatchは「Jupyter Notebook」で動作し、機械学習（ML）トレーニングのリアルタイム可視化や、モデルとデータの重要な分析タスクを実行する。 Microsoft ResearchはTensorWatchを、「研究者やエンジニアの仕事に役立つ先進的機能を数多く提供する、デバッグツールのスイスアーミーナイフ」とうたっている。2019年6月にスペインのバレンシアで開催された「ACM SIGCHI Symposium on Engineering Interactive Computing Systems」で、TensorWatchのプレゼンテーションを行ったという。 Mic

これはなに？ デジタルマーケター 兼 プロダクトマネージャー 兼 データアナリスト (肩書長い…) の私が Kaggle に挑戦した約半年間の記録です。現時点で2つのコンペに真面目に取り組んで2つの銀メダル(入賞)を獲得出来ています。 Kaggle挑戦期間を通して、有識者の素晴らしい資料に助けられたのでとても感謝しています。同じような志を持つ方に自分の記録が少しでも役に立てばと思い、有用な資料のリンク集に私のKaggle参戦記ポエムをつけてまとめてみました。 自分の得意領域で勝負しようと思ってテーブルデータのコンペばかり選んでいるのでDeepLearning系の話は全然ないです、すみません。 目次 プロローグ Kaggleへの興味の芽生え 初参戦 → 即撤退 ガチ参戦に向けた修行 初ガチコンペデビュー 初ガチコンペ…、のはずが。 初ガチコンペ参戦 ベースモデル作成 特徴量エンジニアリング

https://twitter.com/0hnishi https://dena.ai/work7/ Variational Auto Encoder入門�+ 教師なし学習∩deep learning∩生成モデルで特徴量作成 VAEなんとなく聞いたことあるけどよくは知らないくらいの人向け

最近、Kaggle などのデータ分析コンペで使われることの多い Adversarial Validation という手法について調べたり考えていたので書いてみる。 もくじ もくじ 背景 Adversarial Validation 試してみる 下準備 二つのデータが同じ分布に由来するとき 二つのデータが異なる分布に由来するとき 異なる分布でそのまま分類してみる 検証用データに似ているものを取り出す 取り出したデータを使って学習してみる ラベルごとに似ているデータを取り出す どれだけ取り出して学習させれば良いのか Adversarial Validation の応用例 背景 Adversarial Validation という手法は、データ分析コンペに存在する、ある課題を解決するために考案された。 その課題とは、提供される複数のデータセットの分布が異なる場合に、いかにして正しく予測するかとい

はじめに 『機械学習のための特徴量エンジニアリング』の書誌情報 Kaggleのワークフロー 1. （探索的データ分析） 2. ベースラインモデルの構築 3. Validationの構築 4. 特徴量エンジニアリング 5. ハイパーパラメータ調整 6. アンサンブル 『機械学習のための特徴量エンジニアリング』の貢献箇所 Kaggle観点で本書をオススメする読者 おわりに はじめに このたび、『機械学習のための特徴量エンジニアリング』をご恵贈いただきました。 Kaggleと親和性が高い書籍名で、Twitterのタイムラインなどを見るに、Kaggleに興味がある層を中心に大きな注目を集めているようです。 本記事では本書の発売に寄せて、Kaggleの自分流のワークフローと「特徴量エンジニアリング」の位置づけについての私見を述べます。その上で本書がKaggleのワークフローのどの部分に寄与するかを説

Satellite Data Platform 宇宙×ITで 新しい価値を 創造する Tellus（テルース）は、日本発の衛星データプラットフォームです。衛星データの提供をはじめとし、データを利用した新たなビジネスを創出する環境をご用意しています。 会員登録・ログイン

The document discusses recent advances in generative adversarial networks (GANs) for image generation. It summarizes two influential GAN models: ProgressiveGAN (Karras et al., 2018) and BigGAN (Brock et al., 2019). ProgressiveGAN introduced progressive growing of GANs to produce high resolution images. BigGAN scaled up GAN training through techniques like large batch sizes and regularization metho

1. 株式会社ブレインパッド 2019年2月15日 @ デブサミ 2019 機械学習システムのアーキテクチャ アラカルト ～ BrainPad における実例を交えて～ 1 2. 太田 満久 ● Deputy General Manager @ BrainPad Inc. ● Google Developers Expert (ML) ● Organizer of TensorFlow User Group. ● A Steering Committee of MLSE ● A Committee of JDLA 4. © BrainPad Inc. BrainPad: 最高の価値提供を可能にする3つの力 2004年の創業以来、ブレインパッドがデータ活用をお手伝いした企業は800社を超えま す。幅広い業界を対象として、豊富に積み上げられたナレッジを武器に、お客様の経営課 題を　解決に導きます

米Uberは2月11日、深層学習ツールボックス「Ludwig」を発表した。TensorFlowを土台とし、コードを書くことなく深層モデルのトレーニングとテストができるという。 LudwigはTensorFlowベースの深層学習ツール。機械学習におけるモデル開発や比較プロセスを簡素化する汎用のツールとして、Uber内部で2年がかりで開発した。Weka、MLlib、Caffe、scikit-learnなどのソフトウェアなどから着想を得て、汎用性、柔軟性、拡張性などにつながる機能を加えた。性能を理解したり、予想や比較を行うための可視化機能も備える。 コードを書くことなく深層モデルのトレーニングとテストができる点が特徴で、データを含むCSVファイルと、インプットとして使うカラム、アウトプットとしてのカラムリストといったデータを用意するだけで利用できるという。扱えるデータはバイナリやカテゴリ、数、テ

Browse State-of-the-Art 10,955 benchmarks    4,908 tasks 131,075 papers with code