[DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
![[DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6daf77a3db668161a6707d95bec4f65d9f8bdcf/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20181129suzukibert1-181204064830-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Dockerfileを改善するためのBest Practice 2019年版
1. DockerCon SF19 で発表の、基礎→マルチ・ステージ・ビルド→最新動向まで Sakura Internet, Inc. Masahito Zembutsu @zembutsu Docker Meetup Kansai #3 #dockerkansai May 24, 2019 Dockerfileを改善するための Best Practice ２０１９年版 2. DockerCon SF19 での発表に基づく内容 • Dockerfile Best Practices https://www.slideshare.net/Docker/dcsf19-dockerfile-best-practices 2 • 動画もご覧ください https://www.docker.com/dockercon/2019-videos?watch=dockerfile-best-practice
深層学習時代の�自然言語処理ビジネス
Preferred Networks was founded in 2008 and has focused on deep learning research, developing the Chainer and CuPy frameworks. It has applied its technologies to areas including computer vision, natural language processing, and robotics. The company aims to build AI that is helpful, harmless, and honest through techniques like constitutional AI that help ensure systems behave ethically and avoid po
DQNからRainbowまで 〜深層強化学習の最新動向〜
2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Disclaimer ■ 深層強化学習は領域が広く、多くを紹介することは出来ないため、 Rainbow論⽂※で紹介されているDQNを中⼼とした複数アルゴリズム のみ扱います ⁃ Model-free（モデルベース強化学習は扱わない） ⁃ Off-policy（A3C等は扱わない） ⁃ ベンチマークタスクはAtari 2600が主対象（連続⾏動制御等は扱わない） ■ “強化学習を勉強したての⾃分” を想定ターゲットに、「当時こんな資 料があったら理解が進んだな」という要素を盛り込んでいます。 ※ 分かりにくい箇所や、不正確な記載があればコメントください。 ⁃ mail: jun.okumura@dena.com ⁃ Twitter: @pacocat ※ Hessel et al., “R
為替と株の予測の話
3. もくじ • はじめに • 為替や株の予測の何が難しいのか • 2つの通貨問題からみるレバレッジと期待値の関係 • 収益率の分散を抑えるには • いもすアルゴリズムの変遷 • ボラティリティのフラクタル性 • 最新いもすアルゴリズム 為替と株の予測の話 2 5. なぜ投資を考えるのか 生活費ために働いてお金を稼ぐのは不自由であるので、 経済的独立 (Financial independence) を目指すのは自然な発想。 経済的独立とは 「運用益＞消費」となる状態を指し、 これを達成するには「資産を増やす」「運用効率を上げる」「消費を 減らす」方法がある。 しかし、運用効率が0%では経済的独立を達成するのに必要な資産 が何倍にもなるので、運用効率を上げる方法を考える。 為替と株の予測の話 4
Convolutional Neural Netwoks で自然言語処理をする
1. 全脳アーキテクチャ若⼿の会 カジュアルトーク (2017.1.31) Convolutional Neural Networks で⾃然⾔語処理をする 全脳アーキテクチャ若⼿の会 法政⼤学⼤学院 理⼯学研究科 修⼠課程 島⽥ ⼤樹 2. ⾃⼰紹介 島⽥ ⼤樹 (SHIMADA Daiki) @sheema_sheema (Twitter) • 法政⼤学⼤学院 理⼯学研究科 M2 • 知的情報処理研究室（彌冨研） • 画像解析による授業受講者の態度推定 • 画像の半教師あり学習 • ⾃然⾔語⾔語処理 (⽇本語) • 全脳アーキテクチャ若⼿の会 副代表 • 会全体の運営 (運営メンバー⼤募集中!!) 1 3. 前回までのあらすじ l カジュアルにCNN系画像認識⽂献64本ノック！ http://www.slideshare.net/sheemap/convolutional-neural
全脳アーキテクチャ若手の会20170131
2. 2 ● 萩行 正嗣 (はんぎょう まさつぐ) ● 2014年に京都大学黒橋・河原研究室で 博士(情報学)取得 – 日本語ゼロ照応解析の研究 ● 2014年4月から株式会社ウェザーニューズに勤務 – 実サービス向けのシステム開発 – NLPの基礎研究 – 機械学習の気象予測への応用 ● Twitter: @mhangyo ● 個人HP: https://mhangyo-wni.github.io/ 自己紹介 3. 3 天気予報原稿生成システム (S) から (E) まで (S) から (E) にかけ て … (S) から (E) は (MIN) パーセントから (MAX) パーセントとなって います (MIN) パーセントから (MAX) パーセントです 予報表 テンプレー ト 1.原稿候補生成(数百-数千候補) 降水確率です。正午から夕方６時まで中予・大 洲・愛南は５０パーセントです
aiconf2017okanohara
2. アジェンダ l 会社紹介 l 深層学習と⼈人⼯工知能 l 実世界の事例例 ̶— ⾃自動⾞車車 ̶— ロボット ̶— バイオ・ヘルスケア l 深層学習の研究の最前線 ̶— 少数の事例例からの汎化 ̶— 情報の組織化 ̶— 物理理モデル、⼼心理理モデル 3. 会社紹介：Preferred Networks (PFN) l IoT時代に合わせた分散知能を備えた新しいコンピュータを創造する l 2014年年3⽉月創業 l 東京オフィス, シリコンバレーオフィス l 従業員：約60⼈人 殆どが研究者、エンジニア l 主な出資者 FANUC, Toyota, NTT 3 We are hiring !!! 4. AutomotiveHumanoid Robot Preferred Networks’ positioning in AI: Industrial IoT 4
野良ビッグデータへのお誘い
2. ⾃⼰紹介 • 名前: takano • Twitter: @mtknnktm • 仕事: Web系企業のデータ関連あれこれ • 興味: 計算社会科学・複雑系科学 • もろもろ – Publications: https://sites.google.com/site/mtkn35699/ – Slide: http://www.slideshare.net/MasanoriTakano1 – Blog: http://mtkn.hatenablog.com/ 2 3. • ふと回帰分析したくなった時 • ふとMCMCしたくなった時 • ふと前処理したくなった時 • ふと機械学習したくなった時 • ふと集計したくなった時 • ふと社会科学したくなった時 でも iris はもう飽きた → そんなときのために、 誰でも使えるデータをご紹介 3 5. おもしろいと思った
NIPS 2016 Overview and Deep Learning Topics
1. Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. NIPS 2016 読み会 @Preferred Networks 2017/1/19 NIPS 2016 Overview and Deep Learning Topics @hamadakoichi 濱田晃一 Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. 2. Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved. 2 AGENDA ◆Deep Learning Topics ◆NIPS 2016 Overview ◆Generative Adversarial Networks(GANs) ◆Recurrent Neural Networks(RNNs) ◆G
強化学習その1
4. 今後の予定 第1回: 序章 1章 強化学習の基礎的理論 1節 強化学習とは 第2回: 2節 強化学習の構成要素 第3回: 3節 価値反復に基づくアルゴリズム 第4回: 4節 方策勾配に基づくアルゴリズム 第5回: 5節 部分観測マルコフ決定過程 4
深層学習とTensorFlow入門
3. 3 普段やっていること データマイニング案件の受託開発 データ整形〜実行環境におけるPDCAまで 2017/9/19 Singularity Copyright 2016 Singularity Inc. All rights reserved 要件定義及 びデータ項 目確認 設計 実験計画 データセット準備 モデ ル 実 装 学習・評価＆ チューニング 論文調査 手法選定 データ選定 インフラ設計 根幹に関わる部分なので慎重に 行う必要がある。 データセット収集 データセット作成 データ前処理 読込プログラム作成 経験上かなりの時間が 取られる 学習 評価 パラメータ変更 データ見直し もっとも時間がかかる フェーズ
第28回コンピュータビジョン勉強会＠関東（kanejaki担当分）
1. 1 MIL Machine Intelligence Lab. 複数枚の画像からの photo-consistency 3.2 デプスマップ復元 2015/3/28 第28回コンピュータビジョン勉強会＠関東 原田研究室 助教 金崎朝子 3. 3 MIL Machine Intelligence Lab. （図2.18）オクルージョン問題 • 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 平均 正しい深さ 平均したらダメな理由： オクルージョンが発生 しているカメラから計算 されるNCC（外れ値）を 足しこんでしまっている から。 4
Tensor flow勉強会 (ayashiminagaranotensorflow)
3. 3 TensorFlowとは？ 15/12/11 C8Lab Copyright 2014 C8Lab Inc. All rights reserved u 読み方「テンソルフロー」 u Googleが11月10日に公開したオープンソース u 多層NN(ディープラーニング)に特化したライブラリ u 現状C++/PythonでのAPIが存在 u Tensor(テンソル)のFlow(流れ)で状態記述 4. 4 Tensor（テンソル）とは？ 15/12/11 C8Lab Copyright 2014 C8Lab Inc. All rights reserved テンソル（英: tensor, 独: Tensor）とは、 線形的な量または線形的な幾何概念を 一般化したもので、基底を選べば、多次 元の配列として表現できるようなものであ る。 Wikipedia
開発者からみたTensor flow
5. 気づき 精度を上げるのはトレーニングデータの質 Garbage In - Garbage Out （データを丁寧に作る） OSSのマルチスレッド対応は困難 問題が起きた時に、修正するのは至難の技 対応されていることを確認して選定するしかない。 製品ではGPLライセンス対応必須 ライセンスを確認して選定するしかない。 開発者が理解できるソースコード メジャーなOSSを選定するのが無難
IoTの規格標準化動向とデバイスWebAPI
3. 最近のIoT標準化動向(SmartHome等) 3 IEEE802.15.4 Bluetooth Wi-FiThread IPv4/IPv6 HTTPCOAP TCPUDP OMA LWM2M Web Server IPSO Smart Object TLSDTLS Web Object IPv6 Smart Object ZigBee IEEE 802.3, 802.11 6LowPAN 4. デバイスWebAPI デバイスWeb API 仮想サーバ Plugin-APlugin-B HTMLアプリ Nativeアプリ (iOS) Nativeアプリ (Android) RESTful RESTfulRESTful Framework Library Kernel OS 詳細説明は、デバイスWebAPIコンソーシアムにて https://device-webapi.org/ プラグ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シェアリングエコノミーにおける非中央集権的システムでの自律的な仲裁とは
ICCV2017一人読み会
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
AlphaGoのしくみ
