RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
データ収集の基本と「JapanTaxi」アプリにおける実践例
1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * MobilityTechnologies - データエンジニア エディタ：emacs派→ InteliJ派 日本AWSユーザ会(JAWS) ビッグデータ支部長
あなただけの「はてなブックマーク タイムカプセル」
15年分のブックマークで再発見 おかげさまで、はてなブックマークはサービス開始から15年を迎えました。その歴史を掘り起こし、特に注目を集めたページをまとめて、タイムカプセルに見立てました。サービス開始当初の2005年までさかのぼり、"インターネットの歴史"を感じていただくことができます。「今見ても古びないブログ」や「昔見つけたあのサイト」を再発見してみてください。 はてなブックマーク全体の歴史 あなただけのブックマーク 他の人は知らなくても、あなただからこそ思い出せる。あなたが過去にブックマークした中から、そんなエントリーをピックアップしました。「あなただけの関心」は、日々誰かの新発見になります。これからもブックマークを通して、他のユーザーにとっても価値のある情報をつなげていきませんか。 あなたの歴史
UniFiで自宅に巨大スタジアム並のエンタープライズWiFi環境を整えた | Kazuki Ohta's Space
3月からCOVID-19の影響でずっと在宅勤務をしているのですが、一番ストレスがたまるのが、ビデオ会議で通話が頻繁に途切れることです、仕事になりません。 そこでシリコンバレー界隈のWiFi詳しいお兄さんこと、yabejpさんに相談したところUniFi製品の購入から導入まで手とり足取り教えて頂き、約10万円の投資で非常に満足の行くエンタープライズWiFi環境を自宅に整える事ができたので、ブログにしてみます。 はじめにこの記事で紹介しているソリューションは万人のためというわけではなく、人を選びます。対象読者としては以下を想定しています。 不安定なネット環境が本当に許せない基礎的なネットワークの知識がある(Ethernet, TCP/IP, DNS, DHCP, etc)基礎的なUNIXシステムの知識がある自宅WiFi環境に3-10万円程度の予算をかけられる自宅WiFi環境の設定にある程度の時間
現代のソフトウェア開発を学ぶために「正しいものを正しくつくる」を読んだ - $shibayu36->blog;
最近はいかにエンジニアリングの立場でプロダクトを成長させられるかについて考えている。そこで、現代のソフトウェア開発やアジャイルについて学ぶため、同僚にオススメされた「正しいものを正しくつくる」を読んだ。 正しいものを正しくつくる プロダクトをつくるとはどういうことなのか、あるいはアジャイルのその先について 作者:市谷聡啓ビー・エヌ・エヌ新社Amazon なぜ現代ソフトウェア開発は難しいのかから始まり、現代ソフトウェア開発の不確実性へ対処するためにアジャイルを利用するという流れになっていて非常にわかりやすかった。また「正しいものをつくる」ことと「正しくつくる」ことをうまく切り分けて説明してくれたので、自分の中で論点を整理しやすかった。 「正しくつくる」部分に関しては、これまで自分も注力してきたところであったので、かなり経験知を言語化できた。一方「正しいものをつくる」部分に関しては、まだ経験が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
