ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
「BEiT: 画像処理版のBERT」自己教師あり事前学習のためのモデルBEiTを詳細解説！
◎類似記事（VisionTransformerや自己教師あり学習についても記事を掲載しております） ・自然言語処理の必須知識 BERT を徹底解説！ https://deepsquare.jp/2020/09/bert/ ・AIの第一人者であるYann LuCan氏による最新の自己教師あり学習に対する解説を紹介！ https://deepsquare.jp/2021/03/yann-lucan-self-supervised-learning/ ・FAIRから発表された画像処理分野用の自己教師あり学習モデルSEERを紹介！ https://deepsquare.jp/2021/03/fair-seer/ ・画像認識の革新モデル！脱CNNを果たしたVision Transformerを徹底解説！ https://deepsquare.jp/2020/10/vision-transformer
パラメータ数10億！最新の巨大画像認識モデル「BiT」爆誕 & 解説 - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2019年12月24日のクリスマスイブにarxiv上でGoogle Brainから新たな画像認識モデルが発表されました。その名も BiT(=Big Transfer)。その性能は2019年にGoogleが出したEfficientNet(拙著解説記事)を様々なデータセットで超えるほどで現在のState-of-The-Art になっています。驚くべきはそれだけでなく、なんとこのモデル、パラメータ数が10億にもおよぶ巨大なモンスターモデル になっています。そんなBiTについて早速この記事で解説していきたいと思います。バッチノームやドロップアウト、Weight Decayなどを使用していないという、 今までの画
東大松尾研から新たに無償公開されたDeep Learning講座「DL4US」が良い、という話 - Qiita
5/15より東大松尾研究室からDeepLearningエンジニア養成講座「DL4US」の演習コンテンツが無償公開されました。 ※講義パートは公開されていない DL4USコンテンツ公開ページ 私は業務でデータ分析に携わっており、sklern等での機械学習には触れたことがありますが Deep Learningは「いつか勉強しよう...」と思ってできていない状況でした。 ※一度Udemyで講座を受講しましたが、挫折しています。 まだDL4USのLesson0,1をやってみただけですが、非常に良いものだと感じたのでシェアしたいと思います！！ DL4USについて DL4USの紹介記事から本講座の特徴を引用させていただきます。 アプリケーション指向 高度な数学的知識は不要 1人1台独立した仮想GPU環境を用意 実際にモデルを学習させながら技術を習得 コードはすべてKeras （TensorFlow）と
GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
ディープラーニングによる超解像(Deeply-Recursive Convolutional Network)のtensorflow実装 - Qiita
def build_embedding_graph(self): self.x = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="X") self.y = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="Y") # H-1 conv self.Wm1_conv = util.weight([self.cnn_size, self.cnn_size, self.channels, self.feature_num], stddev=self.weight_dev, name="W-1_conv", initializer=self.initializer) self.Bm1_conv = ut
Deep Learningによる超解像の進歩
This document summarizes recent advances in single image super-resolution (SISR) using deep learning methods. It discusses early SISR networks like SRCNN, VDSR and ESPCN. SRResNet is presented as a baseline method, incorporating residual blocks and pixel shuffle upsampling. SRGAN and EDSR are also introduced, with EDSR achieving state-of-the-art PSNR results. The relationship between reconstructio
arXivTimes/datasets at master · arXivTimes/arXivTimes
MNIST 言わずと知れた手書き文字のデータ CIFAR-10 言わずと知れた10クラス(airplane, automobileなど)にラベル付された画像集。CIFAR-100というより詳細なラベル付けがされたものもある The Oxford-IIIT Pet Dataset CIFAR-10と同様、ラベル付きのデータ。その名の通り動物系 Fashion-MNIST ファッション画像のMNIST、を表したデータセット。クラス数はMNISTと同様10クラスで、画像は28x28(グレースケール)、学習：評価データ数は60,000：10,000。 MNISTは簡単すぎる、濫用されているといった問題を克服するという側面も意識されている。 iMaterialist Challenge on fashion 100万点をこえるファッション画像のデータセット。8グループ228のラベルがアノテーションさ
Deepに理解する深層学習による物体検出 by Keras - Qiita
誰向け 深層学習をすでに理解して画像の分類から物体検出への仕組みをマスターしたい方へ 数式が多いのでコード確認したい方は下記へGo 具体的な実装例 おまけ Kerasに関する書籍を翻訳しました。画像識別、画像生成、自然言語処理、時系列予測、強化学習まで幅広くカバーしています。 直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ 目的 物体検出に関しての技術を体系的にまとめてコードベースまで理解したかったので書きました。 良書である画像認識の物体認識の章を参考にこの記事を作成しています。 画像認識 全体像 大きく分けて3つのフェーズに分かれます。 1: 物体領域候補の抽出 画像中から物体の領域候補を抽出する手法になります。精度と速度を左右する部分になります。図のように小ウインドウ(バウンディングボックス)を用意して一定の画素数ずらしながら領域候補を抽出する
ニューラルネットの逆襲から５年後 | Preferred Research
私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して
データサイエンティストを目指して半年で学んだことまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 #最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。**数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみ**はやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっか
料理きろくにおける料理/非料理判別モデルの詳細 - クックパッド開発者ブログ
研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 Poincaré Embeddings for Learning Hierarchical Representations Training Group Orthogonal Neural Networks with Privileged Information Fluctuation Theorem for Many-Body Pure Quantum States クックパッドのアプリには「料理きろく」という機能があります。 携帯端末から料理画像のみを抽出して表示することで自分が食べたものを振り返れるようになっており、ここからレシピ投稿やつくれぽを送ることもできるようになっています
deeplearn.js でブラウザから機械学習の力を活用
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI 激動の年！2022年の人工知能10大トレンドと必読論文
LayoutLMV2
深層学習 DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
クックパッドにおけるCloud AutoML事例 - Speaker Deck
Deep Learning基礎講座演習コンテンツ 公開ページ
Deep Learning
