LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
音声だけで完全な長文が書ける技術、東大教授が開発 ささやき声で“改行”や“修正”などコマンドを入力
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ソニーコンピュータサイエンス研究所（CSL）フェロー・副所長であり東京大学大学院情報学環の暦本純一教授が開発した「DualVoice: A Speech Interaction Method Using Whisper-Voice as Commands」は、キーボードやマウスなどを使用せず、音声入力だけで長い文章が書ける技術だ。文字入力以外のコマンド入力と音声認識ミスによる修正は、通常の声とは別に「ささやき声」で操作する。通常の声とささやき声を使い分ける方法で、ハンズフリーの完全な音声入力を実現する。 音声による文字入力はタイピングに比べて格段に速いため、アイデアを書き留めたり、原稿を素
真面目なプログラマのためのディープラーニング入門
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
Teslaにおけるコンピュータビジョン技術の調査
社内勉強会での発表資料です。公開情報をもとにTeslaのコンピュータビジョン技術について調査したものです。Read less
音ゲーの“譜面”作りをAIで高速化 KLabが「スクスタ」で活用、所要時間を半分に
音ゲーの“譜面”作りをAIで高速化 KLabが「スクスタ」で活用、所要時間を半分に：CEDEC 2021（1/2 ページ） ゲームセンターの筐体としてだけでなく、スマートフォンゲームの一つとしても人気を集めるリズムゲーム。他のゲームと違うのは、ガチャだけでなく新しい曲やその“譜面”も、新規コンテンツとして開発する必要がある点だ。特に譜面、曲に合わせてタッチする位置などを示した時系列データは、1曲1曲に合わせて新規に作ることになる。この手間を、AIを活用して効率化している企業がある。 「低い難易度の譜面作りにAIを活用することで、1曲当たり40時間ほどかかっていた作業時間を約50％削減できた」──スマホ向けリズムゲーム「ラブライブ！スクールアイドルフェスティバル ALL STARS」（スクスタ）を開発するKLabの高田敦史さん（開発推進部機械学習グループ）は、自社開発した「譜面制作支援ツール
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sigRead less
古い写真の顔をディープラーニングでリアルに動かせる「Deep Nostalgia」 無料で利用可能
イスラエルの家系図サービス企業MyHeritageは2月25日（現地時間）、先祖などの古い写真の顔をディープラーニング技術でリアルに動かせる新サービス「Deep Nostalgia」をリリースした。無料アカウントを作成してログインし、アニメ化したい写真をアップロードすれば誰でも利用できる。5枚以上の写真をアニメ化したい場合は、サブスクリプションが必要だ。 MyHeritageはこれまで、古いモノクロ写真やカラー写真をシャープなカラー写真に変換するサービスを提供している。このサービスで変換済みの写真の顔をDeep Nostalgiaで動かすと、よりリアルだ。 複数の人が写っている写真では1人しか動かせない。動かしたい顔を選択し、あらかじめ用意されている複数の動きの「ドライバー」動画から1つを選ぶと、そのドライバーと同じ動きをする。動画は数秒で、いずれも記念撮影の直前のように少し顔を動かし、最
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
StyleGAN 論文紹介 & 実験 - Qiita
はじめに 近年急速に進化しているGANの中でも、特に有名な物の一つであるStyleGANについて改めて勉強したいと思い、今回のテーマにしました。 前半は論文紹介として、StyleGANの構造や特徴について勉強した事をまとめます。 後半は、実際に学習済みのStyleGANを使って画像生成を試してみたので、その結果を書いていきます。 StyleGAN (v1) StyleGANは2018年に発表されました。(論文リンク) 以下はStyleGANで生成された画像例の引用ですが、本物の写真と見分けがつかないような高品質の画像が生成されていると思います。 以下、StyleGANの特徴を説明していきます。 generatorの構造 StyleGANの特徴は、主にgeneratorの構造にあると言っていいかと思います。 論文中の以下の図について、左側が従来のGAN(ここではPGGAN)のgenerato
PyTorchを使って日向坂46の顔分類をしよう！ - Qiita
はじめに 研究室に所属してからというもの、独学が正義の情報系学問の世界(偏見？)。とりあえず機械学習ライブラリ「PyTorch」の勉強をしなければ…と思い、最近推している日向坂46の顔分類に挑戦しました！下記のように、入力された画像に対して、画像内の人物の名前を特定することを目指します。 入力 出力 基本的には、 mnist examples(GitHub) Pytorch Tutorials(Training a Classifier) 機械学習で乃木坂46を顏分類してみた 乃木坂メンバーの顔をCNNで分類 を参考にしながら作成して行きます。偉大なる先人達との差別化としては、 流行の機械学習ライブラリであるPyTorchの利用 遭遇したエラー達 DeepLearningに対して素人である筆者の奔走 乃木坂じゃなくて日向坂 あたりでしょうか。 「とりあえずゼロから作るDeepLeranin
FlappyBird で強化学習の練習 その0: 環境編 - Qiita
この記事は何 せっかく Pythonで学ぶ強化学習 をざっと読んだので、手を動かしてみる大作戦です。 FlappyBird という数年前に話題になったゲームがあり、それを強化学習を用いて学習していきたいと思います。 のんびり動かしてみつつ、色々やったことを記録していこうと考えています FlappyBird で強化学習の練習 その0: 環境編 ← これ FlappyBird で強化学習の練習 その1: DQN FlappyBird で強化学習の練習 その2: Double DQN FlappyBird で強化学習の練習 その3: DQN + Dueling network この記事は、環境構築です。JupyterLab で動画を見るのに少し手間取ったため、残しておきます。 自分のローカルマシンである mac と、リモート環境である ubuntu で動作確認しています。 目次 FlappyBi
コインをバラまいた画像から合計金額を推定するＡＩ - Qiita
世間では、お正月が来たようです。 そこで、初詣に行ったついでに、賽銭箱の底をのぞいてみましょう！ これいくら？ こんな画像をパッと見て総額がわかれば、なにかと嬉しいのではないかと。大体でもいいので。 （たとえば神社さんの確定申告システムに直結するとか・・。） まぁ応用はさておき、いまどきの時代なので、ＡＩに金額を数えさせてみましょう！ しかし、コインが重なりあったりしてると難航しそうな予感。 というわけで、最初は 条件を単純化します。 このように、コインどうしが重なってないなら、ちょっとハードル下げられるかな？ しかし日本の硬貨6種類（1円5円10円50円100円500円）全部を対象にしてやってみると、手元の環境の環境ではちょっとキビシいみたい。（モデルにもよるでしょうが・・） あ、手元の環境というのは、Google Colaboratory (略称:colab) のGPU版です。 （手元
機械学習/ディープラーニング初心者が2018年にやったこと、読んだ論文 - Qiita
2018年もいよいよ本日が最後となりました。皆さんいかがお過ごしでしょうか。この記事では機械学習/ディープラーニング初心者だった自分が2018年にやったことをまとめていきたいと思います。ポエムじみた記事になってしまいましたが、何らかの参考になれば幸いです。 2018年のBefore-After Before 今年（4月）ぐらいまで機械学習の「き」の字も知らなかった。k-Nearest Neighbor？Support Vector Machine？なにそれ美味しいのってレベル 昔統計をやっていたので、ロジスティクス回帰ぐらいは知っていた。オーバーフィッティングの概念ぐらいは知っていたが、厳密な定義は知らなかった。 Pythonも触ったことなかった After 機械学習とディープラーニングの基礎はだいたいわかった Pythonがだいたい使いこなせるようになった 物によってはディープラーニング
深層学習を利用した食事画像変換で飯テロ - Qiita
はじめに これは，NTTコミュニケーションズ Advent Calendar 2018 2日目の記事です．関連記事は目次にまとめられています．（更新したら12/3になってました．．．） ⚠ 魅力的な飯テロ画像をご用意し，圧倒的な飯テロを狙った記事となっていますので，夜中に見る場合はご注意ください． おまえだれ？！ 普段の業務では，マルチモーダル深層学習や機械学習分析ツール開発などをメイン業務としていて，趣味はプロテインです． 学生時代，学部までは画像認識（モバイル+深層学習）をテーマに研究していまして，修士からは画像生成・画像変換を主に研究していました．Neural Style TransferとかGenerative Adversarial Networksの論文が出始めた頃ですね．大学院を卒業してからは，中々，GAN分野の動向を追っていないのですが，まだ流行ってたりするのかな？ (th
手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]
ディープラーニングは習うより慣れろかも ファッションでディープラーニングをしているディープラーニング芸人からあげです。私は、特に専門家でも何でもないのですが、機械学習に興味もって、ディープラーニングに関することブログでアウトプットしているうちに「AIに関する本に名前がクレジットされたり」「AI解析のオンラインコンテスト#Aidemynoteで特別賞受賞したり」「ラズパイマガジンという商業誌にAI関係で記事を書いたり」「ディープラーニングおじさんの記事がバズったあげくITmediaで取り上げられたり」と多少なりとも価値を提供できるようになってきました。 何の知識もバックグラウンドも、大した能力も無い自分が、どうやって知識を身につけることができたかというと、色々本も読んだのですが、実際に手を動かしてプログラムを組んで、実問題に対して試行錯誤した結果をブログにアウトプットし続けたことが大きいのか
![手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9046fd088b617abd85f292067c0ab3cbdd95f3d5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20181016%2F20181016230453.jpg)
【保存版・初心者向け】僕が本気でオススメするPythonと機械学習の良書12選
※実際記事で紹介する書籍は12冊ですが、メンバーが借りてオフィスになかったため、上記画像内に3冊ないものがあります。 はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 6ヶ月ほど前に書いた下記記事は約1200のいいねと7万viewsを超える記事になりました。 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 お読み頂いた方々、またいいねして頂いた方々ありがとうございました！ あれから6ヶ月ほど経ちまして、さらにPythonや機械学習の書籍が増えて参りましたので、改めて初心者向けにPythonと機械学習の良書12選を紹介し、初学者が独学でも機械学習プログラミングの基礎スキルUPに貢献できたらと思います。 また、AIプログラミングを作りながら学べるプログラミング学習サービスAI Academyを無料でご利用頂けますので
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DALL·E 2 を早くも破る！超リアル画像生成モデル Imagen を解説
東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理
年末年始に振り返る 2021年の人工知能10大トレンドと必読論文
