はじめに こんにちは。Yuki | Kagglerです！ 先日、Shopeeコンペの順位が確定して銀メダルをいただき、晴れてCompetition Expertになることができました。区切りがいいのでここまで取り組んできたことをまとめてみました。 ※ 6/28追記：Amazonのリンクが切れていたので貼り直しました！ プログラミング&機械学習を始めて一年、ようやく Kaggle Expertになることができました！！ 行列も正規分布も知らず、ターミナルなんて触ったこともない状態からのスタートでしたが、ようやくここまで来ました。 ここまで来れたのは偏にこれまで関わってきた皆様のお陰です。これからも頑張ります！！ pic.twitter.com/kMkaFhqhU9 — ユウキ | Kaggler (@Yuki_Kaggler) May 12, 2021 この記事の対象者 Kaggleをやって
米テキサス大学オースティン校の研究グループは、人工知能の力を借りて、プラスチックを短時間で分解できる酵素を開発した。 ペットボトルでお馴染みのPETだが、自然環境では分解されるまで400年かかると言われている。しかし新しい酵素を使えば、1日から1週間で分解できてしまう。 「この最先端のリサイクル法を活用できる業界は無限にあります」と、研究グループの化学エンジニア、ハル・アルパー氏は語る。 「廃棄物処理業界だけでなく、あらゆる分野の企業にとっても自社製品のリサイクルを進めるチャンスになるでしょう」
さく on Twitter: "南大阪で老人会400人が参加して仕込み無しで予防接種訓練を行った結果 https://t.co/EZ19Kh0sGD"
南大阪で老人会400人が参加して仕込み無しで予防接種訓練を行った結果 https://t.co/EZ19Kh0sGD
画像生成AI「Stable Diffusion」でイラストの要素を読み取ってオリジナルの要素を引き継いだイラストをサクッと生成可能にする「Tagger for Automatic1111’s Web UI」の使い方まとめ
画像生成AI「Stable Diffusion」では、文章(プロンプト)を入力することで自由に画像を生成できます。しかし、自分好みの画像を生成するにはプロンプトにこだわる必要があり、慣れるまでは「好みの画像をサクッと生成」とはいきません。「Tagger for Automatic1111's Web UI」を使えば参考画像の要素を読み取ってDanbooruのタグを導き出し、「参考画像に似た画像」を生成可能なプロンプトを一発で作成できるとのことなので、実際に使ってみました。 GitHub - toriato/stable-diffusion-webui-wd14-tagger: Tagger for Automatic1111's Web UI https://github.com/toriato/stable-diffusion-webui-wd14-tagger Tagger for A
【保存版】環境構築不要！Google Colaboratoryで始める「ゼロから作るDeepLearning」 - Qiita
【保存版】環境構築不要！Google Colaboratoryで始める「ゼロから作るDeepLearning」Python機械学習MachineLearningDeepLearning 「ゼロから作るDeepLearning」とは？ DeepLearningの理論非常に丁寧に説明している良書です。ライブラリに頼らず理論を理解してゼロから実装するので、「DeepLearningの理論をしっかりと理解したい！」という人におすすめです。ですが、Pythonの文法の説明は少ないので、ある程度入門書などでPythonの基礎を習得していないと理論は理解できてもプログラムを理解するのは難しいかと思います。 以下から購入できます。 https://www.amazon.co.jp/dp/4873117585/ref=cm_sw_em_r_mt_dp_U_dEFvEb1FVX4AK プログラムをGoogle
写真から3DCGモデルを作成するにはさまざまな方向から被写体を何枚も撮影する必要があります。クウェート大学・Meta・メリーランド大学の研究者が、たった1枚の写真から高解像度のCGモデルを生成する「Human-SGD」を発表しました。 [2311.09221] Single-Image 3D Human Digitization with Shape-Guided Diffusion https://arxiv.org/abs/2311.09221 Human-SGD https://human-sgd.github.io/ 研究チームの1人であるJia-Bin Huang氏が、Human-SGDがどういうモデルなのかを解説するムービーをYouTubeで公開しています。 3D Human Digitization from a Single Image! - YouTube ライダージャケ
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
機械学習研究者＆エンジニアが頭を抱える実験管理に役立つツールを比較した - のんびりしているエンジニアの日記
皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いているので、参考にしてみてください。 実験管理ツール 実験管理の必要性 実験管理ツールの要件 実験管理ツールの紹介 Excel Excelとは 良い点 欠点 mag magとは サンプル実装 良い点 ここが少し残念 Weights and Biases Weights and Biasesとは サンプル実装 良い点 ここが少し残念 MLFlow サンプル実装 良い点 ここが少し残念 まとめ 最後に 実験管理ツール 実験管理の必要性 コンペティションや研究では多くのハイパーパラメータや構造などに対して様々な変更を加えます。 私の場合の例ですが、
まずディープラーニングがどのように発展していったのかお話しします。 第一次ニューラルネットワークブーム ある時、脳の神経細胞を仕組みを再現した人工ニューロンを作ります。 人工ニューロンとは上図のようなものを指します。 この複数の信号から1つの信号を出力するアルゴリズムをパーセプトロンと呼びます。 この人工ニューロンを2つ重ねるとが学習できるらしくブームが起こります。下図。 ですが世の中の多くを占めている非線形の問題が解けなく、ブームが終わります。 第二次ニューラルネットワークブーム 実は3層以上重ねるとどうやら非線形問題が解けることは知られていましたが、誰も実装まで手が付けられませんでした。 ところがある時、BackPropagationという方法が発見され、3層以上を重ねられました。 何層も重ねたものをニューラルネットワークと呼びます。 （アルゴリズムを多層パーセプトロンといいます。）
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
はじめに 以下の Tweet で言っている"長い旅路"の詳細です。完全にポエムかつ長文*1、しかも自己陶酔を多分に含んだ自分語りです。 暇かつ心に余裕があって何でも寛大に許せそうな場合にお読みください。 奇跡の solo gold を獲得し、遂に Kaggle Master になりました！ Kaggle と出会ってから4年半、一念発起して分析コンペに本気で取り組み始めてから1年半、長い旅路でした。 今までチームを組んだり議論したりして下さった皆さん、本当にありがとうございました！これからもよろしくお願い致します！ pic.twitter.com/IzWin2rioa— 俵 (@tawatawara) 2020年3月18日 話をしよう。あれは２年... いや５年くらい前の話だったか... といった感じの、むかーしむかしからの話*2。Kaggle と出会ってからの人生(の一部)の紹介みたいなも
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
はじめに トレーニー（筋トレを愛している人）の多くが習慣化している「自撮り（肉体）」。トレーニング後にパンプした肉体を撮りためて、後で見返すのが至福のときですよね。さらに、撮りためた画像をタイムラプスのようにアニメーションで表示させたら、より筋肉の成長が手に取るようにわかりますよね！ この記事はディープラーニングを使って、肉体のタイムラプスを劇的に見やすくした話を書いています。 まずは結果から 2017/12～2020/3の体の変化 ※データサイズの都合上、画像をクロップ&圧縮しています。 目次 1.手作業での補正 1-1.そのまま表示 1-2.位置の固定 1-2-1.乳首おへそ座標付与ツール 1-2-2.動画作成 2.ディープラーニングを用いた自動補正 2-1.アノテーションデータ作成 2-2.学習 2-3.未知画像への適用 2-4.後処理 2-4-1.各ピクセルの出力値が閾値以下のもの
NTT、暗号化したままディープラーニングを行う技術
日本電信電話(NTT)は9月2日、データを暗号化したまま一度も元データに戻さずに、ソフトマックス関数やAdam(adaptive moment estimation)と呼ばれる最適化処理を含む標準的なディープラーニング(深層学習)の学習処理を行う技術を、世界で初めて実現したと発表した。 通常、データを利活用するためには、通信時や保管時に暗号化した場合でも、処理を行う時には元データに戻して処理する必要があるが新技術により、企業秘密や個人のプライバシーに関わるデータをディープラーニングで使用する時に、サーバではデータを暗号化したまま一度も元データに戻さずに処理可能になるという。 サーバでは常にデータは暗号化したままであり一度も元データに戻さないため、従来よりもユーザーや組織が安心してデータを提供でき、学習に利用できるデータ量や種類が増え、精度の高いAI(人工知能)の実現が可能になると同社は考え
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類 - Qiita
Raspberry Pi 3 B+ ＆ PyTorchの深層学習で、カメラ映像内の複数物体をリアルタイム分類PythonOpenCVRaspberryPiDeepLearningPyTorch 大学の授業関係でラズパイ3B+とpicameraをゲット。暇なので、ラズパイに深層学習を用いた分類をさせてみようと思い立ちました。ただ、前もって撮った写真を分類させるのではなく、picameraからのリアルタイムの映像内の物体を分類させ、いい感じに表示させます。 学生レベルかもしれませんが、一部分でも参考になれば幸いです。 思い描いたこと 「固定されたpicameraの視野内に複数の私物を置くと、それをリアルタイムに分類し、表示する機能」をラズパイ内に作ってみようと思いました。 具体的には、背景差分（背景画像と変化した部分を抜き出す手法）で物体を抽出し、PyTorch [ﾊﾟｲﾄｰﾁ]（Keras,
Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR（サポートベクター回帰）を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと思ったのでした。 しかし、よくよく考えてみればかのVapnik御大がかつてSVMを考案する際にベースとしたアイデアはNNとは方向性の違う代物だったわけです。故に、例えばSVMとNNとがどのような点で異なるかが「見える化」出来れば、SVMが復権するための条件のようなものが見えてきそうです。 ということで、久しぶりに「サンプルデータで試す機械学習シリーズ」をやってみようと思います。実はDNNについては6年前にも似たようなことをやっているのですが、SVMとDNNとでサンプルサイズを変えながら比較するというのはやったこ
「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]
「Kaggleに挑む深層学習プログラミングの極意」献本いただきました 出版社様より「Kaggleに挑む深層学習プログラミングの極意」を献本いただきました。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon もともと著者の1人である u++ (id:upura)さんがブログで紹介していたときから、絶対読みたかった本だったので、献本素直に嬉しかったです。 今のところ、興味のあった1〜3章まで手を動かしながら読んで、4章、5章はざっと目を通したといったところですが、凄い良い本という手応えを得ていますので、紹介したいと思います。 「Kaggleに挑む深層学習プログラミングの極意」レビュー 最初に、自分自身のレベル感を書いておくと、AIはほぼ趣味で勉強しています（仕事でも、一応最近ちょっとだけ使った経験あり
![「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4018a95d99fa914eb62e9e998c6ee90dab249b0e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230201%2F20230201003729.jpg)
ニューラル場ってなに？
前書き：こんにちは、@yongyuanxiです。トロント大学とNVIDIAでPhD学生兼リサーチサイエンティストとしてニューラル場の研究をしています。今回はブラウン大学・MIT・グーグル・フェイスブック・TUM等の研究者達と共同で書いたニューラル場に関するサーベイ論文がArXivに出たので軽く日本語で紹介しようと思います。他にもブログ記事をきままに書いているので興味あればどうぞ！ サーベイに至る経歴２０２０年あたりからコンピュータグラフィックスやコンピュータビジョン界隈はNeRF: Representing Scenes as Neural Radiance Fields for View Synthesis（通称NeRF）という論文・手法で凄まじく盛り上がっています。NeRFはレンダリング方程式（カジヤ先生の方程式）を逆問題として解く手法です。具体的には、レンダリング方程式を放射輸送方程
最近、機械学習を勉強している人が増えてきたので、簡単な機械学習ならわかるよといった人たち向けに将棋AIの開発、特に評価関数の設計について数学的な側面から書いていこうかと思います。線形代数と偏微分、連鎖律程度は知っているものとします。 3駒関係 3駒関係はBonanzaで初めて導入された、玉と任意の2駒との関係です。この線形和を評価関数の値として用います。評価関数とは、形勢を数値化して返す数学的な関数だと思ってください。 この3駒関係を俗にKPPと呼びます。King-Piece-Pieceの意味です。将棋の駒は40駒ありますので、{先手玉,後手玉}×残り39駒×残り38駒/2 通りの組み合わせがあります。この組み合わせは1482通りあります。Cをコンビネーション記号とすると、次のようになります。 $$ 2 \times {}_{39}C_{2}= 2 \times \frac{39 \tim
深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデルパラメータを平均することで性能を上げる手法です。事前学習モデル からはじめて、様々なハイパーパラメータで訓練した結果のパラメータを とします。これらを平均したベクトル は個々のモデルよりも性能が高く、
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
暗号化したままディープラーニングの標準的な学習処理ができる秘密計算技術を世界で初めて実現：NTT持株会社ニュースリリース：NTT HOME
報道発表資料 2019年9月2日 日本電信電話株式会社 暗号化したままディープラーニングの標準的な学習処理ができる秘密計算技術を世界で初めて実現 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田純、以下NTT）は、データを暗号化したまま一度も元データに戻さずに、ソフトマックス関数＊1やAdam（adaptive moment estimation）＊2と呼ばれる最適化処理を含む標準的なディープラーニングの学習処理を行う技術を、世界で初めて実現しました。 通常、データを利活用するためには、通信時や保管時に暗号化していたとしても、処理を行う際には元データに戻して処理する必要があります。このことは、データ所有者からすると情報漏洩のリスクを感じることから、企業秘密や個人のプライバシーに関わるデータの利活用に抵抗感を持つユーザや組織が少なくありません。特に所有者から他者、または同一組
こんにちは データを眺めている森藤です TVer ではたくさんのデータがあって、どこをほっくり返してもなんか有用な知見が出てくるので毎日楽しいです。 現状 さて、現状はまだまだこれからなのですが、レコメンドのアルゴリズムや実装について考えるのも仕事の一つです。 レコメンドといえば、いろいろな手法やベースとなる考え方、タイミングなど様々なものがありますが、そのうちの一つとして、協調フィルタリングというものがあります。 これは端的に言うと、「これを見ている人はこれも見ています」的なやつです。 ただ、協調フィルタリングは実世界において適用が難しく、TVer でも多分にもれずそのまま適用するには課題があります。 大きな課題が「ユーザは限られたコンテンツ(エピソード)しか閲覧しないため、これを見た人はこれも見ています」と適用することが難しい、というものです user_id series_id 1 3
深層学習モデルを用いたノンパラメトリック回帰問題に関する最近の研究 | Preferred Networks Research & Development
図1：ReLU-MLPによる2次関数の近似．このネットワークを用いるとHölder関数を効率的に近似できる（[Yarotsky, 2017]より引用） 深層学習モデルはこれまで様々な機械学習タスクにおいて成功を収めてきています．それに触発され，深層学習モデルの成功要因を理論面から解明する試みが盛んに行われています．特に深層学習の理論研究（特に統計的学習理論と呼ばれる分野）では，主に3つの問題提起がなされ，それに対する様々な回答がなされています [Poggio et al., 2016]： 表現能力：深層学習モデルはどんな関数を（効率的に）推定できるのか [Cybenko, 1989; Telgarsky, 2016; Eldan and Shamir, 2016; Sonoda and Murata, 2017] 最適化：なぜ（確率的）勾配法が「良い」解を見つけることができるのか [Li
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
ゼロから作るDeep Learning ❸
大ヒットを続ける人気シリーズの第3弾。今回は「DeZero」というディープラーニングのフレームワークをゼロから作ります。DeZeroは本書オリジナルのフレームワークです。最小限のコードで、フレームワークのモダンな機能を実現します。本書では、この小さな――それでいて十分にパワフルな――フレームワークを、全部で60のステップで完成させます。それによって、PyTorch、TensorFlow、Chainerなどの現代のフレームワークに通じる知識を深めます。キャッチフレーズは――作るからこそ、見えるモノ。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷
はじめに はじめまして。株式会社キカガクの河原です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 さっそくですが、CNN の構造ってどのように決めるのか、難しいと感じた方も多いのではないでしょうか。 フィルタのサイズは、なぜ $3\times3$ が多いのか Convolution と Pooling は何回繰り返したらいいのか Convolution を何度も繰り返すと、計算量膨大になるのでは みなさん、様々な疑問を抱いてるかと思います。 私自身、学び初めの頃は、どのように CNN のアーキテクチャを構成すればいいのか、理解出来ずにいました。 そこで、CNN の過去のモデルから紐解いて学ぶ事によって、上記の疑問が解消された背景から、本記事を書いていきます。 本記事を通して、皆様の抱いていた疑問が少しでも解消されれば幸いです。 本記事を参考にして欲しい方 ニューラル
AIを作るAIを作る
人工知能(AI)はデータのパターンを識別して学習するため、とにかく十分なデータと処理能力が必要です。AI開発現場における処理能力の要請は年々増大しており、AIの開発者は数百万から数十億のパラメータを注意深く調整しなければいけません。これを達成するために設計された「ハイパーネットワーク」について、インドの作家兼ジャーナリストのアニル・アナンサスワーミー氏が解説しています。 Researchers Build AI That Builds AI https://www.quantamagazine.org/researchers-build-ai-that-builds-ai-20220125/ 人工知能の構築には「最適化」と呼ばれるプロセスで限りなく理想に近い値を見つけていくことが肝要ですが、ここに到達するためにネットワークをトレーニングすることは簡単ではありません。そんな難解なプロセスにつ
1. はじめに 非線形の高次元データを低次元化して可視化する道具として、t-SNEに代わってUMAPが主流になってきている。 McInnes L, Healy J, Melville J. UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. 2018. UMAPの仕組みを論文から理解するには数学脳不足で挫折していたが、先人達の解説記事のお蔭でやっと直感的な理解できた気がするので、ここにまとめたい。 t-SNEと比べた説明もしているので、t-SNEを把握しているとより理解が早いかも。 あくまで直感的、厳密な説明でないことをご容赦いただきたい。 （2021.3.26追記：コメントで指摘を頂いた、表の間違いを修正。） （2021.7.3追記：近さ曲線の図を修正。） 2. 次元削減の方針 UMAP
最新の深層学習技術による古典くずし字認識の現状と今後の展望 - May the Neural Networks be with you
こんにちは。@shunk031 です。 普段は最先端の技術が大好きなパソコンのオタクですが、京都へ旅行して古き良き日本の文化に感化されました。 この記事は 法政大応情 Advent Calendar 2020 21 日目の記事です。 From http://codh.rois.ac.jp/ 今回は日本古典籍の分類タスクについて取り組んでみようと考え、近年の日本古典籍における「くずし字認識」に着目して調査をしました *1。 日本古典籍といった古文書に対して、OCR 等の文字認識技術によって文字情報をデジタル化し、それらの情報をもとに解析を行う流れは現代では自然だと考えています。 しかしながら、一般的に OCR は難しく、また古文書を機械に解析させることはさらなる困難があるのは容易に想像できます。 くずし字認識に対して、近年の取り組みでは ROIS-DS 人文学オープンデータ協働センターが K
RAdam: Adam の学習係数の分散を考えたOptimizerの論文紹介 - nykergoto’s blog
表題の通り噂の最適化手法 RAdam の論文 On the Variance of the Adaptive Learning Rate and Beyond を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた Adam 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数を最小化するような問題です. 特にニューラルネットワークの学習では勾配法, 特に SGD (確率的勾配降下法) と呼ばれる方法を用いることが一般的です. SGD には様々な adaptive バリエーションがあります.この adaptive とは問題の特性を生かして, SGD を早くするような工夫を指しています. 一般的な形式 一般的な adaptive
以下では、この表データは \(X\) という行列にまとめられているとします。上記テーブルに含まれる user_id 数を \(N_U\) , item_id 数を \(N_I\) とするとき、 \(X\) は \( N_U \times N_I\) 行列であり、その第 \(i\) 行は user_id として \(\mathrm{user}[i]\) を持つユーザーに、第 \(j\) 列 は item_id として \(\mathrm{item}[j]\) を持つアイテムに対応するとします。このマッピングのもと、 \(X\) の \(i\) 行 \(j\) 列の要素は、以下の式で与えられます。 $$ X_{ij} = \begin{cases} 1 & (\text{if } \mathrm{user}[i] \text{ and } \mathrm{item}[j] \text{ had
LoRAは画像生成モデルや大規模言語モデル(LLM)に追加の情報を学習させてモデルを微調整できる仕組みです。LoRAを用いてLLMを強化する際に役立つ情報をAI研究者のセバスチャン・ラシュカ氏が解説しています。 Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation) https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms ◆LoRAの効果には一貫性がある Metaが開発したLLM「Llama 2」をLoRAで強化した際のベンチマーク結果を示した表が以下。「LoRA defaul 1」「LoRA defaul 2」「LoRA defaul 3」はそれぞれ異なるタイミングで作成されたLoRAモデルですが、ベンチマークスコア
1. はじめに 本記事は、ChatGPTを活用してみたいけれど、どうやって使うの？という方向けの、「ChatGPTと始める」シリーズ第3弾として、機械学習アプリの開発に取り組みます！ （「ChatGPTと始める」シリーズ第1弾, 第2弾はこちらです。どちらもたくさんのいいねをありがとうございます。） 今回は「猫の品種判別アプリ」を題材に、ChatGPT-4 にどのように機械学習アプリの開発を手伝ってもらうかについて順を追って説明します。 ChatGPTのおかげで、機械学習に対するハードルが大幅に下がったため、機械学習に挑戦したいと思っていたエンジニアの方々にも、ぜひトライしていただきたいです！ 2. アプリの仕様を相談しよう！ 2.1. 転移学習について 今回は「猫の品種判別アプリ」を作ってみようと思います。 先に完成品のキャプチャ動画を貼っておきます。 一例として「猫の品種判別アプリ」を
量子GAN入門 - Qiita
はじめに 去年から量子コンピュータの勉強会に参加するようになったのですが、そこでとりあげられていた量子GANのお話が難しいながらもとても面白かったので、論文を読んでまとめることにしました。 また、量子GAN実装の方法も書いてあったので、MDR社のblueqatとpytorchでコードを書いてみることにしました。 論文のリンク↓↓ https://arxiv.org/pdf/1807.01235.pdf 論文の要旨 GANはDiscriminatorとGeneratorを交互に競合させながら学習を進めることで、本物に近いデータの生成を可能にするネットワークです。本論文ではDiscriminatorはそのままにして、Generatorを量子ゲートでおきかえています。これにより既存のGANや、量子機械学習と比べていくつかの点で有用だそうです。 古典的なGANでは勾配消失問題により、離散的な値を生
1 ：風吹けば名無し ：2021/07/15(木) 04:37:57.93 ID:QpJZzt0k0.net 仕事は選べ 11 ：風吹けば名無し ：2021/07/15(木) 04:47:32.88 ID:0EsgCRWf0.net ほんまに狂ってるやん・・・ 28 ：風吹けば名無し ：2021/07/15(木) 04:57:59.25 ID:5HLt/0fR0.net ふふってなった 10 ：風吹けば名無し ：2021/07/15(木) 04:45:37.69 ID:GIAqC6+gH.net 思った以上にキチガイCMだった 20 ：風吹けば名無し ：2021/07/15(木) 04:51:19.66 ID:4RrJw26/0.net 日清のいつものノリやな 15 ：風吹けば名無し ：2021/07/15(木) 04:48:33.94 ID:ebveCX280.net 日清とキンチョーは
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kaggle Expertになるまで勉強したことを全て書く - Qiita
数百年かかるプラスチックの分解を1日〜数日で可能にする酵素を開発 : カラパイア
たった1枚の写真から高解像度の3DCGモデルをAIで生成できる「Human-SGD」が発表される
Deep Learning ideas that have stood the test of time
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
DeepLearningの歴史、学習方法について (E資格対策) - Qiita
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
Kaggle と出会ってから Master になるまで、そしてこれから。 - 俵言
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita
ディープラーニングで肉体変化のタイムラプスを劇的に見やすくした - Qiita
SVMは復権し得るか？ - 渋谷駅前で働くデータサイエンティストのブログ
機械学習エンジニアのための将棋AI開発入門その1 | やねうら王 公式サイト
モデルパラメータの算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
SQL で Matrix Factorization を実装しました - TVer Tech Blog
【初学者必見】 CNN の過去のモデルから紐解いて学ぶと理解が深まった話 - Qiita
UMAPの仕組み ── 低次元化の理屈を理解してみる - kntty.hateblo.jp
iALSによる行列分解の知られざる真の実力
大規模言語モデル(LLM)をLoRAで強化する際に役立つ情報を研究者が公開
ChatGPT-4 と始める機械学習アプリ開発入門！ - Qiita
【悲報】 八村塁さん、キチガイCMに出演してしまう : ゴールデンタイムズ