はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 1. はじめに 2. ファインチューニング手法概説 3. 各種ファインチューニング記事 4. おわりに 1. はじめに Stable Diffusionとは、ダウンサンプリングファクター8のオートエンコーダーとパラメーター数 860M の U-Net および CLIP ViT-L/14 テキストエンコーダを Diffusion Models に用いたアーキテクチャを指します。 Stable Diffusion は、オンライン上の研究コミュニティである CompVisとLAION、そしてロンドンをベースとする AI 企業の Stab

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997) During handling of the above exception, another exception occurred: （略） urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='hogehoge.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_

はじめに PyTorch Lightningは生PyTorchで書かなければならない学習ループやバリデーションループ等を各hookのメソッドとして整理したフレームワークです。他にもGPUの制御やコールバックといった処理もフレームワークに含み、可読性や学習の再現性を上げています。 hookには次のようなものが存在します。 class LitModel(pl.LightningModule): def __init__(...): def forward(...): def training_step(...) def training_step_end(...) def training_epoch_end(...) def validation_step(...) def validation_step_end(...) def validation_epoch_end(...) def

はじめに PyTorch で Dataset を使用するときのクロスバリデーション（交差検証）のやり方を説明します。 Subsetを使用した分割 torch.utils.data.dataset.Subsetを使用するとインデックスを指定してDatasetを分割することが出来ます。これとscikit-learnのsklearn.model_selectionを組み合わせます。 train_test_split sklearn.model_selection.train_test_splitを使用してインデックスをtrain_indexとvalid_indexに分割し、Subsetを使用してDatasetを分割します。 class DummyDataset(Dataset): def __init__(self): pass def __len__(self): return 100 def

はじめに 最近（もう結構前）、p値だけを見てデータを評価するのは止めようという動きがあります。 「“統計的に有意差なし”もうやめませんか」　Natureに科学者800人超が署名して投稿 仮説検定の判断をp値でする危険性 社内でもp値や統計的有意性について話題に上がりました。データの量が多くなるとp値が小さくなってしまい、どんなデータでも有意になってしまうため、ビッグデータにp値を使うのはやめたほうがいいという話です。これは、確かにそうなのですが、なぜ有意になってしまうのかをちゃんと理解せずに「ビッグデータの時代には古臭い統計学なんて役に立たないのね〜」と勘違いしている人がいそうなので今回はp値について考えてみます。 なぜデータが増えると有意になってしまうのか 議論を簡単にするために、例として母分散が既知の平均値の検定を行うこととします。母集団は無限母集団とし、分散1平均0の標準正規分布に従

はじめに 9/13 (金) 18:00-21:00 知っ得ハンズオン-はじめてのIoT ~AWS IoT Core~に参加しましたので、質問等をメモしました。 プログラム 最初の挨拶 亀田 治伸（プロダクトマーケティング, エバンジェリスト）さんから趣旨説明。 AWS IoT の日本語チュートリアルは Raspberry Pi に SDK をインストールするところから始まるのでハードルが高いとよく言われる。今日はデバイスはダミーを使用して、IoT Core のハンズオンを実施する。 AWS IoT には様々な機能があるが、今日は図の真ん中のサービスを使う。 IoT Device Management はデバイスのグループ管理をしてくれる。今まではSDKなどでデバイスを管理するDBを作っておく必要があった。 IoT Device Defender はデバイスの乗っ取りを対策する。 AWS I