やればやるほど呪術化する、AI画像錬成について。 以下は、その道の専門家にはメッチャ怒られるかもしれない、雑なロジックと制御講座。 いちおうメジャーなサービスでは、共通して動作するノウハウ（DALL-E2, MidJourney, StableEiffusion, DiscoDiffusion, crayon, dall-e mini 他）。 雑に理解する画像AIのしくみ対話型のAIにとって、呪文プロンプトとは画像錬成の方向性ベクトルを定めるものにすぎない。 たとえば、以下は「I love apple」で錬成された画像の例である。どうにも、ふわっとしたものが出てくる I Love Apple「Apple」という方向性ベクトルは、「リンゴ」「青リンゴ」と「アップルコンピューター（旧レインボーロゴ」「アップルコンピュータ（新ロゴ）」など、複数の可能性を同時に持つからだ。 つまり、「Apple」
2021年にブックマークしたページでよかったもの集めた - Really Saying Something
2013年から毎年、「年ごとにブックマークしたページでよかったもの集めた」と題して、1年分の「自分がブックマークしたページ」を振り返り、まとめています。2020年分は以下です。 2020年にブックマークしたページでよかったもの集めた - Really Saying Something 完全に「私得」なまとめなのでカテゴライズなどは一切しておらず、主に自分のブックマークした順番となっています。そのため、春ごろの記事が冬にいきなり登場したり、日付が前後していたりします。私の脳内に「その時こういうこと考えていたな～」という記憶を作るインデックスだからです!!! 基本的には、以下の基準で選出しています。 当年に作られたエントリーであること Wikipediaや当年に作られたことが明確でない役所のページなどは除外 ブックマークが多く集まっていてもリンク切れであるものは除外 Yahoo!ニュース（掲載
DNS前史：HOSTS.TXTとドメイン名ができるまで
こんにちは、技術開発室の滝澤です。 先月（2022年7月）、『Software Design 2022年8月号』の特集記事『WebエンジニアのためのDNS速習講座』に『第2章：DNSの構成要素と名前解決のしくみ』という記事を寄稿しました。第1章でも滝澤が趣味で作成した資料『ドメイン名の歴史』が参考文献として掲載されていました。よい機会なので、ドメイン名ができるまでの歴史について文章としてまとめようと思い、この本ブログ記事を書きました。 なお、筆者自身はインターネットの原型であるARPANETや80年代のインターネットをリアルタイムには体験してはいないため、RFC（Request for Comments）やインターネット上にある当時のホストのアーカイブを元に調査した内容をまとめたものになります。 ARPANETの時代 1969年から1980年代初期にかけてのインターネットの原型となったAR
イーロン・マスク氏はTwitterを「月2ドル以下の定額制」にしようとしているらしいが、その是非についての議論が巻き起こっている
Erika Toh - 藤えりか🖋️ @erika_asahi イーロン・マスク氏は… ・表示される投稿の順番を決めるアルゴリズムは「信頼を高めるために」オープンソースにして公開 ・全ての利用者に認証を ・月2ドル以下の定額制に ・編集ボタン導入 ・「我々は投稿の削除やアカウントの永久凍結に対しては、とても慎重でありたい」 asahi.com/articles/ASQ4V… 2022-04-26 11:51:41 リンク 朝日新聞デジタル ツイッター買収も「楽しんでる」? マスク氏が変えたいSNSの未来：朝日新聞デジタル 米電気自動車大手テスラのイーロン・マスク最高経営責任者（CEO）による米ツイッターの買収提案は、急転直下の合意となった。マスク氏は「表現の自由」を掲げるが、「世界一の富豪」による大手SNS買収には懸… 126 Erika Toh - 藤えりか🖋️ @erika_asa
Pythonが教育用途において十分だという話
Pythonが教育用途において十分だという話 今話題のPythonを教えている現役の講師です。Pythonを教える際に重視すべきだと考えている機能等について書いておきます。 dataclass / Pydantic 自分は型ヒントよりもdataclassやPydanticを使った型付けを重視しています。いわゆるクラスベースな言語の書き方が大事だと考えています。 dataclass Pythonは動的型付け言語であり、interface相当の機能すらclassの構文で書く変わった言語です。近年Pythonの型ヒントは少しづつ充実してきていますが発展途上であることは否めないですし、何より実行時にその型であることは保証されないので、dataclass等を使った開発スタイルが依然強力だと考えています。 Python+TypeScriptというようなスタックを使う際には両言語の差に混乱するでしょう。
超関数型プログラミング
この記事はFOLIO Advent Calendar 2022の23日目です。 ソフトウェア2.0 ソフトウェア2.0 という新しいプログラミングのパラダイムがあります。これは Tesla 社のAIのシニアディレクターだった Andrej Karpathy が自身のブログ記事（"Software 2.0"）で提唱した概念で、 ニューラルネットワーク のような最適化を伴うプログラムを例に説明されています。 従来のプログラム（Software 1.0）は人間が命令に基づいたプログラムを作成し、望ましい挙動を行わせます。それに対してニューラルネットワークのようなプログラム（Software 2.0）では人間はある程度の自由度をパラメータという形で残したプログラムを作成し、「入出力のペア」や「囲碁に勝つ」というような教師データや目的を与えてプログラムを探索させるというものです。 画像出典: "So
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
公開2020.10.25 更新2022.01.09 カメラ・写真カメラ本体 なんでこんなことになっちゃったんでしょう、SONYさん……。 10月23日から販売が開始されたSONYのミラーレスカメラ「α7C」。 「α7III」と同等の性能でありながら、よりコンパクトで軽量になったということで、9月の発表からα7Cの実機に触れる日を楽しみにしていました。 そして昨日。店頭にて実機にさわった感想が冒頭部分です。 α7IIIからα7Cに買い換えるつもりでいましたが、これはちょっと酷すぎるのではなかろうかと。 結論からいってしまえば、α7Cを買うならα7IIIを使い続けたほうが良さそうです。 今回は、α7IIIユーザーである私がα7Cについて感じたことを書いてみます。 α7Cは全然コンパクトじゃない いきなりですが5秒で買い換えるのをやめた理由がこれです。そもそもコンパクトがウリのはずのα7Cがコン
カルマンフィルターについて - Qiita
はじめに 千葉大学/Nospareの米倉です．今回はカルマンフィルターについて解説していきたいと思います． カルマンフィルターで何が出来るの？ フィルターとあるように，カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです．ここで２つのキーワード，「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので，まずはそれらについて解説します． 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります．1つは潜在変数・状態変数・隠れ変数といわれるもので，これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます．例えば景気の良し・悪し等，概念として存在するけれど直接は観測できないものを想像してください．2つめは観測値で，これは直接観測できるもの，つまりデータです．ただし変数に依存して観測される
無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (技術編) - NFLabs. エンジニアブログ
tl;dr 前半をサイバー脅威インテリジェンスの理論、後半をハンズオンの形式で全6回の連載をしてきました 連載は現実のインテリジェンス業務をなるべく反映させたものであり、戦術脅威インテリジェンスがアウトプットの中心になります 実態のよくわからないバズワードに飛びつかず、企業は自組織の体制と世の中の脅威を正しく理解するところからはじめましょう はじめに 本稿は前回の記事「無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (非技術編)」の技術的内容部分を抜き出したものです。未読の方は先にそちらの記事を参考にしていただいた方が、内容を理解しやすいと思います。 blog.nflabs.jp 前回に引き続き @strinsert1Na です。事業推進部の Defensive チームで脅威インテリジェンスの生成やソフトウェアの開発をしていま
このエントリは今年買ってよかったもの Advent Calendar 2019 - Adventarの23日目です。 みんなどうせデジタルガジェットばっかりでしょ？…ということで課金、食べ物、生活用品を厚めにお送りします。あとmamorino5すごくいいと思うんだけど「キッズケータイ おすすめ」でググると、キッズスマホへのアフィリエイト誘導ばっかりでつらいよね？ 課金 アトリエ木下代官山店 夏前に七五三の前撮りでの利用した(3年ぶり2回目)。元々(奥さんが)Blogとかインスタとかでポートフォリオ見て探しまくった。自分の好みの作風で超お気に入り この投稿をInstagramで見る アトリエ木下 公式(@atelierkinoshita_official)がシェアした投稿 - 2019年 4月月16日午後6時18分PDT もう年賀状も宛名込みで発注したった。「LETTERS」いいよ富士フイル
「2024年も始まったしそろそろマルウェアの勉強を始めるか」と思っている人向けのマルウェア解析ツール入門話 - 切られたしっぽ
追記と修正 2024/01/09: FOR710 についてはプロ視点で賛否両論あったので表現を変えました 2024/01/09: FLARE-VM の構築部分でも書きましたが、解析環境と普段生活する環境は分離しましょう。VMWare or VirtualBox を使ってください。普段使いの環境にここで述べた解析ツールをいきなりインストールするとAnti-Virusに検知される可能性もあります。 TL;DR 将来的にベンダーレポートやカンファレンス発表レベルでの"マルウェア解析"を想定した話です とりあえず FLARE-VM 環境を作ってインストールされたツールを見る・触るところから始めるといいんじゃないでしょうか TL;DR はじめに "マルウェア解析" のスコープと前提知識の明確化 ツールの選択元(プール) : FLARE-VM FLARE-VM に入っている中でもよく使うツール PES
Making of “Kindolphin” | 麦 Baku
group_inou / HAPPENING group_inouとAC部のミュージックビデオ作品『HAPPENING』をWebアプリ化しました。デザインと実装は僕一人です。元のビデオがGIFアニメ縦長漫画が歌詞に合わせて自動スクロールする仕様だったので、GIFの質感をロスレスかつ自分のペースで楽しめるように、某電子書籍アプリのような体裁でインタラクションできるようにした次第です。 We have just released a Webtoon app that highlights the lyrics of group_inou's music video "HAPPENING". You can switch between Japanese/English, change colors, stop and have a close look, or just scratch and
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
Apple Special Event とかいう通販番組を見てたらテンションが高まってしまってうっかり 20 万円くらいの構成のやつを買ってしまったけど、全然後悔してない。 総評 M1 搭載マックのおもちゃ度まじで最高に高い、まともにうごく場面だと早すぎておもしろい、アーキテクチャ変わりすぎてるので細かいところで全く違う動きになってる場所がたくさんあるのもおもしろい、たまに動かないものがあるのもおもしろい— 12/5 #RTF_DJ 配信やりました (@polamjag) November 20, 2020 とりあえず 10 万円 (あるいは 10 万円台) で買えるパソコンのなかではウェブブラウザが世界最強レベルで快適に動くことはわかってて、それだけでも普通に価値ある— 12/5 #RTF_DJ 配信やりました (@polamjag) November 20, 2020 まだ matur
8行のデータで理解する階層ベイズ - Qiita
学習効果を統計的に評価したい！ こんにちは グロービスではさまざまな教育事業を展開していますが、多くの人に学習を継続してもらうためには、研修をしたりコンテンツを視聴してもらったりするだけでなく、その学習効果を測定してユーザーにフィードバックすることが重要です。このとき、だれが見ても明らかな効果が出れば良いのですが、受講前後の成績変化のばらつきが大きかったりデータが少なかったりして、必ずしも分かりやすい結果が得られるとは限りません。そういった場合にデータを丁寧に紐解いて、どの程度効果があったのかを明らかにするのも分析の仕事のひとつです。 今回は階層ベイズモデルという統計モデルを使って、高校における学力コーチングの成果についてのデータを分析します。階層ベイズはやや高度な統計モデルというイメージがありますが、この記事ではたった8行のデータを例にしてその概要を説明してみたいと思います。 想定読者
電通国際情報サービス、オープンイノベーションラボの比嘉康雄です。 Stable Diffusionシリーズ、今回は、美少女写真の呪文です。 今回の記事は、レンズ編がベースになっています。まだ、ご覧になっていない方は、もしよろしければお試しください。 今回の企画は、【公開】Stable Diffusionで美しい女性のポートレートを描くの記事が素晴らしかったので、思いついた企画です。まだ、見ていない方は是非ご覧ください。 Stable Diffusionのおすすめコンテンツはこちら。 Waifu Diffusion 1.3.5_80000 v2.1 金髪美女写真 v2.1 美少女アニメ画 v2.1 AUTOMATIC1111 v2.0 美少女イラスト v1.5 美少女画検証 美少女アニメ画改善版 美少女を高確率で出す呪文 美少女アニメ画 美少女写真編 女性イラスト 魅惑的な女アニメ画（トゥー
[8/27追記] 投資関連のPythonプラグラム等を自由にシェアできるサービスのベータ版を作成しました。 興味がある方は覗いてみてください↓ inbaseシェア|EA・bot・プログラムのシェアサービス この投稿では、Python3を使って仮想通貨の裁定取引を行います。 今回は、コインチェックとGMOコインの価格差を利用してサヤ抜きを行うことを目指します。 以前自分のブログで、 【Pythonデモコード】仮想通貨のアービトラージ（裁定取引）botの作り方 という記事を公開したのですが、こちらはあくまでもシュミレーションで実際に売買が作動することはありませんでした。 今回は実際に取引所のAPIを操作するところまでコートに組み込んでみました。 なおコインチェックと GMO コインの口座開設から API キーの発行までは下の記事で公開している手順と全く同じです。 一応画像付きで解説しているので
前回学習設定の記事を書きましたが、しょうもないネタ画像を作るのが面白かったので、生成についても書いていきます。WebUIにある機能を中心に書きますが、実装をみないでフィーリングで理解してる部分もあります。 生成過程について Stable-Diffusionは拡散モデルというもので、完全なノイズからノイズを除去していって画像を生成するとかいいますね。ざっくりと以下のような図で表されます。 一般的な設定 生成法によらない設定から紹介していきます。 解像度Stable-Diffusionの世界の掛け算九九 解像度自体は説明しなくても分かると思いますが、WebUIでは8の倍数の画像しか生成できません。これはVAEが潜在変数を8倍するからです。なんとなく8の倍数以外も生成できるようにするスクリプトを作ってみましたが、どうしても8の倍数以外を生成したいなら、できた画像をちょっと拡大縮小すればいいだけな
映像編集をメインとしたMacintoshとカメラ、ワタシの興味関心の向く モノ関係の欲望とレビューのモノローグ SINCE 2006 このblogはアフィリエイト広告等の収益を得ています。収益はすべてモノローグに役立つ無駄遣いに使わせていただきます。 打合せや会議がZoomやGoogle Meetベースになってきて、GW明けからうちの大学でもオンライン授業が始まります。だけど、ワタシの書斎に鎮座する超弩級MacintoshであるMac Pro 2019にはカメラが付いていません。リーズナブルなWEBカメラは売り切れて手に入らず、先日書いたiPhoneをビデオ専用参加者にするのもありだけど、いまひとつスマートじゃない。 SIGMA fp を Web カメラとして使うのが流行っているよう（以下、UVCな話は丸投げで）ですが、そんな予算はない、HDMI to USBなキャプチャーツールを入れる
このエントリは、おもに同業者（大学教員）を読者に想定し、オンライン授業の画質向上のために機材を導入する際のガイドとなることを目指して書かれたものです。 0. そもそも必要？ 必須ではありません。でもあると絶対いいです。 オンライン授業実践において、まともなマイクは絶対必要ですが、カメラは必要性高くありません。そもそもカメラで写るのは基本的に自分なわけで、そこで画質を上げてどうする？と思う方も多いでしょう。こうです： 画質を上げると、自分がアガります。 胡散臭い言い回しになりましたが、結局そういうことです。例えばZoomを使ってオンライン授業をやっていると、自分の姿がずっと写っていることになります。その「画」がしっかりしたものになっていることは、ある種の自己肯定感に影響を与えます。別に自分自身がよく写っているかということではなくて、自分が入っている「画」がちゃんとしてることが重要なのです。ち
見たら「ん？」となるエラーバーのグラフ
はじめに 実験や数値計算などでエラーバーがついているグラフをよく使いますが、見ていると「ん？」となるグラフをよく見かけます。いくつか例を挙げて見ましょう。 ケース1 例えばこんなグラフがあったとします。 何かが時間に対して指数関数的に減衰していることを表しているようです。僕は発表でこういうグラフを見かけたら「ん？」と思います。 一方こちらのグラフは、少なくともエラーバーの付き方はまともです。 ケース2 もし、観測値のそれぞれに独立なノイズが乗っているのであれば、エラーバーは、観測回数を増やせば減っていくはずです。観測回数nに対して、物理量の推定値とエラーバーがどうなるかを表したグラフでこんなものがあったとします。 試行回数nを増やすにつれて、平均値は0.5に収束し、さらにエラーバーも小さくなっています。一見それっぽく見えますが、僕はこのグラフを見たら「ん？」と思います。 一方、こちらも同様
決定係数について - Qiita
はじめに 千葉大学/Nospareの米倉です．今回は決定係数について解説したいと思います． 決定係数とは まずは次のような線形回帰モデルを考えます， $$y=X\beta+\epsilon.$$ ここで$y,X,\beta$はそれぞれ，$n$次元の被説明変数のベクトル，$X$は説明変数ベクトルからなる$n\times d$の行列，$\beta$は$d$次元のパラメータのベクトルとし，$\epsilon$は線形回帰分析の際の適当な仮定を満たす確率ベクトル（誤差ベクトル）とし，その分散は$\sigma^2$であるとします．またこの記事では$X$も確率変数だとしますが，定数として扱っても議論の結論などに影響はないです． この時，最小二乗推定量$\hat{\beta}$は，$$\hat{\beta}=(X^{\top}X)^{-1}X^{\top}y$$と適当な仮定の下で求まります．これを用いると
結局、統計モデリングとは何なのか - Qiita
先日、つれづれなるままに 時系列分析の勉強法の記事『統計初心者が時系列分析を学ぶための勉強法』 を書き殴ってみたところ、反響の大きさに驚きました。 正直、時系列分析なんてかなりニッチな分野だ（3人ぐらいしか読まないだろう）と思ってたからです。 ステイホームしているみなさんが、暇だから時系列分析を使ってFXで一儲けしようとでも考えているんでしょうか。 時系列分析のトピックである、状態空間モデルも統計モデリングの一種なわけですが、本日は、「統計モデリングとは何なのか」について、あらためて考えてみたいと思います。 統計モデリングといえば、みんな大好き緑本『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』です。 緑本はたしかに素晴らしい本ですが、緑本を読んだだけでは、「何が統計モデリングで、何が統計モデリングではないのか」「統計学における
0. はじめに M5Stack のスピーカーは低音質で有名です。私も M5Stack 入手直後、サンプルスケッチで Wave File をスピーカーで再生してみて、前評判通りの低音質にがっかりしました。そこで、この音質問題に取り組まれた先駆者様の知恵を参考にしつつ、高音質化の限界1に挑戦しました。この記事では、そのプロセス、ソフトウェア実装例、改善効果をレポートします。 先駆者様 文献1 : Tw_Mhage 様 M5Stackのスピーカーの音質が悪い原因と対策 文献2 : N.Yamazaki 様 M5Stackの音量を抵抗1つで調節する - N.Yamazaki's blog 文献3 : macsbug 様 M5Stack speaker noise reduction 他 1. 概要 M5Stack のスピーカーの低音質原因は、文献1で以下のように分析されています。 1.アンプのゲイ
信頼区間と不確かさ（“α = 7.297 352 569 3(11)×10⁻³”とは一体何を意味するのか） - Qiita
このとき、測定値の標本平均は$$\bar{T}=\frac{1}{N}\sum_iT_i=2.00\,\text{s}$$、標本不偏分散は$$s^2=\frac{1}{N-1}\sum_i(T_i-\bar{T})^2=1\times10^{-3}\,\text{s}^2$$、標準不確かさ6をタイプA評価すると、$$\frac{s}{\sqrt{N}}=1\times10^{-2}\,\text{s}$$である（ただし以下$N=10$）。学生がこの実験レポートを書くとき、こう記述することになるだろう。 $$T=2.00(1)\,\text{s}$$ 数理モデルの世界 このとき、次のような数理モデルを考える。 仮定0 ：$x_1,\dots,x_N$は平均$\mu$の独立同分布に従う確率変数の実現値である。 仮定1 ：$x_1,\dots,x_N$が従う分布は正規分布である。 仮定2 ：$N
プログラミング演習 Python 2021( Version 2021/10/08 (コラム編) )
プログラミング演習 Python 2021 コラム編 京都大学 国際高等教育院 喜多 一 京都大学 情報環境機構 森村吉貴 京都大学 高等教育研究開発推進センター 岡本雅子 Version 2021/10/08 目次 Next Chapter Table of Contents 2 目次 目次 2 0. コラム 0 始まり ........................................................................................................4 0.1 Python は 0 ではじまる .................................................................................. 4 0.2 1 始まりではいけないのか .......
不確実性を考慮した予測が可能と噂の NGBoost の論文を読んでみたので、全体のながれをまとめて見ました。加えて自分でも NGBoost を実装して、その結果を載せています。 元の論文 NGBoost: Natural Gradient Boosting for Probabilistic Prediction はこちら https://arxiv.org/abs/1910.03225。 Introduction 一般的な教師あり学習を考えます。このとき予測モデルは入力データ $X$ に対して予測値 $y$ を出力するように学習していきますが、たいていのモデルではひとつのデータに対しては予測値はひとつしか得ることができません。 例えばウェブ上の行動履歴から、ユーザーの年齢を予測してください、という問題があったとすると、ユーザーの期待される年齢そのものを返すようなモデルがそれに当たります。
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 最新の最適化アルゴリズムRAdam ニューラルネットワークは画像認識や自然言語処理など多方面で使われており、おもしろいことにも使うことができます。そんなニューラルネットワークが高い精度を出すためには、優秀な最適化アルゴリズムが必要不可欠です。最適化アルゴリズムとして現在デファクトスタンダードとなっているのがAdamです。Adamが登場したのは2014年のことですが、そこからAdamに取って代わるような最適化アルゴリズムは久しく出ていません。そんな現状をとうとう変えると期待されている新しい最適化アルゴリズムの論文が国際学会ICLR2020に採択されました。その名もRectified Adam、通称RAda
RWKVについて解説
本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。しかし、Transformerにも解決すべき問題が存在しています。そこで、これらのアプローチを結びつけて進化させていく必要が出てきました。 まず、RNNの利点と欠点を見てみましょう。RNNは、文章の長さにほとんど制約がなく、計算コストも比較的小さいという利点があります。しかし、以前の入力を正確に記憶することが難しく（長期依存性を捉えられない）、学習を高速化することも難しい（学習並列化が困難）という欠点も存在します。 一方、Transformerは長期依存性を捉え
人間を超えたゲームAIの基盤となった経済学 〜ナッシュ均衡とその計算アルゴリズム〜 | | AI tech studio
AI Lab 経済学チームの森下(@GotaMorishita)です. 今年7月に複数人のポーカーで圧勝したポーカーAI, Pluribus[1]が話題になりました. Pluribusやその元となったLibratus[2]で用いられた理論は, ミクロ経済学の一分野であるゲーム理論のナッシュ均衡でした. ポーカーを展開型ゲームとして定式化し, そのゲームのナッシュ均衡を求め, それを最適戦略としたのです. ナッシュ均衡を求めるアルゴリズムはコンピューターサイエンスでは盛んに研究されており, LibratusやPluribusではCounterfactual Regret Minimization (CFR)と呼ばれる展開型ゲームのナッシュ均衡計算アルゴリズムを応用したものが使われています[3]. 弊ブログでも, 先日, CFRアルゴリズムを花札「こいこい」に適用させた例を紹介しました(こちら
TopicModelの最終形態？ Structured Topic Modelのご紹介 - Retrieva TECH BLOG
こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。 今回は、Bag of Words(BoW)表現に於いて、これがTopicModelの最終形態ではないか？と私が思っているStructured Topic Modelの紹介と再現実装をpythonで行なったので、その紹介をします。 https://github.com/retrieva/python_stm Structured Topic Modelとは Correlated Topic Model(CTM) Sparse Additive Generative Model(SAGE) STMの更なる特徴 文書ートピックの分布の推定に対し文書属性情報を考慮できる 積分消去による高速化 STMの使い方 Covariate(Y)の使い方 P
OpenAI Sora に使われる技術
TL; DR OpenAI が非常に高品質な動画生成モデル Sora を公開 画像生成モデル Diffusion-Transformer を利用 動画を3次元画像として扱うことで画像モデルを拡張 キャプションは DALL•E3 同様、キャプション生成モデルで作成 OpenAI Sora Sora は OpenAI が今年の2月に発表した、動画生成モデルです。まずはこのモデルの出力例を見てみましょう。 図1. Sora の生成例: https://cdn.openai.com/sora/videos/big-sur.mp4 各フレームの画像が非常に美しく生成されています。また、従来の動画生成では時間が経った際に写っているオブジェクトを保つことが難しく、消えたり現れたり、急に歪んだりするものが多かったのに対し、Sora では一度隠れてから再度現れる場合であっても、矛盾なく生成できています。 こ
Consistency Models: 1~4stepsで画像が生成できる、新しいスコアベース生成モデル はじめに こんにちは。 今回は、Yang Songさんをはじめとする拡散モデルの第一人者が新たに提唱する生成モデルである、Consistency Model（一貫性モデル） を説明します。 まだ実用レベルのpre-trained modelがリリースされているわけではなく、PoCの段階ですが、その成り立ちやデザインからして、のちに拡散モデルの正統進化版の1つとして広く受け入れられるものになる気がしています。 前置き Consistency Modelは拡散モデルと強すぎる結びつきがあり、拡散モデルをスコアベース生成モデル（Score-based Generative Model）として捉えることが議論の端緒となっていることから、話に追いつくまでには数多くの文脈があります。 特に、以下の
多重共線性のシミュレーション - 井出草平の研究ノート
下記エントリーの続き。 ides.hatenablog.com こちらの教科書から多重共線性について Statistical Rethinking: A Bayesian Course with Examples in R and STAN (Chapman & Hall/CRC Texts in Statistical Science) 作者:McElreath, RichardChapman and Hall/CRCAmazon Richard McElreath - Statistical Rethinking_ A Bayesian Course with Examples in R and STAN 6.1. 多重共線性 一般に、回帰モデルに追加する潜在的な予測変数が多くあることは事実である。たとえば、霊長類のミルク・データの場合、我々が結果として選ぶどの列も予測するために利用可
四元数ニューラルネットワークとGHR微積分
これは「FOLIO Advent Calendar 2023」6日目の記事です。 ニューラルネットワークで取り扱う数値を実数とは異なる数に拡張することは、機械学習や計算科学の発展における魅力的な課題の一つです。実数を用いた数値表現は多くのタスクにおいて十分な結果をもたらしてきましたが、新たな数値体系を導入することで、今までとは異なる問題が解決できるようになったり実数では見られなかった新たな現象が起こる可能性に期待することができるでしょう。例えば数値が取れる値を±1に制限したBinalized Neural Networksはハードウェアとの相性が良くメモリ効率の良い実装が可能であったり、拡大実数\bar{\mathbb R}={\mathbb R}\cup\{-\infty,\infty\}を用いた5層のReLUネットワークには任意の深さのReLUネットワークを埋め込むことができたりします
『SIGMA fp』を購入した理由は「カメラの終わりと始まりの狭間にある歴史的カメラだから」 - tabing 旅とカメラ
題名通りなのだが、『SIGMA fp』を購入した。 LeicaM3から始まって、LeicaR8、そして中判フィルムカメラ「プラウベルマキナ67」と来て「SIGMA fp」。 この一年内で僕の防湿庫はすごいことになってきたが、真面目に写真とはなにか？を考えた上での散財＝思考実験だったわけだ。 カメラを真面目に考え直すと、現在のカメラの置かれている状況と、撮影行為自体の転換点にいるという状況、そしてSIGMA fpを買わざるを得ない状況が峻別できた。 では、なぜfpを買うのか。 今回はカメラとは？写真とは？という壮大なテーマを紐解くことで、実はfpを買っちゃった永い言い訳だったりする独り言を書いてみようと思う。 追記 濱崎鉄人 × SIGMA fp fpにLeicaレンズをつける理由 この記事がきっかけで、SIGMAさんの公式チャンネルで動画を作っていただきました。 よろしければご覧ください。
深層学習入門 ~順伝播編~ - Qiita
対象者 深層学習シリーズの記事です。 前回の記事はこちらです。 ここでは順伝播について、まずはスカラでの理論を説明して、それから行列に拡張します。 前回記事で紹介したコードに追加していったり修正していく形となるので、まずは前回記事からコードを取ってきておいてくださいね〜 次回の記事はこちら 目次 スカラでの順伝播 スカラでの順伝播理論 スカラでの順伝播実装 行列での順伝播 行列での順伝播理論 行列での順伝播実装 __init__メソッドの実装 行列演算について 行列和 行列の要素積 行列積 転置 スカラでの順伝播 ここでは、スカラ(実数)での順伝播の理論と実装を説明します。といっても、だいたい基礎編で既に述べている通りです。 スカラでの順伝播理論 まずは理論ですね。 このニューロンモデルから見ていきます。 これを定式化すると$f(x) = \sigma(wx + b)$となることはここで述
Rによる一般化線型モデル（GLM）
はじめに 本記事では、Rによる一般化線型モデル解析を紹介する。線型回帰、ロジスティック回帰、ポアソン回帰を行う。入門的な記事で記されている内容に加え、係数ベクトルによる算出、対比検定、offset項を用いたポアソン回帰による率比推定を記載した。 【参考文献】 一般化線形モデル入門 原著第2版 Modern Epidemiology 4th edition 目次 一般線型モデルと一般化線型モデル Package 一般線型モデル（LM） Cervical Dystonia longitudinal dataset Variables データの読み込み 線型回帰分析 係数ベクトルによる算出 例1: treat_c2群の16週目のtwstrs 例2: treat_c2群の治療効果 対比検定 一般化線型モデル（GLM） Byar & Greene prostate cancer data Varia
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
魔術として理解するお絵描きAI講座｜深津 貴之 (fladdict)
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
α7IIIユーザーがα7Cに買い換えるのをやめた話
2019年買ってよかったもの/課金してよかったもの - Images & Words
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
Apple Silicon 搭載 MacBook Pro 買った日記 - polamjaggy
Stable Diffusion入門-美少女写真 - 電通総研 テックブログ
【Python実践編】ビットコインのアービトラージ（裁定取引）コード例 - Qiita
Stable Diffusionの生成設定まとめ｜gcem156
EOSをWEBカメラに使う。Mac篇。Zoomにも | mono-logue
オンライン授業のための映像機材ガイド - bluelines
M5Stackの限界に挑戦～高音質スピーカー再生 - Qiita
NGBoostを読んで、実装する。 - nykergoto’s blog
ついにAdamを超えた！最新の最適化アルゴリズム「RAdam」解説 - Qiita
Consistency Models: 1~4stepsで画像が生成できる、新しいスコアベース生成モデル