活性化関数がよくわからん、という人 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learningについての基礎を教えていると、「活性化関数が何者かよくわからん」と多くの人が学習の最初の躓きポイントになった人が結構います。 入力と重みを行列の掛け算をして～、重みに従って入力が活かされる値が調整されて～、バイアスで調整して～ と、その辺りは高校数学の行列の知識で「なんかうろ覚えだけど言いたいことはわかる」とあまり躓くことはないのですが、 こいつにいきなり「活性化関数」がかけられます。 こいつは何者なんだと 恐らく最初はステップ関数やSigmoid関数が紹介されて「あ、値を0.0～1.0に丸める奴なのかな」と思
Googleによる Deep Research の新手法、OpenAI超え
本記事では、精度の高い「Deep Research」機能を実装するための手法について、ざっくり解説します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、「Deep Research」の新手法「Test-Time Diffusion Deep Researcher（TTD-DR）」の論文[1]について、日本語で簡単にまとめたものです。 本題 ざっくりサマリー 「TTD-DR」は、Deep Researchの精度を上げるための新しい手法です。 Google Cloud の研究者らによって2025年7月に提案されました。 最近、OpenAIの「Deep Research」が話題です。この機能では、Web上の情報をもとに深く考え、高精度な回答をすることができます。ただ残念ながら、
初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 | レバテックラボ（レバテックLAB）
TOPフォーカス初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 2025年4月22日 モリカトロン株式会社代表取締役 森川幸人 1959年生まれ。CGクリエイターとして『アインシュタイン』『ウゴウゴ・ルーガ』等のテレビ番組に携わった後、1995年に有限会社ムームーを設立してゲーム制作の道へ進む。AIとゲームシステムが融合したタイトルを多数手がけており、代表作に『がんばれ森川君2号』『アストロノーカ』等がある。2004年に『くまうた』で文化庁メディア芸術祭審査員推薦賞を、2011年に著書『ヌカカの結婚』でダ・ヴィンチ電子書籍大賞を受賞。2017年にモリカトロン株式会社
絶対に分かる機械学習理論 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
私が機械学習を学び始めたとき、訓練データとテストデータは異なるのだから、訓練データ上で損失を下げたとしても、テストデータでの性能が必ずしも保証されるとは限らないのではないかと感じ、理解に苦労しました。 本稿では、かつての自分を含め、統計と機械学習の初心者に向けて、なぜテストデータでも性能が理論的に保証されるのかを丁寧に解説します。 本稿の最後では、この議論を深層学習の理論に応用し、最先端の研究にまで一気に繋げます。期待値や分散などの統計学の基礎知識だけからここまで発展的な内容にまでたどり着くというのが本稿の目的です。ぜひ最後までお付き合いください。 目次 目次 期待値への集中 マルコフの不等式 チェビシェフの不等式 ヘフディングの不等式 モデルの評価 訓練の場合には同じ議論は成り立たない ユニオンバウンド 候補の数が有限の場合 候補の数が無限の場合 深層学習の理論へ 著者情報 期待値への集
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
J-Moshi
日本語Full-duplex音声対話システムの試作 Paper (To appear) | Model | Code 大橋 厚元，飯塚 慎也，姜 菁菁，東中 竜一郎 名古屋大学 大学院情報学研究科 概要: 人間同士の対話における発話のオーバーラップや相槌など，同時双方向的な特徴をモデル化できるfull-duplex音声対話システムは，近年注目を集めている．しかし日本語においては，full-duplex音声対話システムはほとんど見られず，full-duplex音声対話システムの開発に関する知見は不足している．本研究では，英語における主要なfull-duplex音声対話システムであるMoshi[1] をベースとすることで，日本語で利用可能な最初のfull-duplex音声対話システム J-Moshi[2] を試作し，公開する．
データサイエンス系チートシートを網羅してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、私がこれまでXで発信してきたデータサイエンスに関わるさまざまな分野のチートシートを一挙にまとめました。前処理、可視化、機械学習、深層学習、ベイズ・統計、さらにはその他の関連トピックまで、私が作成したものからネット上のものまで多岐にわたる内容を網羅しています。 それぞれのセクションでは、実践的かつ即戦力となる情報が詰まったチートシートを紹介しており、初心者から上級者まで幅広い層に役立つ内容を目指しました。 日頃からX（旧Twitter）を通じて、データサイエンスに関する知識や役立つリソースを共有していますが、今回の
Autism Facial Image Dataset
Navigating Autism Spectrum through Visual Narratives and Analytical Insights.
機械学習で「分からん！」となりがちな正則化の図を分かりやすく解説 - Qiita
正則化、ムズいよ‥ 機械学習で過学習防止に使われる正則化 その例として、よく以下のような図が挙げられているかと思います この図を初めて見た時、少し考えて導き出した結論が以下です 「う～ん‥わからん！」 この図、解説が不十分なことも多く、初見で理解できた人って結構少ないのではないでしょうか‥ 図が理解できない事で正則化やリッジ回帰に苦手意識を持った方も多いかと思います（私もそうでした‥） この現状を打破すべく、図の解釈を自分なりに整理したので、分かりやすさ最優先で解説したいと思います。 正則化は機械学習では避けて通れないテクニックなので、皆さまの理解に少しでも貢献できれば幸いです。 ※注意 本記事は私の独自解釈が多く含まれています。 正確な記事を目指すためにも、「ここが間違っている！」という指摘は気軽に頂ければと思います 正則化とは？ 前提知識として、過学習と正則化について解説します 過学習
機械学習にとって大切なことは全部MSE(平均二乗誤差)が教えてくれた - Qiita
概要 機械学習の回帰問題において評価関数としてよく出てくる MSE(mean squared error,平均二乗誤差) とは一体何なのか。 山登りのように、ふもとから一歩ずつふみしめながら理解をすすめていく記録となります。 （必要な数式の導出過程も省略せず記録しました） とうことで、さっそく山登り開始します 1合目：母集団・母平均 登り始める前に、準備運動。統計用語をおさらい 「日本人成人男性の平均身長調査」 を題材に、考えてみる。 選挙年齢が引き下げられたので 成人＝18歳以上 とすると 日本人のうち 成人 に該当するのは 約1億人。 そのうち男性が約半数なので、日本人成人男性は5000万人程度と考える。 母集団（ぼしゅうだん、population） 母集団とは、調査対象となる数値、属性等の源泉となる集合全体 平均身長調査で考えると、母集団とは対象者全員ということになる。 つまり母集団
僕たちがグラフニューラルネットワークを学ぶ理由
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…
【AI動画生成】Sora 要素技術解説
もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用
つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。
ChatGPT - LLMシステム開発大全
私の今まで経験してきた全てのLLMノウハウを詰め込んだ、LLMシステムの開発ガイドです。 初めてLLMシステムを開発したいと思った時でも、精度改善や運用に行き詰った時でも、何かしら役に立つと思います。 現在200ページ超。 今後も随時更新していきます。 2023/7/28 体裁修…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PreciTaste | Restaurant AI Software • Automate Kitchen Operations
Streamlit • A faster way to build and share data apps
K-Scale Labs
Son of a Tailor - Custom Fitted T-Shirts
Replicate - Run AI with an API
