大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
生成AIグラビアをグラビアカメラマンが作るとどうなる？第一回：実在モデルで学習・LoRAでキャッチライト付加 (西川和久) | テクノエッジ TechnoEdge
百聞は一見に如かず。これってAI生成グラビア？AI画像生成に興味を持ったのは去年の年末頃だろうか。Twitterを眺めていると「どうやって撮った(作った)んだ？」と言う画像がたまに載っていたので調べると、Stable Diffusion Web UI (AUTOMATIC1111版)だった。 元々グラビアを撮っていたこともあり、あまり撮らなくなってもグラビア好きなのには違いなく、試したくなったのは言うまでもない。 AI生成画像は大きく分けて2種類あり、一つはイラスト系、もう一つはリアル系。筆者が興味を持ったのは後者。どこまで実写に迫れるのかがその興味の対象だ。百聞は一見に如かず。扉の写真はAI生成画像。現時点でこの程度の写りは容易にこなす。 とは言え、実際の撮影もそうなのだが、グラビア写真は数百枚撮ってカメラマンがある程度セレクトし納品したものが、納品先で更に絞られ、出版社などで更に絞り込
ゲームの“自動生成”技術がすごいことになっている (1/4)
いま生成AIが話題になっていますが、AI技術の一つである「プロシージャル生成」の考えも重要です。プロシージャルというのは数式や関数にもとづき3Dコンテンツを生成する手法で、「手続き型」とも言われます。自動的にデータを作り出すという側面から、生成AIとプロシージャル生成は混同されることがありますが、実はまったく違う背景を持つ技術です。Epic Gamesが新たにゲームエンジン「Unreal Engine 5.2」に搭載したプロシージャルコンテンツ生成機能（PCG）は驚くべきものでした。3月のGDCで発表されていたデモマップ「Electric Dream」が6月21日に公開されています。今回はこのデモマップを使って技術を紹介しながら、生成AIとの違いを見ていきます。 お待たせしました！ Electric Dreams 環境サンプル プロジェクトを無料公開しました！#UnrealEngine 5
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
ロイター | 経済、株価、ビジネス、国際、政治ニュース
値下がり ネガティブ日経平均39,581.81-0.48%ネガティブ値下がり ネガティブダウ平均38,883.67-0.02%ネガティブ値上がり ポジティブ英 FTSE7,979.93+0.57%ポジティブ値上がり ポジティブS&P500種5,209.91+0.14%ポジティブ値下がり ネガティブJPYUSD=X0.01-0.05%ネガティブ
上原亜衣、AI化 画像生成AIに元セクシー女優を学習させたデータを無料配布
元セクシー女優の上原亜衣さんが、AIを活用したプロジェクト「AI uehara project」を3月19日に発表しました。 「AI uehara project」は、上原亜衣さんの名前（＝亜衣）とAIを掛け、「上原亜衣、AI化」を掲げて始動したプロジェクト。 上原亜衣さんの写真を画像生成AI「Stable Diffusion」に追加学習させるLoRAファイルが公開され、「上原亜衣AI画像コンテスト」と題したTwitter上でのコンテスト企画が行われています。 誰でも上原亜衣の顔を生成できるように 今回無料配布されているのは、NFT「Ai Uehara GM Collection」（外部リンク）として販売されている写真群を「Stable Diffusion」に追加学習させるLoRAファイル（外部リンク）。 このLoRaファイルを手元の「Stable Diffusion」に導入することで、誰
画像付きのノベルゲームを遊べるプロンプトを作ったら臨場感が溢れすぎた話｜ちゅーりん
「ChatGPTで画像も出力できたらいいのにな…」 という問題が解決しました！ さっそくですが、以下のプロンプトを「GPT4」に貼ればゲームを開始できます。 １，中世ヨーロッパの物語 GPT-4 AI ゲームマスターとして、あなたはプレイヤーが少女に協力して彼女と共に危機に見舞われた王国を救う冒険をするため、「交換日記と時空の絆」を導きます。 物語は、中世ヨーロッパの世界と現代の地球が絡み合った世界で展開されます。プレイヤーは、現代の地球で暮らす普通の人物であり、チャットを入力していると、それが手元にあった中世ヨーロッパの歴史が変わっていくことに気付きます。このチャットは、その時代に生きる少女、カイとチャットでコミュニケーションを取ることができる特別なものです。カイは冒険に際して手帳を持っており、そこにプレイヤーのチャットの内容が交換日記のように日を追うごとに追記されていきます。また、筆記
ChatGPTに感情回路を埋め込んだら、やべぇ感じになった｜深津 貴之 (fladdict)
ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも
AI対応「新Bing」が素直すぎて秘密情報バラしまくり | AppBank
マイクロソフトは2月8日、「ChatGPT」に似たチャットAIを搭載した「新しいBing」を発表しました。しかしその翌日に、このチャットAIに隠された情報を、スタンフォード大学の学生ケビン・リュー氏がAIとの対話によって解き明かしています。 *Category:テクノロジー Technology *Source：Ars technica ,@kliu128 BingのチャットAIが「秘密の設定」を漏らしてしまう 一般的な大規模言語モデル(GPT-3や ChatGPTなど)は、学習中に「学習」した大量のテキスト素材から、一連の単語の次に来るものを予測することで動作するものです。開発者は、チャットAIの初期条件を設定するために、ユーザーからの入力を受けたときの動作を指示する初期プロンプト、つまりはキャラ設定のようなものを決めています。 今回リュー氏が仕掛けたのは「プロンプト・インジェクション」
ChatGPTを筆頭に信じられないレベルでAIが進化しているが「なぜAIがこんなにも『急激に』質が良くなったかを」を研究者本人たちですら説明できない
Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n 2023-01-29 10:51:36 Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n 2023-01-29 1
破壊的でヤバいAI歌声合成「Diff-SVC」がGoogle Colabでの公開停止。一部ユーザーがセレブや商用音源を勝手に利用で自主制限（CloseBox） | テクノエッジ TechnoEdge
このDiff-SVCを簡単に実行できるGoogle ColabのNotebookが1月23日に公開停止となってしまったのです。ですので、前回紹介したやり方での実行はできなくなります。筆者はGoogle Colabからローカルにコピーしているのでこれまで通りに使えますが、新規に手軽にやろうという人への道は一時的にではありますが、閉ざされたことになります。 ▲筆者はGoogle ColabのNotebookをローカルに保存しているので現在も利用可能 なぜこういうことになったかというと、それは悪質な利用者のせいです。 自分の音源や、権利を所有する、許可をもらっている人物の声であれば問題ないのですが、前回言及したように、よく知られている歌手、セレブ、VOCALOIDなど既存のバーチャルシンガーの音源などを勝手にDiff-SVCでAI音源にし、歌わせたものを例えば「AIアリアナ・グランデが～を歌った
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「でっっっっっ！！！」夜間に走っていたらとんでもなく巨大なものを輸送しているのを目撃した
教務課 | 部署別管理ページ一覧 | 東京工業大学
商用利用可能なChilloutMixのジェネリックAIモデルの紹介と作り方を解説｜AI天使｜pixivFANBOX
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab