椎路ちひろ @ChihiroShiiji 元東大最年少准教授の人、落ちるところまで落ちましたねぇ。 元々技術面の話が上っ面だけで実がなく、技術力が感じられない人ではあったので開発できないことに驚きはないですが、クラウドファンディング資金持ち逃げですか…。 twitter.com/japonistan/sta… 2021-02-16 05:40:05
ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT(そして後続の各種LLM chatbot)ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
Stability AIは6月26日、画像生成AIの最新モデル「Stable Diffusion XL」を発表しました(「画像生成AI『Stable Diffusion』最高性能の新モデル『SDXL 0.9』一般的なPCで実行可能」)。パラメーター数がオリジナルのStable Diffusionの9億から23億へと大幅に拡大され、描写力が飛躍的に上昇したモデルです。正式版のSDXL 1.0が7月18日に公開予定とあり、あらためて注目されています。ベータ版にあたるSDXL 0.9は先行して、有料課金サービス「DreamStudio」と、Discordでの公開を開始していました。Discordでは1人無料で1回出力可能で、いまもリアルタイムで生成画像が見える状態です。その後SDXL 0.9は研究用に公開されて、ダウンロード可能になりました。 大きな違いは「2回生成する」こと SDXLがこれまで
画像生成AI「Midjourney」の開発チームが、2023年3月16日(木)に「Midjourney V5」のアルファ版をリリースしました。「Midjourney V5」では超高画質な画像生成が可能となっているだけでなく、画像生成AIの課題であった「『手』を正確に描写できない問題」が解決されたという報告も寄せられています。 Starting today our community can test Midjourney V5. It has much higher image quality, more diverse outputs, wider stylistic range, support for seamless textures, wider aspect ratios, better image prompting, wider dynamic range and more
はじめに 千葉大学/Nospareの米倉です.今回は,統計学・機械学習周辺で,僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います.チュートリアル論文やサーベイ論文は,そのトピックの解説や教育面にフォーカスしていて,何か勉強したり,網羅的に把握するときに非常に便利だと個人的に思います.また公開されている講義ノートの中には非常に勉強になるものが多くあります.内容は僕が興味があるトピックに偏っています.またすべて無料で読めます.(教科書等の海賊版みたいなのは載せていません) 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです.いわゆるM推定量の漸近的性質に加え,バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており,上級レベルの数理統計学を学ぶのに重宝すると思います. Doucet and
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
今回のテーマは以前からずっと言われ続けている話題なので特に目新しくも何ともないのですが、たまたま近い時期に2本の似通った内容の論文がarXivに出たので、まとめてダイジェスト的に紹介しようと思います。以下がそれらの論文です。1本目はApple、2本目はGoogle DeepMindによる研究です。 どちらもSNSや技術メディアでは既報の内容であり、ご存知の方も多いのではないでしょうか。これらの論文は本質的には「『推論する生成AI』は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない」と各種の実験結果から指摘するものであり、今後の推論生成AIの研究開発を行う上で新たに考慮されるべき指針を提案しています。 そもそも「推論する生成AI」とは何なのか 「推論する生成AI」は既知の複雑な課題は解けるが、その難易度をどんどん上げていくと解けなくなる 逆に、「推論する生成AI」は既知
画像は教材のイメージ 株式会社zero to oneは2月1日、東京大学大学院工学系研究科 教授の松尾豊氏が監修したオンライン教材「人工知能基礎(学習期間60日間)」の定価を従来の2万5000円から3000円に改定した。また、行政職員向けに「人工知能基礎」の無償提供プログラムを開始する。同プログラムの対象は国家公務員法あるいは地方公務員法上の一般職の人。 「人工知能基礎」は、AIの歴史も含めた基本知識から、知識表現、自然言語処理といった概念、さらには機械学習やディープラーニング(深層学習)の基本知識まで、AIに関する基礎を幅広く網羅したとうたう教材。ビデオ教材、監修インタビュー、確認テスト(すべてオンラインで完結)で構成されている。 教材のイメージ さらに、「人工知能基礎」を通して学習した内容をもとに、一般社団法人日本ディープラーニング協会(JDLA)による「G検定(Deep Learni
Stable Diffusion が公開されてからいろいろ動かして出力の傾向を見てみようとしたメモ。 やったこと 同じpromptを指定して、 縦長(512x768) 横長(768x512) 正方形(512x512) のサイズごとにそれぞれ200枚ずつ出力、それら画像の傾向を見て構図にどんな変化があるかを確認しようとした。ザッと見の印象、感触のみで評価し、定量評価はしない。 使用したプロンプト: a picture of robot and drill and girl greg manchess character concept art of an anime goddess of lust | | cute - fine - face, pretty face, realistic shaded perfect face, fine details by stanley artger
プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1(再) KPIの設定 step2(再) データの観測構造をモデル化する step3(再) 解くべき問題を特定する step4(再) 観測データのみを用いて問題を解く方法を考える step5(再) 機械学習モデルを学習する step6(再) 施策を導入する 第5章 俺たちの戦いはこれからだ! 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます(多分) @tkana
他にも「LatentMajestyDiffusion」「centipidediffusion」「latenddiffusion」「discodiffusion」「dalle2」など存在します。アルゴリズムが違うと同じ呪文でも質の違う画像が生成されるので、気が向いた人は色々と試してみることをお勧めします。 画像生成に関する基本知識画像生成に関するベーススキルは、どんなものを生成する場合でも一緒なので、上級錬金術師に学ぶのが一番早い。参考をいくつか紹介します。 大原則となる考え方を深津さんのnoteから抜粋します。 対話型のAIにとって、呪文プロンプトとは画像錬成の方向性ベクトルを定めるものにすぎない。 だからAIをよく使役するには、2つの理解「ベクトルの方向を強く適宜する力ある言葉ルーンの語彙力」と「再現性をもった呪文の組み立て」が必要になる。 深津さんのnote「魔術として理解するお絵描き
GitHub.comの利用をやめようと言われても、多くのソフトウェア開発者やGitHub.comのユーザーにとって、それはかなり困難で突拍子もない提案のように聞こえる。この便利なサービスなしには日々の生活が成り立たなくなっているユーザーは世界中にたくさんいる。 Software Freedom Conservancyは6月30日(米国時間)、「Give Up GitHub: The Time Has Come! - Conservancy Blog - Software Freedom Conservancy」において、同組織におけるGitHubの使用を中止するとともに、他のFOSSプロジェクトがGitHubからほかのサービスに移行するのを支援する長期計画を実施すると伝えた。 Software Freedom Conservancyは現在のGitHubの取り組みに疑問を呈しており、AI支援
最適輸送問題(Wasserstein 距離)を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて!という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから! Google Colabの知っておくべき
またお得なAmazon Monitronスターターキットもご用意されています。 (取り付けキット、5 個のセンサー、ゲートウェイのセット) 運用費用 Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。 費用例 ■要件 5つのモーターを監視する必要がある。 上記を実現するためにAmazon Monitronスターターキットを購入し、 モーターごとに1つのセンサーを取り付け3年間使用した。 ■試算結果 スターターキット購入費用(715USD)+ センサー年間利用費用×5(250USD)×3年分 = 1465USD(3年間利用費用) 注意事項 ■ Amazon Monitron 利用可能な地域について 米国、英国、およびEUのみで利用可能です。(2021/04/16時点) ■必要なモバイル端末について Android8.0以降のスマートフォンが必要で
私が機械学習を学び始めたとき、訓練データとテストデータは異なるのだから、訓練データ上で損失を下げたとしても、テストデータでの性能が必ずしも保証されるとは限らないのではないかと感じ、理解に苦労しました。 本稿では、かつての自分を含め、統計と機械学習の初心者に向けて、なぜテストデータでも性能が理論的に保証されるのかを丁寧に解説します。 本稿の最後では、この議論を深層学習の理論に応用し、最先端の研究にまで一気に繋げます。期待値や分散などの統計学の基礎知識だけからここまで発展的な内容にまでたどり着くというのが本稿の目的です。ぜひ最後までお付き合いください。 目次 目次 期待値への集中 マルコフの不等式 チェビシェフの不等式 ヘフディングの不等式 モデルの評価 訓練の場合には同じ議論は成り立たない ユニオンバウンド 候補の数が有限の場合 候補の数が無限の場合 深層学習の理論へ 著者情報 期待値への集
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル(Large Language Model:LLM)の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
連載目次 本連載(基礎編)の目的 スクラッチ(=他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること)でディープラーニングやニューラルネットワーク(DNN:Deep Neural Network、以下では「ニューラルネット」と表記)を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」(バックプロパゲーション)のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載(基礎編)はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
プログラミング関連Q&Aサイトの米Stack Overflowは12月5日(現地時間)、AIチャットボット「ChatGPT」によって生成した回答の投稿を一時的に禁止した。ChatGPTによる回答に間違っているものが多く、「ユーザーにとって実質的に有害」だとしている。 ChatGPTは、OpenAIが開発した実験的なチャットボットで、コンプリートテキストジェネレーター「GPT-3.5」に基づいている。そのデモ版が1日に無料で公開されて以来、人気が高まっている。 Stack Overflowによると、ChatGPTが生成する回答が間違っている可能性が高いにもかかわらず、一見もっともらしく見え、かつ、回答が非常に簡単に生成できることから、投稿前に回答の正しさを確認せずに投稿している人が多数いるという。 数千件にも上るこうした回答の正誤を判断するために「専門知識を持つ誰かが確認しなければならないと
この2か月間さる事情があり──いや、本当は大した理由もなく──数学や物理のトピックをいろいろ漁って勉強していた。そして過剰に期待しては幻滅するのをくり返していた。その過程を本記事では紹介する。 アタシっていつもこれだ……。 1. 機械学習 2. 数値計算 3. 確率論 4. 数理ファイナンス 5. 非平衡統計力学 6. 量子情報 7. 型理論・ラムダ計算 8. 物性物理 1. 機械学習 思ってたのと違った度:10/10 時代の要請と思って石井/上田『わかりやすいパターン認識』(オーム社、第2版2019年)の3部作を読み始めた。そして1巻目を読了した時点で気づく。 「こいつら線形代数とか数理統計学とかを使ってアルゴリズムを組み立てるけど、それがなぜ・どのくらい上手くいくか実験以外で全く説明しねえ! 仮説もねえ!」 結果、萎え落ちした。有名なビショップ『パターン認識と機械学習 上・下』(丸善出
前回記事「Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権」は、おかげさまで沢山の方に読んで頂き、いろいろな意見や御質問や取材を頂きました。 それらの意見・御質問や取材を通じて、自分の中で新たな整理ができたので、続編の記事を書きたいと思います。 第1 どのような場合に著作権侵害になるのか みなさんの興味関心が強いトピックとして「画像自動生成AIを利用して画像を自動生成し、既存著作物の類似画像が生成された場合に著作権侵害に該当するか」があります。 前回の記事では「学習に用いられた画像と同一の画像が『偶然』自動生成された場合、著作権侵害に該当するか」について解説をしましたが、今回の記事では、もう少し多くのパターンについて検討をしたいと思います。 まず、その前提として「著作権侵害の要件」と「著作権侵害の効果」について説明をします。 この「要件」と「
「Stable Diffusion web UI(AUTOMATIC1111版)」は他のUIには搭載されていない機能なども盛り込んだ、いわば決定版の「Stable Diffusion」のUIといえますが、それだけにやれることが多いので、どこをどう触ればよいか悩むこともあるはず。 この記事ではまず、「Stable Diffusion web UI(AUTOMATIC111版)」のうち、テキストから画像を生成する「txt2img」の基本的な使い方をまとめています。 ◆目次 ・1:最も簡単な使い方 ・2:「txt2img」タブ内の各項目はどういう意味なのか? Stable Diffusion web UI(AUTOMATIC1111版)は画像生成AI「Stable Diffusion」を使うためのUIの1つ。Stable Diffusionの利用にはNVIDIA製GPUが必要で、該当するPCにS
さまざまな電子機器に使われる「ネオジム磁石」と呼ばれる強い磁石を、人工知能=AIを使って製造の条件を改良し、さらに強い磁石を作り出すことに物質・材料研究機構が成功し、AIを使った材料開発の事例として注目されています。 「ネオジム磁石」は、小さくても強い磁力を持つことからスマートフォンや電気自動車、それにエアコンなどさまざまな電子機器に使われている重要な部品です。 物質・材料研究機構の佐々木泰祐主幹研究員などの研究グループは、製造の際のデータをAIに学習させ、強い磁石にするために必要な要素を検討させました。 その結果、製造装置から磁石を押し出す際の温度と圧力が磁石の性能に重要であることが分かり、製造条件を改良しておよそ1.5倍強いネオジム磁石ができたということです。 AIを使って材料開発を行うことは「マテリアルズ・インフォマティクス」と呼ばれて近年、研究開発が加速していて、今回の成果もこうし
はじめに ChatGPT APIが出たので早速さわってみました。せっかくなので何か便利なものをということで自分向けに使えそうなツールをつくっていたら 良いかんじに動作したのでご紹介します。 つくったものは、「ChatGPTを用いた自然言語によるシェルコマンドランチャー」です。百聞は一見にしかずと言うことでまずは動作するところをみてください。 概要 wannaコマンドは、ChatGPTを用いた自然言語によるシェルコマンドランチャーです。自然言語によって、bash scriptを生成し、名付けし、管理できます。 コマンドライン上での操作は簡単に多くのことを行うことができるため、非常に便利です。しかし、多くのコマンドやオプションの組み合わせを覚えておくのは熟練したプログラマでもむずかしく、Google検索やmanコマンドなどを駆使して思い出しながら実行することも多くあるでしょう。 たとえば、「こ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「蒸留」ってなに? 皆さん「蒸留」という言葉からは、お酒を作る場面やアロマオイルを抽出する場面を思い浮かべるかもしれません。実はAIの世界にも「知識蒸留」というテクニックがあります。これは、簡単に言うと「大きくて賢いモデル(教師モデル)が持っている知識を、小さくて軽量なモデル(生徒モデル)に教え込む」方法です。 先生が自分の知恵を要点だけノートにまとめて、生徒に渡すようなイメージですね。大規模なAIモデルは高性能ですが、サイズが大きく計算コストも莫大です。知識蒸留を使えば、その高性能な教師モデルの知識の“エッセンス”を抽出して生徒モデ
輸送問題と呼ばれる問題があります. この問題は,普通は線形計画法やフローのアルゴリズムを使って解かれます. この記事では,この輸送問題を近似的に行列計算で解くアルゴリズム(エントロピー正則化 + Sinkhorn-Knopp アルゴリズム)を紹介します. 輸送問題とは アルゴリズム 得られる解の例 なぜこれで解けるのか? 競プロの問題を解いてみる 機械学習界隈における流行 まとめ 輸送問題とは 輸送問題とは以下のような問題です. 件の工場と 件の店舗からなる,ある商品の流通圏があるとする. 各工場には 個の在庫がある.. 各店舗では 個の需要がある. 在庫の総和と需要の総和は等しいとする (すなわち ). 工場 から店舗 に商品を一つ運ぶためには の輸送コストがかかる. 各工場 から各店舗 への輸送量 を適切に決めて,各店舗の需要を満たしつつ輸送コストの総和を最小化せよ. 輸送問題は最適化
オセロのAIアルゴリズムをディープラーニングで作成し、私が勝てないぐらいまでには強くなった、という話です。 また私の場合は2ヶ月ぐらいかかってしまいましたが、実装自体はそんなに難しくなかったので、実装方法についても説明したいと思います。 この記事でわかることは、ディープラーニングでオセロのAIアルゴリズムを作る方法です。基本的な考え方は他のボードゲームも同じなので、流用できると思います。 対象読者は、TensorFlowなどディープラーニングのライブラリを使い始めて、MNISTの数字分類など基本的な処理はできたけれど、それ以外の問題だとやり方がわからない、というような方です。 きっかけ 私の所属するエンジニアと人生コミュニティで、リバーシチャレンジなるものが開催されたことがきっかけです。このコンテストは「リバーシならどこにこだわっても良い」というルールでした。 私は、ちょうど少しまえに「将
株式会社Preferred Networks(本社:東京都千代田区、代表取締役 最高経営責任者:西川徹、プリファードネットワークス、以下、PFN)は、AIおよびデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・深層学習の基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Quest*のマーケットプレイスで本日提供開始します。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そうした人材の育成が国家戦略の重要テーマの1つとして位置づけられています。 PFNは深層学習フレームワークの開発、深層学習技術の産業応用において培ってきた経験をもとに、これからの社会を担う大学生・社会人向けに、機械学習・深層学習技術の活用に必須となる知識を習得するための4つの基礎学習コンテンツを提供します。 SIGNATE Que
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く