文系非エンジニアがChatGPT / LLMを数式なしで解説してみる｜Yuichiro.ito@Finatext(フィナテキスト)
先日、社内でChatGPT / LLMを活用した実証実験をしていたら、一部感動するほど結果が出たことで、今更ながら俄然興味を持ってしまいました。 これからビジネスユースケースを考えていくうえで、「本質的にどういうものなのか」を理解しておくことがとても大切だと思い、改めてChatGPT / LLMの基本的な仕組みを整理してみました。 私みたいな文系で行列や統計はわからないけど、もう少し根本的なところを理解しておきたい！という方に是非です。 それでは、GPTをはじめとするLLM（大規模言語モデル）がどのような背景から生まれてきたのかを振り返りながら、LLMの特徴を理解していきましょう！（最後に参照したおススメの動画・記事を貼っていますので、それだけでも是非ご覧ください。） 1. ベースは、ディープラーニングを用いた自然言語処理モデル2015年頃、日本でも"AI"がバズワードになり、ディープラー
20230614_「ChatGPTについて調べてくれ」と社長から特命を受けた人のためのChatGPT概論(40min版)
https://forest.f2ff.jp/introduction/7866?project_id=20230601
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
精度99％の衝撃。米企業のAI採寸ツールでZOZOSUITは明日にも必要なくなるかもしれない
2018年7月、ZOZOSUITによる採寸を活かしたフォーマル・ラインナップを発表した時のZOZO前澤友作社長。この3カ月後、｢ZOZOSUITいらなくなる｣発言が飛び出した。 REUTERS/Kim Kyung-Hoon ｢今後は、ZOZOSUITなしでPB（プライベートブランド）を購入できるようになります｣ 10月31日午後、ファッション通販サイト｢ZOZOTOWN（ゾゾタウン）｣を展開するZOZOの前澤友作社長が、世界中への配布に着手していた、体型データを計測するZOZOSUITを将来的になくしていくことを明らかにすると、SNS上では悲喜こもごもの投稿が飛び交うとともに、夕方から夜にかけてZOZOSUIT廃止のニュースが一気に拡散されていった。 その後数日にわたって議論を巻き起こしたのは、前澤社長が会見で語った｢ZOZOSUITがなくても、これまで集めたデータの機械学習などにより、最
27歳で起業、創業6年で売上1,000億円を突破！AIがスタイリストの服のチョイスを支援する「Stitch Fix(SFIX)」の上場申請書(S-1)を読んでみた
「 AIを使って作るPrivate Brand」として、Scrum Venturesの「これからの小売を理解するための20のキーワード」でも紹介されたStitch Fix。2017年10月27日に上場申請書(S-1)を提出したので早速気になる点をまとめてみた。 AIがスタイリストの服のチョイスを支援するStitchFix 女性、男性、キッズ、妊婦、大きなサイズから靴やアクセサリーまで幅広く商品を提供するStitchFix。Pinterestの画像情報や服の好みを伝えると、AIがチョイスした商品をパーソナルスタイリストが5アイテム選んで郵送してくれます。このAIと人が選んだ5アイテムを「Fix」と呼んでいます。郵送サイクルは隔週、毎月、2ヶ月から選べます。気に入れば購入し、気に入らないアイテムは3日以内に返品します。気に入ったアイテムの代金は事前に登録してあるクレカから自動引き落としされ、気
ディープラーニングが活かすIoT
2. アジェンダ l IoT時代の深層学習 – RNN – VAE – 深層強化学習 l PFNの取り組み – デモ：深層強化学習 + データ同化 + 転移学習 + 分散学習 – DiMO : Edge Heavy 分散ストリーム処理理プラットフォーム – Chainer : 新しい深層学習フレームワーク OSS 2 3. ディープラーニングとは l 層が深く、幅も広いニューラルネットワークを利利⽤用した 機械学習⼿手法 l 2012年年の⼤大ブレーク以来、研究コミュニティのみならず 産業界に多く使われてきた – 2014〜～2015年年中に出された関連論論⽂文数は1500を超える* l 画像認識識、⾳音声認識識などで劇的な精度度向上を果たし、その 多くが既に実⽤用化されている – Googleは47の⾃自社サービスで既に利利⽤
Amazonの推薦システムの20年
IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も
画像認識対決 ~Microsoft VS Google VS IBM VS AWS~ - Qiita
はじめに この記事は、Life is Tech ! アドベントカレンダー2016 18日目の記事です。 はじめまして！iPhoneメンターのにっしーです。 「時間があるときに勉強しよう」と人工知能／機械学習／Deep Learning／認識技術といったトピックの記事の見つけてはストックしてきたものの、結局2016年は何一つやらずに終わろうとしているので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということで画像認識技術に触れてみることにしました。 画像認識とは? 画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。 -- Weblio辞書 画像認識では、画像データから対象物となる輪郭を抽出して、背景から分離し、その対象物が何であるかを分析するのが基本になります。 しかし、人間なら無意識化に行われていることですが、コンピュ
「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
AlphaGoの「圧勝」から見えた、ディープラーニングの強みと課題
米グーグルの研究部門であるGoogle DeepMindが開発した囲碁AI（人工知能）「AlphaGo」と、韓国のプロ棋士イ・セドル氏が2016年3月9日～15日に韓国で実施した五番勝負は、イ・セドル氏が第四局で一矢を報いたものの、4勝1敗でAlphaGoの圧勝に終わった。この五番勝負は、第三次AIブームを牽引するディープラーニング（多層のニューラルネットによる機械学習）のデモンストレーションという枠を超え、その強みと弱点、ビジネス応用の方向性を浮き彫りにした。 今回の五番勝負が改めて示したディープラーニングの強みは、このAI技術が用途によらず、極めて汎用的に使えるという点だ。 AlphaGoのソフトウエアには、囲碁のルールすら組み込まれていない。過去の棋譜をニューラルネットに入力する「教師あり学習」と、勝利を報酬に囲碁AI同士を対局させて鍛える「強化学習（教師なし学習）」だけで、世界最強
中国の人工知能研究が日本を一気に抜き去った理由 : 深読みチャンネル : 読売新聞（YOMIURI ONLINE） 1/4
コンピューターで人間の頭脳を代替する人工知能（ＡＩ）の研究競争が世界で 熾烈 ( しれつ ) さを増してきた。中でも中国の伸長が著しく、ＡＩで東京大学合格をめざす日本のプロジェクトを模倣した中国版「難関大学突破プロジェクト」も始まった。産業応用を狙うと言い、技術交流を日本側に持ちかけてきた。中国側の狙いはどこにあるのか。日本側のプロジェクト・ディレクターである新井紀子・国立情報学研究所（ＮＩＩ）教授に寄稿してもらった。 ＊新井教授の横顔は こちら １９８０年代初頭に茨城県つくば市を訪れたことがある。研究機関らしい巨大なビルが点在する広大な空き地の上を、建設作業車が土埃(ぼこり)を上げて雑草をなぎ倒して行く。あの頃のつくば市によく似ている。それが私の中国・合肥の第一印象である。 私は２０１５年７月、合肥にある「ｉＦＬＹＴＥＫ」（アイフライテック；科大迅飛）という新興ＩＴ企業で開催される“中国
【連載第1回】ニューラルネットの歩んだ道、ディープラーニングの登場で全てが変わった - 日経BigData
ディープラーニングのビジネスへの活用の可能性を探る。初回はディープラーニングの登場がどんな意味で大事件だったのかを解説する。 機械学習、ニューラルネット、ディープラーニングといった言葉の意味を整理することから始めよう。機械学習は人工知能の一分野で、データの背景にある傾向や法則を探り、現象の解析や予測をすることを目標としている。人間がルールを明示的に与えるのではなく、データから機械自身に法則を学習させるのが特徴だ。ルールで記述しきれない複雑な現象や、季節や時間などで傾向が変わる現象の解析に強みを発揮する。 ニューラルネットは機械学習で扱われる計算アルゴリズムの1つである。脳を模倣したモデルで、入力層、隠れ層、出力層の3種類の層から成る。入力に対して単純な変換を何回も繰り返し、予測結果などを出力する構造をしている。 深い構造、すなわち隠れ層を何層も重ねる構造がニューラルネットの精度向上の鍵とな
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
Deep Learning リンク集 - 人工知能に関する断創録
乗るしかないこのビッグウェーブに Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。本ブログでは、当面の間、Theanoを使って各種Deep Learningアルゴリズムを実装していきたいと思います。 関連ニュースなどはTwitterでも流しているので興味があったらフォローしてください。 すべてに目が通せず更新が追いついていません。私のはてなブックマークで[Deep Learning]というタグを付けて登録しています。まったく整理できていませんがご参考まで。 Theano編 TheanoをWindowsにインストール（2015/1
機械学習アルゴリズムまとめ | 株式会社フルスピード - Growth Seed
みなさんこんにちは。アナリストの荒木です。近い将来さまざまな仕事がロボットに置き換わっていくと多くの人が予想しており、そのコアテクノロジーの一つが機械学習です。GoogleがDeepMindを買収したことで機械学習という言葉も身近になりつつありますが、すでにamazonレコメンドや画像認識などで活躍しています。 そこで今回は、ウェブ担当者が「機械学習ってどんなことをやっているのだろう？」という場合に勉強できるスライドをまとめました。 ↓【無料DL】「SEO内部対策チェックシート」を無料ダウンロードする 機械学習によるデータ分析まわりのお話機械学習でどんなことをしているのかをまとめたスライドです。データのこと・機械学習のこと・評価のこと・分析のことの4部構成で、データマイニングの一連の流れを学ぶことができます。 Deep LearningGoogleの猫認識例で有名になった手法を紹介したスラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ko Harada 🇺🇸🇯🇵 on Twitter: "Chat GPTについて東大 松尾研究所のこの資料がすごくわかりやすい。 後半には 「医療に特化した学習をさせれば、医療専用のChat GPTが作れる」 「ほとんど全てのホワイトカラーに、２～３年以内に影響が出る」 という恐ろしいことがさらっと書かれています。 #ChatGPT https://t.co/0xqp40cVwg"
長文日記
長文日記
http://harold-spm.com/python-gakusyuu/
長文日記
