GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
ディープラーニング＝三次関数のどこがダメなのか解説する
あるニュース記事で、ディープラーニング＝最小二乗法で三次関数なんていう「伝説の画像」が出回っていたので、それに対して突っ込みつつ、非線形関数という立場からディープラーニングの本当の表現の豊かさを見ていきたいと思います。 きっかけ ある画像が出回っていた。日経新聞の解説らしい。 伝説の画像になるぞこれhttps://t.co/CpeWKrHseP pic.twitter.com/qfTUVt5j7A — 猫じゃら美少女 (@tonets) 2019年2月19日 確かにこれは伝説の画像だ。今までディープラーニングの入門書を立ち読みしていても、ディープラーニング＝最小二乗法で三次関数なんて解説は見たことがない。画期的な説明だ。 しかし、この画像、ディープラーニングを少しでもやったことある人から見ればかなり違和感を覚える解説だと思う。そこを突っ込み始めるとディープラーニング、あるいはニューラルネッ
「ディープラーニングは最小二乗法」で物議 東大・松尾豊氏「深い関数の方が重要」
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング＝最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。 日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。 最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差
「ディープラーニング×きゅうり」の可能性に、たったひとりで取り組むエンジニア - GeekOutコラム
AI（人工知能）に関わる技術、なかでもディープラーニングが急速に発達し、社会のさまざまな領域で実際に利用されるようになりました。その背景のひとつには、AI分野での研究開発に多大な投資を行っている大手IT企業が、その成果の一部をオープンソースとして公開し、世界中のエンジニアが自由に使えるようになったことがあります。 こうしたオープンソースのAI関連ライブラリには、Googleの「TensorFlow」やFacebookの「Torch」といった海外のIT企業のものだけでなく、国内にもPreferred Networksの「Chainer」やソニーの「Neural Network Libraries」などがあります。最近では、関連した情報も数多く手に入るようになりました。 また、これらのライブラリの多くには親切なチュートリアルも用意されており、AIの開発経験がないエンジニアでもさほど手間を掛ける
私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]
ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw
![私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/71762e78be72331ac96492b2337551ed398703d4/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180426%2F20180426235611.jpg)
テスラのAI部門長が語る「Software 2.0」。ディープラーニングは従来のプログラミング領域を侵食し、プログラマの仕事は機械の教師やデータのキュレーションになる
テスラのAI部門長が語る「Software 2.0」。ディープラーニングは従来のプログラミング領域を侵食し、プログラマの仕事は機械の教師やデータのキュレーションになる プログラミング言語を用いて開発が行われる従来のソフトウェアを「Software 1.0」とすると、その次にやってくる「Software 2.0」はニューラルネットワークで構成され、プログラマの仕事はニューラルネットワークの学習に使うデータの収集などになっていくだろう。 テスラのAI部門長（Director of AI at Tesla）を務めるAndrej Karpathy氏が自身のブログのエントリ「Software 2.0」でそうした意見を記し、海外で話題になっています。 Andrej Karpathy氏は、スタンフォード大学で機械学習を学び（教師は現在GoogleでAIと機械学習のチーフサイエンティストであるFei-Fe
AIベンチャーの雄が総務省の開発指針に反対する理由
人工知能（AI）の開発者が研究開発に当たって留意すべき原則「AI開発ガイドライン（仮称）」の素案を策定するため総務省が設置した産官学会議から、AIスタートアップのPreferred Networks（PFN）が離脱していたことが明らかになった。 Preferred Networksは深層学習（ディープラーニング）開発のスタートアップ企業で、深層学習フレームワーク「Chainer」の開発元としても知られる。 総務省 情報通信政策研究所は、同ガイドライン素案策定のための産官学会議「AIネットワーク社会推進会議」を主催している。2016年12月には、素案策定に向けた論点整理を公開した。 この素案は、日本政府がOECD（経済協力開発機構）などに提案することを目的に策定するもので、「日本の法制度に直接反映させることを想定したものではない」（同研究所）という。 だがこの方針に対し、2017年1月まで同
人工知能、機械学習、ディープラーニングの違いとは | NVIDIA
本稿は、長年のテクノロジ・ジャーナリストであるマイケル・コープランド（Michael Copeland）氏がディープラーニングの基本を説明する一連の記事の第一弾です。 「人工知能は未来のテクノロジだ」、「人工知能はサイエンス・フィクションだ」、「人工知能はすでに私たちの日常生活の一部だ」――これらの説明はすべて事実であり、単にAIのどの面を指して言っているかによります。 たとえば、今年、Google DeepMindが開発したプログラム「アルファ碁」（AlphaGo）が囲碁の対局で韓国のプロ棋士イ・セドル（Lee Se-dol）氏を破った際に、DeepMindが勝った経緯を説明するため、「AI」、「機械学習」、「ディープラーニング」という言葉がメディアでさかんに取り上げられました。この3つは、どれもアルファ碁がイ・セドル棋士を打ち負かした理由の一部ですが、同じものではありません。 その関係
ディープラーニングで簡単に自動テストスクリプトが作れる「Magic Pod」 | 品質向上ブログ
今日は、今話題のAI(人工知能)技術「ディープラーニング」を使い、誰でも簡単にモバイルアプリの画面自動テストスクリプトが作成できるWebサービスのお話です。 ※2017年7月24日よりオープンβ版を提供開始しました！ AppiumやSeleniumのような画面を自動操作するテストツールはとても便利ですが、一方で、こうしたツールを利用していないプロジェクトもたくさんあります。何がツールの導入を妨げているのでしょう? 筆者は、次の2つがとりわけ大きな問題だと考えています。 システムの内部情報をある程度理解しないと、テストスクリプトを書くこと・読むこと・編集することが難しく、それなりのスキルが必要。 テストスクリプトの作成に時間がかかりすぎる。特に、読みやすく変更に強いスクリプトを作成しようとすると、かなりの手間がかかる。 これらの問題を、ディープラーニングによる画像認識を使って解決しようとして
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
日本トップクラスのAI研究者が語る、人工知能の歴史と産業との関係
第3次ブームにある「人工知能」 松尾氏は、「現在、人工知能は第3次ブームの時代にある」と話を切り出した。第1次人工知能ブームは1960年代の推論・探索の時代。80年代の第2次人工知能ブームである知識表現の時代を経て、2010年代の現在の第3次ブームは機械学習、ディープラーニング（Deep Learning）の時代だ。 「ディープラーニングにより、十数年できなかったことが、この2、3年、急速にできるようになり、破壊的なイノベーションが起きている」と松尾氏は言う。 ディープラーニング革命は【1】画像認識【2】運動の習熟【3】言語の意味理解――の順で進んでいる。 【1】の画像認識の難しさを理解するために、例えばイヌ、ネコ、オオカミをコンピュータで見分ける場合を考えてみる。 「耳が垂れている、目が長い→イヌ」「耳がとがっている、目が丸い→ネコ」「耳がとがっている、目が長い→オオカミ」となる。しかし
あるNVIDIA社員によるディープラーニングの活用――ネコに庭でフンをさせない方法 | NVIDIA
皆さんネコがお好きですが、ネコのフンが好きな人はいませんよね。 そこで、NVIDIAのエンジニアであるロバート・ボンド (Robert Bond) は、ディープラーニングとNVIDIAのJetson TX1開発プラットフォームを利用し、ネコを認識すると家のスプリンクラー・システムのスイッチが入る仕組みで、敷地内のネコを優しく追い払っています。 システム・ソフトウェア・エンジニアとしてNVIDIAに8年以上勤め、65歳になるボンドは言います。「ガーデニング好きの妻が、庭をきれいに清潔にしておきたいんだ」 ボンドは、ネコに罠を仕掛けるというアイデアをすぐに却下しました。それでは隣人として友好的とはいえません。そこで、より技術的な解決策を利用しようと決めました。 ボンドは、ディープラーニングやJetsonの素人ではありません。昨年、台所の床を時折小走りするアリに、無害の5ミリワットのレーザ・ビー
Deep Learningを用いた将棋プログラムGunyanzaを公開しました
ディープラーニング(深層学習)というのが流行っているそうです。すべての人類はディープラーニングによって実現されたAIに隷属する未来なんですってよ!!! こわーい。 そんなバラ色の技術、いっちょかみしておきたいですよね。 さて、オフィスで社長とダベっていたところ、「将棋プログラム面白そうだよね」という話になりました。お互将棋プログラムを作って闘わせようぜ、いぇー、と盛り上がり、勢いでコンピュータ将棋選手権に申し込みまでしてしまいました。 そんな経緯で、ディープラーニングをミリしら(=1ミリも知らない)な僕が、試しにディープラーニングを使って将棋のAIを書いてみたらいいやん、と思いついたのでした。将棋も、ハム将棋でハム8枚落ちで負けるレベルくらい。ダメじゃん。 ミリしらなので、「チェスで何かやってるヤツがいるだろう」とアタリをつけてググった結果、Erik Bernhardssonさんによる d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
TechCrunch