【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
最良の学習方法「人に教える」にChatGPTを活用する - Qiita
はじめに 学習におけるChatGPTの活用方法といえば、「ChatGPTから教えてもらう」ということが多いと思います。 実際、私もそうです。 本記事は逆に 「ChatGPTに教える」 という使い方もありではないかという内容になります。 目次 何でChatGPTに教えるの？ 「人に教える」ことで記憶への定着率が高くなると感じた経験 実際にChatGPTに教えてみる さいごに 何でChatGPTに教えるの？ 「学習にはアウトプットが重要」 ということを耳にしたことがある人は多いかと思います。 主なアウトプットには、次のような手法があります。 Qiitaなどに技術記事を書く 勉強会で発表する 人に教える 自分のこれまでの経験を振り返ってみてもアウトプットをしていると記憶への定着率が高いです。 特に「人に教える」という行為は、記憶への定着率が高まると感じています。 ただ、双方向のやりとりが必要とな
欧文で「〜」は使いません。ハイフンとダーシの話｜しじみ ｜デザインを語るひと
欧文のルール日本人は知らない欧文（主に英語）のルールというものがあります。これは英語の授業でも教えてくれません。それゆえか翻訳者からの原稿にも、このルールに則っていないものがすごく多くあります。 知っておくと何かとアドバンテージになるので少しずつご紹介していきます。ご紹介した欧文のルールはこちらのマガジンにストックしていきます。 欧文で「〜」は使わない考えてみると「そりゃそうか」ってなるのがこの「〜」。日本だと 午前10時〜午後7時 というように使用します。便利でわかりやすい符号です。 「〜」は波形という日本の約物これは「波形」というつなぎ符号です。約物（やくもの）という記号の一種。波形の意味は、「…まで」。だから 東京〜大阪まで という表記は間違いです。「東京〜大阪」で「東京から大阪まで」という意味になるからです。波形は、この他に語句の省略や長音を強調するために使う音引き「ー」の代わりに
単語はわかるのに英文がわからない人のための頻出英熟語 ６５０選【PHRASE List & PHaVE List】｜相川真司（かわんじ） #DiQt
【要約】 英語力の向上のためには、英熟語を覚えることは重要です。 しかし、英熟語には、単語から意味を推測しにくいものも多く、覚えるのが難しいという課題がありました。 このnoteでは、その課題を解決する『頻出英熟語リスト』を紹介し、その英熟語データを無料で配布いたします。 昨年、『この英単語を覚えるだけで、英文の９割は読めるようになる話』というnoteを書きました。 ありがたいことに、このnoteは多くの方々にご評価いただき、なんと『2020年はてなブックマーク年間ランキング』で第６位にノミネートいただきました。 うれしい！！！！ このnoteをきっかけに、DiQtは多くの方々に使っていただけるようになりました。 とりわけ嬉しかったのが、短期的な利用ではなく、現在に至るまでずっと継続してDiQtを使っていただけるユーザーに多く出会えたこと。 そしてユーザーインタビューから、DiQtが実際に
最近 Fitbit つけて散歩してるので CircleCI + Pixela で見えるようにしてみた - Mitsuyuki.Shiiba
歩数で草を生やしてみたのだー。これで散歩の楽しみが増えたなー やってること やってることはシンプルで、こう↓ Fitbit の API で歩数を取得 Pixela に記録 というスクリプトをつくって CircleCI で定期的に実行 Fitbit? 最近 Fitbit Sense というスマートウォッチをつけて散歩してる www.fitbit.com 会社の福利厚生で健康のための補助があるので、それを利用して手に入れたのだ。散歩やジョギングをしたら勝手に記録されてるので便利。睡眠のログも取られてるので面白い Pixela? Pixela は日々の活動を記録して見えるようにしてくれる API サービス。いちばん最初に貼った画像みたいに GitHub の草を生やすやつみたいにしてくれる。操作が全部 API 経由なのも楽しい pixe.la せっかく散歩してるから せっかく散歩してるから Fit
基本にして最強の「繰り返し勉強法」3つ。勉強エキスパートはこうやって復習している！ - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「ちゃんと復習したはずなのに、試験本番になると忘れている......」 「参考書を何度も読んでいるけど、いっこうに問題を解けるようにならない......」 勉強する人なら誰しも、一度はこうした壁にぶつかったことがあるでしょう。 知識を頭に定着させるには、勉強の反復が欠かせません。しかし、ただ反復するだけだと効果がないことも。勉強で成果を出せる人は、具体的にどのような ”繰り返し” を行なっているのでしょうか？ この記事では、勉強のエキスパートたちによる「繰り返し勉強法」についてご紹介します。 1.「計画的に4回」繰り返す 覚えるまで何度でも復習すべきであることは大前提として、「少なくとも4回復習する」とよい――こう説くのは、『30代で人生を逆転させる1日30分勉強法』の著者で、税理士や大学講師などさまざまな顔をもつ石川和男氏です。 石川氏が自身の経験から特に重視しているのが、復習のタイミン
Excel風シートをJavaScriptで制御・分析可能なWebエディタ「NxSheet」を使ってみた！ : うえぶはっく
Googleの「スプレッドシート」もJavaScriptでいろいろ遊べますが、もっと簡単に手っ取り早くいじれるようにしたのが【NxSheet】です。 普通に表計算も出来ますが、例えばJavaScriptの外部ライブラリを読み込んで高度なグラフを動的に生成してみたり、シートをデータベース代わりに使って簡易的なWebツールを作ったり…などが簡単にできるのが魅力です。
200ページ超え！LPICの完全無料「Linux入門テキスト」をまだ知らない人は絶対損してる！
最近Linuxに触れる機会が多くなってきたので、そろそろ時間を割いて勉強でもしようかとネットで検索していたら、意外な事実を知りました…。 日本には、素晴らしい教材があったんですね…。 その名も「Linux標準教科書」。 「Linuxとは…」から始まり、基本的なコマンドの使い方から「ファイル操作」「シェルスクリプト」「Vim操作」「ネットワーク管理」など、基本的な知識が無料で公開されています。 どうやって入手するの？この教材は、Linux技術者認定試験を運営する「LPICの公式サイト」からダウンロードできるようになっています。 そのため、すでにご存知の方も多いと思うのですが、私のようにまだ知らない人もいるのでは…？ と思ったのでご紹介しておきます。 入手方法は簡単で、「Linux標準教科書」のダウンロードサイトにアクセスして、「PDFダウンロードリンク」をクリックします。 あとは、名前とメル
Codecademyに、AngularJS入門コースが公開されたのでやってみた！
HTML/CSS/JavaScriptなど、基本的なWebプログラミングの基礎を学習できることで知られる「Codecademy」に、新しく「AngularJS入門コース」が公開されていたのでご紹介！ 一通り学習すれば、AngularJSを使って簡単なWebアプリを1人で作れるようになりますよ。 どんなコース内容なのか？Codecademyは、以前からJavaScriptやPHPの基礎、WebAPIを使った練習からRailsなどを使った「インタラクティブなWebアプリ」を作れるコースが増えていました。 そして、人気のAngularJSが追加されたことで、さらに幅広い学習へ挑戦できるようになったと言えるでしょう。 「START」ボタンをクリックすれば、すぐにでもブラウザ上から学習を進めていくことができます。 学習は、お馴染みの専用エディタを使い、1つずつ小さな課題をクリアしていくことで学べるよ
950ページ超え！ Androidアプリの開発入門テキストが完全無料公開中！
これから「Androidアプリを作ってみたい！」という人や、「もっと体系的に勉強したい！」という人に朗報です！ アプリ開発スクールで知られる「TechInstitute」から、アプリの設計・開発・公開まで網羅した初心者向けの入門テキストが、なんと無料で公開されているのでご紹介したいと思います！ 950ページを超えるボリューム満点のテキスト！「TechInstitute」のWebサイトで公開されている「専用ページ」にアクセスすると、誰でもすぐにテキストをダウンロードすることが出来ます！ トピック毎に、興味のある分野だけダウンロードしたり、「まとめてDL」ボタンから一気にテキストを入手することも可能。 ファイルはPDFで提供されており、全部で950ページを超える大ボリュームの内容は以下の通り！ ＜目次＞ ファーストステップ プログラミングとは何か コンピュータとスマートフォン 初回のプランニン
Unityの2Dゲームで「当たり判定」の基本を30分で理解するコツ！(前編) - Unity不定期便
Unityによる2Dゲームを試作している時に、「当たり判定」について…基本的な内容をいろいろ調べたので、その結果をログ代わりにまとめておきます。 ちょっと…ボリュームがあるので「前編」「後編」に分けてます。 ご興味ある方は、参考にどうぞ！ Unityの「当たり判定」について Unityでゲームを作る場合、例えばキャラクターを「地面の上に立たせたい！」と思ったら、「地面」と「キャラクター」それぞれに「Collider」を貼り付けるだけで完了します。 （キャラには、重力を持たせるためのRigidbodyも付けてます…） これだけで、基本的な「当たり判定」が完成し、ちゃんと地面の上に立つことができます。 他にも、上空からモノを落としたり、キャラ同士を衝突させるようなこともコレで簡単に実現できるわけです。 しかし、ゲームとして成立させるためには、モノと接触した時に…「爆発させる」「アイテムを消す」
英語参考書を山ほどこなしたので、参考書の感想を書きまくるよ
37歳が、2年間ほど仕事の合間(昼食時とか)に勉強して、TOEICの点数を400点から850点(その後900点)まであげました。もちろん、850点程度だと何の役にも立たないのがわかったので、さらなる勉強中です。 現在、37歳です。まともに英語の勉強をしたのは、大学受験の時が最後。 大学は慶応大学。でも、合格時点でも五文型をよく理解できてなかった。 で、英語の勉強を再開したのが2年前。 大学受験時の英語の偏差値は代ゼミで70くらいだったような。昔のこと過ぎて覚えてない。 五文型わからずに偏差値70? って声も聞こえてきそうですけど、事実そうなんだから仕方ない。 勉強再開時、つまり、受験から15年以上経ってから受けたTOEICは400点。 まずは前提として、35歳の勉強再開時の自分の英語力がどれくらいかについて 大学受験当時、確実につぶしたといえる英語の書籍は以下の5つだけ。 まずは、なんとい
頻度を示す16個の英語の副詞の使い方を完璧に身につける簡単訓練法
Tweet Pocket 英語には、always (いつも)や sometimes (ときどき)、 never (全く～ない) など、頻度を表現する副詞が沢山ありますよね。 I always eat breakfast. (私はいつも朝食を食べます。)I sometimes eat breakfast. (私はときどき朝食を食べます。)I never eat breakfast. (私は全く朝食を食べません。)このように、この頻度を表現する副詞を覚えておくだけで、あなたのことをさらに詳しく伝えることが出来るようになります。 さて、このように「頻度」を表す副詞は、英語にはどれぐらいあると思いますか？実は、１６種類もあるんです。まずは、その16種類の英語の副詞をおさらいしましょう。 1.頻度を表現する副詞の種類とパーセンテージ今回は、頻度を表現する１６個の副詞について、どれがどのくらいのパーセ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。