自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
鉱物マニアの為の魅惑のキュートな25の鉱物・鉱石・結晶 : カラパイア
思えば私も、ディアゴスティーニの「世界の鉱物コレクション」に手を出した程度には鉱物好きなのであるが、付録についてくる鉱物が求めていたものと違いすぎて、5回目くらいでやめてしまうくらいの浅いレベルであった。 だが今回ここに登場する画像のような鉱物が入手できるのなら、ちょっと目をキラキラさせる程度にはやはり鉱物好きなので、あきらめることなく今後も大地に目を向けながら鉱物探しの旅をやめないようにするレベルでの興味は持ち合わせていたい。太陽神ラーの力を借りて。って何をいいたいのだ私は。鉱物の妖艶さにあてられたせいか。まあいいや、とにかくみていこう、その素晴らしい造形美とやらを。
世にも奇妙な鉱物。人間や動物の遺体に形成されるネクロクリスタル「ビビアナイト」 : カラパイア
ちょっとダークなおとぎ話のようだが、人間や動物の遺体にできる不思議な鉱物がある。世にも珍しい闇属性のクリスタルの名を「ビビアナイト（藍鉄鉱）」という。 死体に形成されることだけでなく、空気に触れると色が変わるところも神秘的だ。 濃青色や緑青色が美しい結晶でありながら、腐敗した遺体に形成されるのは一体なぜなのだろうか？ ネクロクリスタルの異名を持つビビアナイトの謎に触れてみよう。
人間が死なない楽しい映画をみたい
RRRを観た 俳優の筋肉と体幹がすごかった ダンスも楽しいしこういうのは好き でも、英国人がほぼ死んで、確実に致命傷を負ったインド人はモブでもピンピンしてるのがちょっと苦手だった 大量の人間が死ぬのも抵抗感がかなりあるんだけど、監督の持っている命の認識に、扱いの差が明確にあるのが苦手なのかもしれない。 RRRは「爽快！」みたいなキャッチコピーがあったから観たけど人が死にすぎてそこまで楽しい話ではなかった…… ハリウッドでも何でも時代も国も何でもいいから、人間が演じてる楽しい映画で、人が死なない楽しめるやつがあったら知りたい。 有名と名高い作品は結構観てるから（とは言っても、ローマの休日とか雨に唄えばとかハリーポッターとかチャーリーとチョコレート工場とか、それくらいのレベルの作品を観漁るレベルです）、まぁまぁ有名〜ニッチなやつとかだと嬉しいです…… 【追記】 びっくりしました、たくさんありが
OpenAI、AGI（人間より賢いAI）へのロードマップを公表 「世界に深刻な害を及ぼす可能性」回避のために
会話型AIサービス「ChatGPT」を手掛ける米OpenAIのサム・アルトマンCEOは2月24日（現地時間）、AGI（Artificial General Intelligence；汎用人工知能）実現への短期および長期のロードマップを発表し、人類改善のためのリスク軽減策について説明した。アルトマン氏はAGIを「一般的に人間より賢いAIシステム」と定義する。 同氏は、人間の知性を超えた存在を成功させることは人類史上最重要事項であり、希望に満ちてはいるが、恐ろしいプロジェクトだと語った。 AGIには誤用、劇的な事故、社会的混乱などの深刻なリスクが伴うが、それでも利点が非常に大きいとしている。いずれにしてもAGIの開発を停止することはもはや不可能であるため、「社会と開発者は正しく開発する方法を見つけ出さなければならない」とアルトマン氏。 同氏は短期計画として以下の3つを挙げた。 AIモデルの現実
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
高校生が学園祭の配信システムをAWSで自作 奈良・西大和学園「技術統括局」の活躍、本人たちに聞いた
今やさまざまな企業・自治体で活用されるクラウド技術。もちろん、学校が使う事例もある。奈良県北葛城郡にある西大和学園も、クラウドを活用する学校の一つだ。同学は2022年5月、学園祭の開催に当たり、AWSを活用した映像配信システムや、チケット管理システムを開発・活用した。 ただ、このシステムはいわゆる「システム開発事業者」や、学内のIT部門が作ったのではない。なんと生徒自らがクラウドで開発・提供した。手掛けたのは同学の「西大和学園技術統括局」（旧・生徒会電算部）という、生徒たちの集まりだ。 生徒自作のシステムが誕生し、実運用に至った背景を、同学の光永文彦教諭（情報科）、そして西大和学園技術統括局の栗栖（くりす）幸久さん、吉田伊織さん、渡部総一郎さん（いずれも高校2年生）に聞いた。
論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
