ACT-1: Transformer for Actions
ACT-1: Transformer for Actions September 14, 2022 — Adept Team AI has moved at an incredible pace in the last few years. Scaling up Transformers has led to remarkable capabilities in language (e.g., GPT-3, PaLM, Chinchilla), code (e.g., Codex, AlphaCode), and image generation (e.g., DALL-E, Imagen). At Adept, we are building the next frontier of models that can take actions in the digital world—th
汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？ コンピュータの文脈理解について解説
前回は、センター試験の英語読解問題に必要となる単語分散表現による単語理解について説明しました。紹介した単語分散表現獲得の例では、決まった範囲の周辺単語から単語分散表現を獲得していました。しかしながら、この方法では1単語で1つの意味しか表現することができず、多義語のように文脈で意味が変化する単語には対応できません。 例えば、「have」という単語は「I have a dog」だと「飼っている」という意味になり「I have breakfast」だと「食べる」という意味になります。多義語は意味ごとに周辺単語の種類も異なるため、それを1つの意味だけで捉えようとするのは困難です。 その解決方法の一つとして、文章に含まれる単語全体を使って単語分散表現を獲得する文脈理解を行います。文章全体を入力として単語分散表現を求めるので、文章ごとに異なる単語分散表現を獲得することができます。 次に紹介する「Tra
業務端末としてLinuxデスクトップを使うために設定したこと - Plan 9とGo言語のブログ
2021年の11月に、業務端末としてDELL XPS 13を購入して、Linuxデスクトップに移行しました。いまでは快適に使えるようになりましたが、Linuxデスクトップに慣れていないこともあって思ったように動かず困ったところがあったので、導入にあたって悩んだところをまとめました。 ディスクの暗号化 業務利用の要件にディスクの暗号化があるので、bootパーティションを除いて暗号化しました。手順は過去記事に追記しました。 blog.lufia.org GNOME KDE Plasmaの方がスタイルは好みですし、実際に業務端末でも2ヶ月ほど使っていましたが、Wayland環境ではタッチパッドの左右スワイプが動かないとか、XWaylandで動作するアプリケーションを4Kディスプレイで表示するとぼやけた表示になるなど厳しいなと思いました*1。個人で使うものなら、少し効率が悪い程度なら問題にしません
雑務をこなすうちにLinuxに習熟できるかも!? シェル・ワンライナーをお勧めする理由：新刊ピックアップ
コンピュータは便利ですが，それでも手間のかかる作業は多々あります。とくにGUI（グラフィカルユーザーインターフェース）のソフトウェアで次のような作業をやらないといけないとしたら，面倒そうだと思いませんか？ 複数のファイルのファイル名を一括で変更する 大量の画像ファイルの中から全く同じ画像のファイルを探す 複数のファイルに記録されている数ヵ月にわたるログから特定の期間の情報だけを抽出する これらの作業をするには，ファイラー（Windowsのエクスプローラーなど）やエディタだけでは限界があります。専用ソフトをいくつか使ったり，単純な手作業を繰り返したりして作業することになります。 その点，シェルやスクリプト言語を使えば細かな条件をプログラミングすればどんな作業でも片付けられます。また，ターミナルのCLI（コマンドラインインターフェース）上では，コードを書いてそのまま実行できるため，たいへんお手
Nand2Tetris(コンピュータシステムの理論と実装)でCPUからOSまで一気通貫で作るのが最高に楽しかった話 - ( ꒪⌓꒪) ゆるよろ日記
どうも、しいたけです。 去年あたりからローレイヤー周りの知識を充実させようと思い、 低レイヤを知りたい人のためのCコンパイラ作成入門 を読んでCコンパイラを書いてみたりx86_64の勉強をしたりしていました。 今年に入ってから、よりローなレイヤー、具体的にはハードウェアやOSについてもう少し知りたいと思い始め、手頃な書籍を探していました。 CPUなどのハードウェア周りについては概要しか知らなくて手を動かしたことがないので、実際に何か作りながら学べるものとして、 O'Reilly Japan - コンピュータシステムの理論と実装 に挑戦することにしました。 O'Reilly Japan - コンピュータシステムの理論と実装 成果物は以下のリポジトリに置いてあります。 yuroyoro/nand2tetris 結論から言うと、やってみて大変楽しめました！ 特にハードウェア周りは今まで挑戦したこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch の基礎 - Training
