この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
ベストソング・アルバム in 令和三年 年末定番(?)の私的ベストソングオブザイヤー。 結局絞りきれずに15曲になっちゃいました。 ベストソング・アルバム in 令和三年 Rómpelo / Cimafunk Cham Cham / El Michels Affair Leave Us Be / Terrace Martin Can I Get It / Adele Boomerang / Yebba oranges / Ada Lea Black Averageness / Shad Flowers Of Herself / Max Richter Conquer & Divide / El Michels Affair 40Tude / Theon Cross MONTERO (Call Me By Your Name) / Lil Nas X Introvert / Little S
These simulations show how to flatten the coronavirus growth curve
The Washington Post is providing this story for free so that all readers have access to this important information about the coronavirus. For more free stories, sign up for our daily Coronavirus Updates newsletter. After the first case of covid-19, the disease caused by the new strain of coronavirus, was announced in the United States, reports of further infections trickled in slowly. Two months l
4月末に、会社のほうで「Can QUIC match TCP’s computational efficiency?」というブログエントリを書きました。我々が開発中のQUIC実装であるquiclyのチューニングを通して、QUICのCPU負荷はTLS over TCP並に低減可能であろうと推論した記事です。この記事を書く際には、Stay Homeという状況の中で、手元にあった安いハードウェアを使ったのですが、その後、10gbe NICを入手し、ハードウェアによるUDP GSOオフロード環境でのパフォーマンスを確認していくと、OpenSSLのAES-GCM実装がボトルネックになることがわかってきました。 TCP上で通信するTLSでは、一般に、データを16KB単位でAEADブロックに分割して、AES-GCMを用いてAEAD暗号化します注。一方、UDPを用いるQUICでは、パケット毎にAES-GC
繰り返しますが、正確な図はプロセッサモデルによって異なります。ここでは見積もりのため、以下の目安で考えます。メインメモリのアクセスに60ns（ナノ秒）かかり、L1キャッシュへのアクセス速度はその約50倍高速だとします。 さて、プロセッサの世界には「参照の局所性（locality of reference）」と呼ばれる重要な概念があります。プロセッサがメモリ上の特定の場所にアクセスするとき、以下のように予測を立てます。 近い将来、メモリ上の同じ場所にアクセスする可能性が非常に高い これは「時間的局所性（temporal locality）の法則」です 近い将来、メモリ上のその場所からごく近い場所にアクセスする可能性が非常に高い これは「空間的局所性（spatial locality）の法則」です CPUにキャッシュが存在する理由のひとつが、この時間的局所性です。では空間的局所性を高めるにはど
アメリカのホワイトハウスが2020年1月20日に、大統領からの退任を目前に控えたドナルド・トランプ氏が恩赦や減刑を行った人物のリストを公開しました。アメリカでは大統領が犯罪者に恩赦することが伝統になっており、今回恩赦された73人や減刑された70人の中には、2016年の大統領選挙でトランプ氏の勝利に貢献したスティーブン・バノン元首席戦略官や、自動運転車技術に関する企業秘密を窃取して逮捕されたアンソニー・レヴァンドフスキなどが含まれています。 Statement from the Press Secretary Regarding Executive Grants of Clemency | The White House https://trumpwhitehouse.archives.gov/briefings-statements/statement-press-secretary-re
僕はRustでRubyのJITを書く仕事をしているのだが、去年の12月くらいから、趣味ではRubyでRubyのJITを書いている。 それまではC言語でコード生成を行なうMJITを5年くらいメンテしていたのだが、先月、Rubyで機械語を直接アセンブルするRJITに差し替えた。 github.com なので、今Rubyのmasterブランチには、会社で業務として開発しているRust製のYJITと、僕が趣味で開発しているRuby製のRJITの2つのJITコンパイラが存在している。余談だが、JITの開発をしすぎてRubyの作者であるまつもとさんのコミット数を最近抜いた。 なぜMJITをやめたのか MJITも結構がんばっていて、去年開発していたRuby 3.2ではMJITのコンパイラの実装をCからRubyにフルスクラッチした上、バックグラウンド処理をpthreadからfork + SIGCHLDで行
この記事は、NTT Communications Advent Calendar 2021 21日目の記事です。 はじめに こんにちは、イノベーションセンターの鈴ヶ嶺(@suzu_3_14159265)です。普段は、クラウド・ハイブリッドクラウド・エッジデバイスなどを利用したAI/MLシステムに関する業務に従事しています。本日は、Rustで動的メモリ確保(dynamic memory allocation)のmallocを実装してPythonやvimを動かしてみようという内容をお届けします。 また、去年もRustネタのアドベントカレンダーを書いているのでぜひ見ていただけると嬉しいです！ NTTコミュニケーションズ Advent Calendar 2020 Rustで実装するNetflow Collector 実装するmallocのアルゴリズム 今回実装するmallocのアルゴリズムは小さな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3の衝撃 - ディープラーニングブログ
心揺さぶられた音楽15選 in 2021年 - 世界のねじを巻くブログ
QUICむけにAES-GCM実装を最適化した話 (1/2)
CPUキャッシュがGoのコードに与える影響（翻訳）｜TechRacho by BPS株式会社
トランプ氏が退任間際に大量恩赦・減刑した全143人のリストはこんな感じ
RJIT: RubyでRubyのJITコンパイラを書いた - k0kubun's blog
Rustで実装するmalloc - NTT Communications Engineers' Blog