// Good: choose between two options as appropriate (see below). import * as ng from '@angular/core'; import {Foo} from './foo'; // Only when needed: default imports. import Button from 'Button'; // Sometimes needed to import libraries for their side effects: import 'jasmine'; import '@polymer/paper-button'; Import paths TypeScript code must use paths to import other TypeScript code. Paths may be r
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
On the 11th of January 1982 twenty-two computer scientists met to discuss an issue with ‘computer mail’ (now known as email). Attendees included the guy who would create Sun Microsystems, the guy who made Zork, the NTP guy, and the guy who convinced the government to pay for Unix. The problem was simple: there were 455 hosts on the ARPANET and the situation was getting out of control. This issue w
安倍元首相銃撃事件を受けて 2022 年 7 月に 「父、 文鮮明のこと——負の現人神」 という記事を書いた。 だいたい次のような話だ。 終戦後、 天皇という家父長を失った朝鮮半島に再臨の現人神あらひとがみを名乗る教祖たちが雨後の竹の子のように生まれる。 はじめはどんぐりの背比べじみたところがあった。 けれどもそのうちの一つが猥褻なミームとしての頭角をあらわし、 感染爆発を引き起こすことになった。 そこでの僕の関心は、 それを邪悪な淫行集団として切り捨てるのではなく、 その背景にあるものを掘り下げることにあった。 その一環として、 極東の近現代史のなかに事件を位置づけることで浮かびあがってくるものを探った。 そこで言いたかったのは、 かつての日本には神のために自身や他人の生をも犠牲にすることのできる 「神の子」 たちがいたということ、 それゆえに安倍元首相銃撃事件によって噴きあがった血塗ら
ベストアルバム2日目です。ここ数年と比較して反応が大きくて驚いています。540のデータから作られた2022年のベストアルバムの第2回です。今回の100→51のパートではそれぞれ46から81ポイント、人数的には7人から16人の人に挙げられた作品で構成されています。 順位付けをしておいて言うのもなんですが、あまり順位は気にしないでまだ知らない作品を楽しむ場として使っていただけるとうれしいです。巻末にはプレイリストも用意しています。明日で終わりです。よろしくお願いします！（ぴっち） このランキングについて ネットの音楽オタクが選んだベストアルバムは音楽だいすきクラブ、及びそのメンバー等の特定の誰かが選んで作ったものではありません。 Twitterのハッシュタグ、募集記事のコメント欄に寄せられたものを集計しています。 540人分のデータを集計しました。 募集期間は2022年12月1日から31日の間
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
This is an interactive article. To fully experience it, you'll need to turn JavaScript on. Today, I'll take you through the process I came up with in regard to transforming an SVG path into a vector rope drawing. We'll learn how to turn the path on the left into the rope on the right: The problem popped up on a project my colleagues were working on, and it stuck with me. I thought about it and sta
Announcing New Tools for Building with Generative AI on AWS | Amazon Web Services
AWS Machine Learning Blog Announcing New Tools for Building with Generative AI on AWS The seeds of a machine learning (ML) paradigm shift have existed for decades, but with the ready availability of scalable compute capacity, a massive proliferation of data, and the rapid advancement of ML technologies, customers across industries are transforming their businesses. Just recently, generative AI app
Tailwind CSS v3.0 is here — bringing incredible performance gains, huge workflow improvements, and a seriously ridiculous number of new features. Tailwind CSS v3.0 is here — bringing incredible performance gains, huge workflow improvements, and a seriously ridiculous number of new features. For a tour of some of the coolest new features, check out the “What’s new in Tailwind CSS v3.0” video on our
Go: A Documentary
Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty
July 16, 2020 生物学者は「自然主義的誤謬」概念をどう使ってきたか 最近発表された人間行動進化学会の声明の中で、「自然主義的誤謬」という哲学由来の概念が使われていた。 そこでは、自然主義的誤謬が、「「自然の状態」を「あるべき状態だ」もしくは「望ましい状態だ」とする自然主義的誤謬と呼ばれる「間違い」」という言い方で紹介されている。これを倫理学者が聞いたなら「いや、自然主義的誤謬はそういう意味じゃないんだけどなあ」と言いたくなるところであろう。しかし、進化生物学者と「自然主義的誤謬」という概念の付き合いはかなり長く、それなりの経緯がある。本稿の目的はとりあえずその経緯を追うことで、「自然主義的誤謬」という概念の適切な用法とはなんだろうかということを考えることである。 最初に断っておくが、本稿はいかなる意味でも体系的なサーベイとはなっていない。どちらかといえば、目立つ事例いくつかをつ
Announcing Microsoft Copilot, your everyday AI companion - The Official Microsoft Blog
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
macOS Internals
macOS Internals.md macOS Internals Understand your Mac and iPhone more deeply by tracing the evolution of Mac OS X from prelease to Swift. John Siracusa delivers the details. Starting Points How to use this gist You've got two main options: Under Highlights, read all the links you're interested in, or Use "OS X Reviewed" as an index and just read all the reviews end to end. (This is not the fast o
I’ve got some bad news. Behavioral economics is dead. Yes, it’s still being taught. Yes, it’s still being researched by academics around the world. Yes, it’s still being used by practitioners and government officials across the globe. It sure does look alive… but it’s a zombie—inside and out. Why do I say this? Two primary reasons: Core behavioral economics findings have been failing to replicate
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
Don't write clean code, write CRISP code — Bitfield Consulting
I’m sure we’re all in favour of “clean code”, but it’s one of those motherhood-and-apple-pie things that no one can reasonably disagree with. Who wants to write dirty code, unless maybe it’s for a porn site? The problem, of course, is that few of us can agree on what “clean code” means, and how to get there. A rule like “methods should only do one thing”, looks great on a T-shirt, but it’s not so
はじめに コンピュータのアーキテクチャ プログラムの構造 あとがき 執筆者 : 小田 逸郎 はじめに 筆者は自分のことを OS 開発者 (OS屋) だと思ってます。最近は、OSにあまり深く関われていないのですが、筆者が若かりし頃に情熱を注いだものであり、筆者の基盤をなしているものであることには間違いないです。 筆者が OS (UNIX) の開発に携わり始めたのは、1986年のことなので、もう40年近く経ってしまいました。その間に OS の規模も随分大きくなってしまったようです。 筆者が始めた頃の UNIX は、デバイスドライバを除くと、20K行くらいだったと記憶しています。 全コードをラインプリンタで出力、コピー、製本し、皆で読み合わせて、勉強会をしたりしていました。そんなことができる分量だったのです。 今の Linux の規模はどれくらいでしょうか。筆者たちが「Linuxカーネル 2.6
Why I Quit Google’s WebAssembly Team, And How It Made Me Sick
Why I Quit Google’s WebAssembly Team, And How It Made Me Sick I joined Google in early 2015 to work on the V8 team as one of the first authors of the WebAssembly specification. This is a partial story of what went wrong with the process and how it permanently damaged me. My hope is that this story will help people recognize toxic cultures in their own workplaces, or help new hires have a better ca
This post took a lot longer to pull together than I expected. Not because it was hard to write, but because it was too easy to write too much. Like a pre-bonsai tree, it would grow out of control and get pruned back over and over. In the meantime, I delivered a workshop and spent some lovely holiday time with my family. But it’s a new year now, and January is devoid of holidays so it’s high time I
Until now, one piece missing from WebAssembly standalone engines was the ability to spawn threads. Browsers have had this ability for some time via Web Workers, but standalone engines had no standard way to do this. This post describes the work of several collaborators to bring about wasi-threads, a proposal to add threads to WASI. It will explain the history to this proposal, the work done to get
Azure OpenAI Service On Your Data の仕組みと使う上で気を付けるべきポイント
はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On
An Interview With Linus Torvalds: Linux and Git - Part 1 30 Years Of Linux
Jeremy founded Tag1 Consulting in 2007. He has been a contributing core Drupal developer since 2002, and helped establish Drupal as a successful CMS through the early popularity of his personal blog, KernelTrap.org. Over the years, he authored and maintained the core statistics module and throttle module, as well as the pager logic and the initial Drupal 5 installer. He continues to contribute to
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
🌶️ IMHO 🌶️ - Rich Harris on frameworks, the web, and the edge.
この記事はSvelte/Sveltekitの作者であるRich Harris氏による講演「🌶️ IMHO 🌶️」を翻訳したものです。 この記事の作成には、Whisperによる書き起こし、DeepLおよびChatGPTによる翻訳を補助的に使用しています。 また、本文中には適宜訳注を入れています。 この場を借りて、翻訳を許可していただいたRich氏、 またこの翻訳をきめ細かくレビューしていただいたtomoam氏、英文解釈の相談に乗っていただいたshamokit氏へ感謝を表明したいと思います。 So, I'm going to be giving a talk tonight called In My Humble Opinion, and it's a collection of loosely connected thoughts about recent trends in front
March 23, 2020 Please don't write your documentation in Markdown Please don't write your documentation in Markdown. Please. I'm begging you. Markdown is tolerable for short documentation, like a readme.md. Past that, it's the wrong tool for the job. Markdown is about formatting, not information Markdown is just a way to write simpler, nice looking HTML. There is direct mapping between _foo_ and <e
Today, we're announcing the Claude 3 model family, which sets new industry benchmarks across a wide range of cognitive tasks. The family includes three state-of-the-art models in ascending order of capability: Claude 3 Haiku, Claude 3 Sonnet, and Claude 3 Opus. Each successive model offers increasingly powerful performance, allowing users to select the optimal balance of intelligence, speed, and c
Should you use PyTorch vs TensorFlow in 2023? This guide walks through the major pros and cons of PyTorch vs TensorFlow, and how you can pick the right framework. PyTorch and TensorFlow are far and away the two most popular Deep Learning frameworks today. The debate over which framework is superior is a longstanding point of contentious debate, with each camp having its share of fervent supporters
50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs
50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs 50 Shades of Go in Other Languages Chinese Translation: blog post, segmentfault (by wuYin) - needs updates Another Chinese Translation: blog post (by Shadowwind LEY) - needs updates Russian Translation: blog post (by Ilia Ozhereliev, Mail.Ru Group Blog) - needs updates Overview Go is a simple and fun language, but, like any o
The Dangerous Populist Science of Yuval Noah Harari ❧ Current Affairs
Watch videos of Yuval Noah Harari, the author of the wildly successful book Sapiens: A Brief History of Humankind, and you will hear him being asked the most astonishing questions. “A hundred years from now, do you think we will still care about being happy?” — Canadian journalist Steve Paikin, on the “The Agenda with Steve Paikin” “What I do, is it still relevant, and how do I prepare for my futu
When I started my career in development, my first job was a DBA. Back then, before AWS RDS, Azure, Google Cloud and the rest of them cloud services, there were two types of DBAs: The Infrastructure DBA was in charge of setting up the database, configuring the storage and taking care of backups and replication. After setting up the database, the infrastructure DBA would pop up from time to time and
The Go 1.18 release adds support for generics. Generics are the biggest change we’ve made to Go since the first open source release. In this article we’ll introduce the new language features. We won’t try to cover all the details, but we will hit all the important points. For a more detailed and much longer description, including many examples, see the proposal document. For a more precise descrip
How eBPF will solve Service Mesh - Goodbye Sidecars - Isovalent
Service mesh is a concept describing the requirements of modern cloud native applications with regards to communication, visibility, and security. Current implementations of this concept involve running sidecar proxies in each workload or pod. This is a pretty inefficient way of solving these requirements. In this post, we will look at an alternative to the sidecar model that provides a transparen
順位のまとめ、補足、おまけです。 2022年のベストアルバム 2022年国内ベストアルバム 2022年海外ベストアルバム 2022-1-25-23:30 Chilli Beans.『Chilli Beans.』の分類が間違っていたので修正しました。 2022年のベストアルバム 1. 宇多田ヒカル『BADモード』 2. The 1975『Being Funny In A Foreign Language』 3. Big Thief『Dragon New Warm Mountain I Believe in You』 4. 羊文学『our hope』 5. Alvvays『Blue Rev』 6. Arctic Monkeys『The Car』 7. The Weeknd『Dawn FM』 8. 坂本慎太郎『物語のように』 9. black midi『Hellfire』 10. Kendric
The 100 Best, Worst, and Strangest Sherlock Holmes Portrayals of All-Time, Ranked
The 100 Best, Worst, and Strangest Sherlock Holmes Portrayals of All-Time, Ranked Once you eliminate the least compelling Sherlock Holmes performances, whatever remains, no matter how improbable, must be the best. We’re ranking Sherlock Holmes performances. One hundred of them. Not Sherlock Holmes adaptations, but the representations within them of Sherlock Holmes himself. Now, you might think tha
What follows is the “interview” I and a collaborator at Google conducted with LaMDA. Due to technical limitations the interview was conducted over several distinct chat sessions. We edited those sections together into a single whole and where edits were necessary for readability we edited our prompts but never LaMDA’s responses. Where we edited something for fluidity and readability that is indica
Upon receiving suggestions from readers via Email, Hacker News and Reddit, I’ve updated the article with improvements and fixes. Subsequently a word of thanks to the readers for the suggestions. We’ve been using make as a build tool for one of our projects at HackerRank which is written in Go and it has been working out fairly well. In this post, I’ll point out a few features and intricacies of GN
EngineeringOpen SourceGit’s database internals I: packed object storeThis blog series will examine Git’s internals to help make your engineering system more efficient. Part I discusses how Git stores its data in packfiles using custom compression techniques. Developers collaborate using Git. It is the medium that allows us to share code, work independently on our own machines, and then finally com
1991年9月に発売された『POP・IND'S』という音楽雑誌に小西さんと高浪さんが『2人の音楽人生に深い爪痕を残したレコード200』と題して200枚のレコードをセレクトしていました。ここにセレクトされたレコードを聴いていくことが、現在この様な記事を書いている事に繋がっていてこの特集がより音楽に深くのめり込んでゆく起点になりました。 1. The Band / Cahoots 2. Buffalo Springfield / Last Time Around 3. Harpers Bizarre / The Secret Life Of Harpers Bizarre 4. Roger Nichols Small Circle Of Friends 5. The Beach Boys / Friends 6. The Beach Boys / Sunflower 7. Van Dyke P
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google TypeScript Style Guide
30分で完全理解するTransformerの世界
The History of the URL | The Cloudflare Blog
僕たちもまた山上徹也のひとりにすぎないということ｜人格OverDrive
ネットの音楽オタクが選んだ2022年のベストアルバム100→51 - 音楽だいすきクラブ
OpenAI APIのファインチューニングの学習データのガイドライン｜npaka
Draw SVG rope using JavaScript
Tailwind CSS v3.0 - Tailwind CSS
Daily Life:生物学者は「自然主義的誤謬」概念をどう使ってきたか
The Death Of Behavioral Economics
OS徒然草 (1) - VA Linux エンジニアブログ
Services By Lifecycle - Wide Awake Developers
Announcing wasi-threads
GPT in 60 Lines of NumPy | Jay Mody
Please don't write your documentation in Markdown
Introducing the next generation of Claude
PyTorch vs TensorFlow in 2023
Some SQL Tricks of an Application DBA
An Introduction To Generics - The Go Programming Language
ネットの音楽オタクが選んだ2022年のベストアルバムのまとめ - 音楽だいすきクラブ
Is LaMDA Sentient? — an Interview
Using Makefile(s) for Go — Danish Prakash
Git's database internals I: packed object store
PIZZICATO FIVE BEST 200 DISC｜Cytoron｜note