BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
October 26, 2019 created( August 1, 2022 updated ) input[type]によるキーボードの表示制御Googleの記事、web foundamentals 最適なフォームの作成では、type属性による入力しやすいキーボードの表示コントロールが説明されていました。 例えば、type="email"を指定すると、 <input type="email"> emailが入力しやすいキーボードが表示されます。 しかし、この指定方法には副作用もありました。 例えば、type="number" を指定した場合、 <input type="number"> このように、入力フィールド内に余計な入力補助要素 が表示したり、フィールドにhoverした状態でmouse wheelを動かすと 入力済みの値が勝手に増減 したりします。 前者はCSSで後者はJava
ライバルはMagic Trackpad。Windows向けの｢高精度｣なワイヤレス・トラックパッド2020.08.15 21:0037,463 塚本直樹 これはクール。 macのシンボルともいえる、大きくて使いやすいポインティングデバイスこと｢Magic Trackpad｣。そのWindows版といえるかもしれない｢W-Touch｣が、海外にて販売されます。 W-Touchの形状は薄い楔形。エッジの立ったシャープなフォルムがかっこいいです。見ようによってはSurface Laptopのミニチュアみたいですね。精度の高さをアピールしているので、スムーズな操作が期待できます。 PCとはBluetooth 4.2にて接続、140 x 84mmという広大な面積でビシバシとWindowsを操れます。そうそう、｢Designed for Surface｣のロゴも取得しているので、Surfaceタブレッ
手軽に始められる知識整理ツールいろいろ
情報過多時代に必要な知識の整理を始めようで紹介した Roam Research をはじめとした知識整理 / 管理ツールは、2019 年から今年にかけて登場したものばかり。それぞれ特徴があって面白いですが、未熟なものばかりです。幾つか検討した末 Roam Research を使うことに決めましたが、スタートアップに投資するような気持ちで課金しています。 新しいものに飛び込む前に、今できること、今あるもので知識の整理をしてみたい方もいると思います。Roam Research や Obsidian をはじめとした知識管理を目的としたツールと同じようにはいきませんが、工夫次第でそれぞれ独自の強みを活かした自分だけのデータベースが作れます。 Evernote 機能が豊富で、いきなりサービスがなくなる心配がないのを選ぶなら Evernote 一択。前世代感がありますが、あらゆる情報をひとつのデータベー
Introducing Microsoft 365 Copilot – your copilot for work - The Official Microsoft Blog
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
About this Handbook Over 20 years after its introduction to the programming community, JavaScript is now one of the most widespread cross-platform languages ever created. Starting as a small scripting language for adding trivial interactivity to webpages, JavaScript has grown to be a language of choice for both frontend and backend applications of every size. While the size, scope, and complexity
Apple M1／M2対抗の「Oryon」はWindows on Armの流れを変えるか：鈴木淳也の「Windows」フロントライン（1/2 ページ） 「Windows on Arm（WoA）」あるいは「Windows on Snapdragon」は、10年来Microsoftがチャレンジしている「ArmプロセッサをPC分野に適用させる」という目標において、いまだ市場の支持を得られていない取り組み中の課題だ。 Xboxしかり、Microsoftは一度決めた目標を簡単には曲げない「あきらめの悪い会社」として知られているが、過去に同社が目標としていた「タブレットPC」が現在ではごく当たり前のものとなりつつあるように、WoAについてもまた「これが我々の正しい道」とばかりに、開発を続けている。 同社にとって最初のWoAと呼べる「Surface RT」が市場投入されたのは、Windows 8が発表さ
記事の概要 この記事は、Meta 社 relay.dev チームの Jordan Eldredge 氏の Tweet で紹介された GraphQL 成熟度モデル (GraphQL maturity model) を個人的な見解を加えながら和訳した記事です。 jordaneldredge.com GraphQL を実装する上で、どの程度 GraphQL を使いこなせているか判断するための参考になれば幸いです。 実際の成熟度モデルの和訳 最初の Tweet 私は、GraphQLの利点がまだ十分には理解されていないと思っています。ほとんどの組織では、GraphQL の提供する価値を捉えきれていません。 そこで、私は「GraphQL成熟度モデル」をスケッチしてみました。あなたの組織はどの程度成熟して（＝使いこなせて）いますか？ もし以下に示す13の成熟度を達成していたとしたら、よりGraphQLを
Introducing Amazon Honeycode – Build Web & Mobile Apps Without Writing Code | Amazon Web Services
AWS News Blog Introducing Amazon Honeycode – Build Web & Mobile Apps Without Writing Code VisiCalc was launched in 1979, and I purchased a copy (shown at right) for my Apple II. The spreadsheet model was clean, easy to use, and most of all, easy to teach. I was working in a retail computer store at that time, and knew that this product was a big deal when customers started asking to purchase the s
引っ越しを機にフレッツ 光クロスを引いて 10Gbps の環境を作っておいたのですが、使っていたルーターが 10GbE が 1 つしかなかったので Wi-Fi 6 の 2.4Gbps 上限で使わざるを得ませんでした。 Wi-Fi 6 でも周りに 5GHz が全く飛んでいない場所なので、実測は 1Gbps 超えで良い環境でした。 とはいえ、このエントリで以下のように希望する Wi-Fi ルーターのスペックを書いたのですが、Wi-Fi 6E 解禁のタイミングで発売されたので買ったという話です。 OCN バーチャルコネクトに対応しつつ、10GbE が 2 つ以上付いた Wi-Fi ルーターがこの世に存在していない疑惑がありますが、Wi-Fi 6E が使えるようになったタイミングで入れ替えを検討しています。 OCN バーチャルコネクトへの対応は日本メーカーのルーターぐらいになってしまうので、今回も
Surface Duoレビュー：これは革命の始まりだ
Surface Duoレビュー：これは革命の始まりだ2020.09.18 13:3050,988 Sam Rutherford - Gizmodo US ［原文］ （ 福田ミホ ） 今までは何だったんだと思わせる体験が、ここに。 Samsung Galaxy Z Fold 2とかHuawei Mate Xsとか、折りたたみスマホはもう次世代に突入してますが、Microsoft（マイクロソフト）も9月10日、折りたたみスマホなSurface Duoを発売しました。が、この折りたたみは他とはちょっと違うって前から言われてたように、Surface Duoは折りたたみというより、デュアルスクリーンをフル活用した強力マルチタスクを可能にするデバイスで、今までのスマホの概念からもはみ出す勢いかもしれません。いつもはクールキャラな米Gizmodoのモバイル番・Sam Rutherford記者も｢革命｣と
Tamagui 1.0 🎉 — Tamagui
Tamagui comes in three parts: Tamagui Core (@tamagui/core) is a style library for React Native and web that supports 100% of the React Native API surface in a library that only depends on React. It adds all the goodies of modern style libraries into a cohesive package. Tamagui Static (@tamagui/static) is an optimizing compiler on top of Core, turning even inline styles sprinkled with logic into at
Except Singapore, we’ve got a world of sub-100 millisecond TTFBs. This is because instead of heading off to Virginia to get the site, each of these locations can use an edge server nearest to them. The edge is about getting 50ms response times vs 150ms response times. You can test this for yourself with a VPN. If you: curl -I https://deno.landYou’ll get the server nearest your location: server: de
今週はWindows 10周りの動きが凪いでいるので、日々の疑問について少し考えてみたい。人間はいつまでマウスを使い続けるのだろう。 今この瞬間も左手をキーボードに添え、右手はキーボードとマウスを行き来しているが、改めて考えると決して効率的ではない。一時期、キーボードから指を離さずマウスカーソルを操作できるThinkPadのポインティングデバイスを愛用した背景から、現在もThinkPadトラックポイントキーボードを使用し、数台のストックを用意している。Windows 7あたりからはAeroスナップなどマウス操作を重視する場面が増えたが、Windows 10以降はSurfaceのようなタッチ対応の2in1 PCを使うようになってから、物理的なポインティングデバイスの使用頻度は減ってきた。 筆者のデスクトップPC環境は、ThinkPadトラックポイントキーボードに加えて、ロジクールのマウスを使
luttig's learningsより。 レドモンドの巨大さを理解することは、クラウドインフラ、スタートアップ戦略、そしてソフトウェアの未来について、貴重な教訓を私たちに教えてくれる。 By ジョン・ルティグ Microsoftは、その規模にもかかわらず、テクノロジー業界で最も見落とされている企業の1つである。 Apple、Facebook、Amazon、Googleのように消費者に愛されるブランドではない。 ベンチャーキャピタルのサクセスストーリーでもない。Microsoftは収益性が高すぎたため、実際のVC資金を調達できず、創業者らはIPO時に70%を所有していた。 FAMGAの中で最も古く、別の州にひっそりと存在している。 しかし、Microsoftには、見かけ以上のものがある。うまくやれば、Microsoftは最初の10兆ドルT企業になることができる。そして、スタートアップの創業
For React Native users, React 18 will ship in React Native with the New React Native Architecture. For more information, see the React Conf keynote here. What is Concurrent React? The most important addition in React 18 is something we hope you never have to think about: concurrency. We think this is largely true for application developers, though the story may be a bit more complicated for librar
ノンデザイナーズ・Wantedly デザインシステム完全理解ペーパー | Wantedly Engineer Blog
Wantedly では新卒含む新入社員向けに研修を毎年実施しています。これは「新入社員向け」といいつつ既存の社員も自由に参加できるものです。今年はこの研修のフォーマットを借りて、Wantedly のプロダクト開発を支える重要な概念のひとつである「Wantedly の UI デザインシステム」についての研修を、ソフトウェアエンジニアの @izumin5210 (筆者) とプロダクトデザイナーの @NishaMe で実施しました。 デザインの構造を正しく捉えることは、UI の実装を専門にしているかどうかを問わず、正しい実装 - 開発生産性が高く、ユーザにとっても使いやすい実装 - のための重要なポイントです。よってこの研修は「広義のフロントエンドエンジニア」、業務中に UI を実装することがある全てのエンジニアを対象としました。 Web フロントエンドエンジニアモバイルエンジニア専門ではないが
関連記事 日本MS、東京都にオンライン教育環境を提供 Officeソフトやビデオ会議ツールを導入 日本マイクロソフトは、東京都立高等学校や特別支援学校向けにMicrosoft 365 Educationを提供すると発表した。生徒と教員が相互にコミュニケーションして学習ができる環境を早急に作る。 オンライン授業で“板書”を再現するスマートペンセット「SMART CLASS KIT」 元講師が試してみた 板書しながら喋る授業動画を作るツールを紹介。オンライン授業の対応に追われている教員の強い味方になるかもしれません。 東京都港区、区立小中学校の「1人1台端末」にiPadを導入 GIGAスクール構想を前倒し1万1000台 GIGAスクール構想早期対応で、渋谷区のSurface Go 2導入に対し、港区ではiPadの導入が決まった。 入学・卒業式を「Teams」でリモート化 日本マイクロソフトが無
Back to articlesAnnouncing WinterJSThe most performant JavaScript Service Workers server thanks to Rust and SpiderMonkey Follow up the WinterJS series reading about the recent production-ready WinterJS 1.0 release here. Today we are incredibly excited to announce WinterJS (wasmer/winterjs package). WinterJS is a JavaScript Service Workers server written in Rust, that uses the SpiderMonkey engine t
Amazon・Microsoft・Alphabet・Apple・Facebookの収益源が何かをグラフで見比べてわかること
Googleの親会社であるAlphabetや、Amazon・Apple・Microsoft・Facebookはいずれもテクノロジーを駆使した企業として目覚ましい成長を遂げ、莫大な収益を生み出すようになりました。5つの企業の収益を合わせると国家のGDPに匹敵するほどの規模ですが、これら企業は似ているようでいて、何からどのように収益を得ているかは大きく異なります。5つの企業の2019年の収益の内訳をグラフ化すると、その違いがはっきりとわかります。 How Big Tech Makes Their Billions - Visual Capitalist https://www.visualcapitalist.com/how-big-tech-makes-their-billions-2020/ Alphabet・Amazon・Apple・Facebook・Microsoftの5社を合わせた年
はじめに 今回の記事では、普段のプログラマーの開発の生産性を向上させてくれる画期的なWebサービスを18も紹介する。個人の独断と偏見で紹介しているので、今回の記事で紹介しているものはあくまで一例にすぎない。 知っているだけで開発の生産性を急激に高めてくれるWebサービスは存在する。今回の記事を通して1つでも気になるWebサービスを見つけることができれば非常に幸いである。 CSSGradient CSSで作れるグラデーションをまとめたサイト。1,000以上の種類から自分の好みのグラデーションを選べる。 Fontjoy 自分が制作するWebサイトに最適な組み合わせのフォントを選ぶ上で役立つ。主にデザイナー向けに作られたWebサイト。ポートフォリオサイトに使うフォントを選ぶ際に参考になるだろう。 Readme.so Markdownとテンプレートを活用して、自分が開発したプロジェクトのREADM
Microsoft Teams で Web 会議するときは、どのくらいのネットワーク帯域を利用するのですか？と聞かれることもあるので、実際に試しながら観察してみました。結果として、帯域をどのくらい使うかは一概には言えないということが分かりました。 #検証環境 同じネットワークにつながった Surface Pro 4 が 2 台。どちらも Wifi でインターネットに接続。 #どちらもカメラをオフ、マイクはオン これがベースですね。 #どちらもカメラをオン、マイクもオン どちらもカメラを送受信しているので、均等に増えている感じです。カメラのトラフィックはスゴイ。 ##受信側が Teams のウィンドウサイズを小さくする 面白かったのは、ウィンドウサイズを小さくすると受信トラフィックが少なくなります。実はこれ、送信側の送信トラフィックも少なくなっています…。 どうやらカメラに関する通信は、受信
研究開発部の原島です。今日は表題の渋いバッチをつくった話をします。 あっちでも形態素解析、こっちでも形態素解析 みなさん、形態素解析してますか？してますよね？クックパッドでもさまざまなプロジェクトで形態素解析をしています。 いや、むしろ、しすぎです。プロジェクト A でレシピを解析し、プロジェクト B でもレシピを解析し、プロジェクト C でもレシピを解析し、... といった具合です。ちなみに、形態素解析（の結果）が必要なプロジェクトとしてはレシピの分類やレコメンド、各種分散表現（e.g., word2vec）や BERT の学習などがあります。 もちろん、最終的に得たい解析結果が違うのであれば問題ありません。しかし、私が見たかぎり、ほとんどの場合は同じ（もしくは、同じにできそう）でした。であれば、 解析器をインストール（→ Dockerfile を試行錯誤） 解析対象を取得（→ SQL
マイクロソフト、ARM版の新型Surfaceと『Copilot+ PC』発表。全部覚えるRecallなどWindows 11のローカルAI強化 | テクノエッジ TechnoEdge
マイクロソフトがWindows 11『Copilot+ PC』イベントを開催し、Snapdragon X Elite / Plusプロセッサを搭載した新型 Surface Pro (第11世代)および Surface Laptop (第7世代)を発表しました。 新型 Surface Pro はシリーズ初の有機ELディスプレイを選択でき、性能は(二世代前の) Surface Pro 9比で90％高速。統合NPUのAI処理性能(TOPS)は、AppleのM4 iPad Proより約20%高速をうたいます。 新たな純正アクセサリとして、合体しても外しても使える新型キーボード Surface Pro Flex Keyboard を用意します。 ■ Windows PCの新たなカテゴリ『Copilot+ PC』新型 Surface シリーズを披露した一方で、イベントの主題はマイクロソフトが提唱する新
Announcing Microsoft Copilot, your everyday AI companion - The Official Microsoft Blog
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
こんにちは、GaudiyデザイナーのTORAJIRO（@jirosh1998）です。 『英単語アプリ mikan』の副業デザイナーとして、Figmaリファクタリング&デザインシステムの一歩目を構築した話を書こうと思います。 このnoteの最後に、今回作成した『mikan DesignSystem』のデータを公開していますので、ぜひご覧ください👋（mizoさんをはじめmikanのみなさん、具体的なアウトプットの公開まで許可いただき感謝です！心広すぎ！） 読んで欲しい人 - これからチームでデザインシステムを作っていきたい - コンポーネントライブラリをFigmaで構築したい - Figmaをリファクタリングして、デザイナーの作業効率を上げたい デザインシステム本題に入る前に、このnoteで書いている「デザインシステム」の定義について触れておきます。デザインシステムとは「良いデザインを『効率
Sass: LibSass is Deprecated
After much discussion among the Sass core team, we’ve come to the conclusion that it’s time to officially declare that LibSass and the packages built on top of it, including Node Sass, are deprecated. For several years now, it’s been clear that there’s simply not enough engineering bandwidth behind LibSass to keep it up-to-date with the latest developments in the Sass language (for example, the mo
Bun is an all-in-one toolkitWe love JavaScript. It's mature, it moves fast, and its developer community is vibrant and passionate. It's awesome. However, since Node.js debuted 14 years ago, layers and layers of tooling have accumulated on top of each other. And like any system that grows and evolves without centralized planning, JavaScript tooling has become slow and complex. Why Bun existsBun's g
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は、Yasas Sri Wickramasinghe氏による「Google Chrome Hidden Features Every Developer Should Know」（2021年10月11日公開）の和訳を、著者の許可を得て掲載しているものです。 #すべての開発者が知るべきGoogle Chromeの隠れた機能5選 試した方がいいGoogle Chrome experiments ##はじめに Chromeデベロッパーツールは、ウェブ開発者間で最も使われているツールの1つです。しかし、ほとんどの開発者が知らない素晴らしい
Introduction In the dynamic landscape of web development, Rust has emerged as a language of choice for building safe and performant applications. As Rust's popularity grows, so does the array of web frameworks designed to harness its strengths. This article compares some of the best Rust frameworks highlighting their respective advantages and drawbacks to help you make informed decisions for your
南アで新たなコロナ変異株、免疫反応回避などの特徴
FILE PHOTO: This undated transmission electron microscope image shows SARS-CoV-2, also known as novel coronavirus, the virus that causes COVID-19, isolated from a patient in the U.S. Virus particles are shown emerging from the surface of cells cultured in the lab. The spikes on the outer edge of the virus particles give... もっと読む
Microsoft ハードウェア : 「Windows 開発キット 2023」を普段使いの PC として使う
2022 年 10 月 25 日に「Windows 開発キット 2023」が発売されました。 開発者向けに書かれた記事を見かけるようになりましたが、ここではあまり ARM を知らない or 開発などを考えてない方に向けて、普段使いの PC として「Windows 開発キット 2023」は使えるのか？という観点で参考になればと書かせていただきました。 なお、こちらは特に宣伝などは意図しておらず、私に見返りなどもありません😉 「Windows 開発キット 2023」とは？ 「開発キット」と名前がついていますが、ARM という CPU が搭載された小型 PC です。 その ARM 用のアプリ開発者をターゲットに Microsoft が販売している製品となります。 2022 年 5 月の Microsoft Build というイベントで "Project Volterra" という開発コードで発
ファンレスの軽量設計で、数秒で起動し、スリープからの復帰は“瞬時”。Microsoft Teams会議やCisco WebexなどのWeb会議のローカル処理に対応する。 クラウド上のMicrosoft 365 CopilotなどのAIツールを利用できる。セキュリティベースラインポリシーはデフォルトで有効になっており、セキュリティ機能を無効にすることはできないなど、企業がリモートワークの従業員に安心して提供できる設計になっている。 日本、米国、カナダ、英国、ドイツ、オーストラリア、ニュージーランドの組織は、MicrosoftアカウントチームにWindows 365 Linkプレビュープログラムに申し込むことができる。 関連記事 新型「Mac mini」登場 M4・M4 Proチップ搭載ながら、“ギュッ”と小型化 9万4800円から 米Appleは10月29日（現地時間）、新型「Mac min
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ブラウザのキーボードを制御する inputmode
ライバルはMagic Trackpad。Windows向けの｢高精度｣なワイヤレス・トラックパッド
Handbook - The TypeScript Handbook
Apple M1／M2対抗の「Oryon」はWindows on Armの流れを変えるか
GraphQL 成熟度モデル - とろろこんぶろぐ
Microsoft、2画面Android端末「Surface Duo」を9月に前倒し発売
自宅のインターネット環境を 10GbE と Wi-Fi 6E で強化した - しばやん雑記
異色の2画面Android端末「Surface Duo 2」。Snapdragon 888搭載で1,499ドルから
The Future of the Web is on the Edge
マウスはいつまで使われるか - 阿久津良和のWindows Weekly Report
Microsoftを忘れてはいけない
React v18.0 – React
兵庫県、「Surface Go 2」「Office 365」を県立学校に大規模導入 渋谷区に続き2例目
Announcing WinterJS · Blog · Wasmer
【君はいくつ知っている？】【知らないと損する】開発の生産性を上げてくれる画期的なWebサービス 18選
Microsoft Teams で Web 会議をするときの通信トラフィックを観察してみた - Qiita
Windowsキーはそのままに「Copilotキー」が追加？次期Surfaceで採用予定
形態素解析を行うだけのバッチをつくる - クックパッド開発者ブログ
Microsoft、549ドルからの12.45型モバイルノート「Surface Laptop Go」
「Surface Pro 8」登場。キーボード変更/新ペン。Thunderbolt 4対応で性能2倍に
【Hothotレビュー】 2画面スマホはやっぱり便利！「Surface Duo 2」米国版を先行レビュー
Figmaのリファクタリングからはじめるデザインシステムの構築｜TORAJIRO
Bun 1.0 | Bun Blog
すべての開発者が知るべきGoogle Chromeの隠れた機能5選 - Qiita
Best Rust Web Frameworks to Use in 2023 | Shuttle
Microsoft、一見「Mac Mini」なクラウドPC「Windows 365 Link」を349ドルで
【特集】 簡単便利なChromeリモートデスクトップの使い方。PC/スマホから遠隔操作してみる
