30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
【9割の人が知らない Google の使い方】待ち合わせに失敗しない人だけが知っている Google マップのすごい機能
Google 認定トレーナー/イーディーエル株式会社代表取締役 「Google 認定トレーナー」および「Google Cloud Partner Specialization Education」の2つを保有する国内唯一の女性トレーナー経営者。 数時間でITスキルを劇的に引き上げる指導に定評があり、ITビギナーから絶大な信頼を得ている。早稲田大学第一文学部（教育学専修）卒。筑波大学大学院教育研究科修了（教育学修士）。筑波大学大学院非常勤講師。アルマ・クリエイション株式会社主催「クロスセクター・リーダーズサミット」2年連続最優秀MVP（2019年、2020年）。常陽銀行主催第3回常陽ビジネスアワード「ウーマノミクス賞」379プラン中第2位（2015年）。出版社勤務を経て専業主婦になるも、学習欲が高じて大学院に進学。在学中に事業欲が高まり、IT教育会社を起業し、現在に至る。「日本に最高のIT
熱交換量の式も気体の状態方程式もモーター効率も満たさない、三菱電機の反論は技術的に破綻
日経クロステックが指摘した業務用エアコンの省エネ不正のうち、三菱電機が調査報告書（以下、報告書）に最も長い反論文を載せたのが、定格冷房COP（エネルギー消費効率、以下、定格COP）値とAPF（通年エネルギー消費効率）値に関する技術的な矛盾に対してである（図1）。同社にとって最も突かれたくない不正だったのだろう。 左の2011年モデルは従来の銅製円管を採用し、かつ熱交換器の前面面積が小さい低コストモデル。右の2013年グランマルチは新開発の扁平（へんぺい）管熱交換器を搭載した最上位機種。高性能なこの熱交換器を使ってAPF値を高めたのに、定格COP値が2011年モデルよりも下がっている。だが、これは物理式からあり得ない変化である。本来は両方とも2013年グランマルチの方が上回らないとおかしい。（出所：日経クロステック） 結論から言って、この点に関する反論も技術的に成立していない。三菱電機の主張
「3日取らないと命の危険」水が体を出入りする量の計算式、初めて開発 | Science Portal - 科学技術の最新情報サイト「サイエンスポータル」
サイエンスクリップ 「3日取らないと命の危険」水が体を出入りする量の計算式、初めて開発 2023.01.27 青松香里 ／ JST「科学と社会」推進部 水は、私たちの体に欠かせない。ごく当たり前のことだが、体を日々出入りする量は、これまで科学的に明らかにされてはいなかったそうだ。その量を推定する計算式を、医薬基盤・健康・栄養研究所（NIBIOHN＝ニビオン）などの国際研究グループが初めて開発した。体や環境のデータを基に、1日に失う水分量の目安を算出できるという。人生のさまざまな時期や災害時などに必要な量を予測できれば、健康管理に役立ちそうだ。 「重水素」手がかりに大規模調査 私たちの体のおよそ半分は水。一般的な成人男性で体の53％、成人女性で45％、乳児では60％を占めるという。この量を維持するため、私たちは飲んだり、食事や呼吸をしたりして水分を取る。ここでストック、つまり体に含まれる水分
送り雨 - むぎすけ | 少年ジャンプ＋
JASRAC許諾第9009285055Y45038号 JASRAC許諾第9009285050Y45038号 JASRAC許諾第9009285049Y43128号 許諾番号 ID000002929 ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。
第17回作品 長縞 秋「Atropos」
モーニング・アフタヌーン・イブニング合同Webコミックサイト「モアイ」は終了しました。 「コミックDAYS」「モーニング公式サイト」「アフタヌーン公式サイト」をご利用ください。
[10Pショート読切] 友人について - 中島佑 | となりのヤングジャンプ
ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。
![[10Pショート読切] 友人について - 中島佑 | となりのヤングジャンプ](https://cdn-ak-scissors.b.st-hatena.com/image/square/b40fa6111810acb07cafebfe60161bcf55ad786c/height=288;version=1;width=512/https%3A%2F%2Fcdn-img.tonarinoyj.jp%2Fpublic%2Fseries-thumbnail%2F316190247136013387-e798ae47505c7a72884f05eb1c9c3acd%3F1674714059)
効率的な筋トレのためには「持ち上げる」よりも「下げる」ことが重要だという研究結果
健康やボディメイクのための筋トレを決意しても、効果が薄かったり、筋トレの時間が長いといった理由で筋トレをやめてしまった経験がある人も多いはず。効果的で短時間な筋トレの方法をエディス・コーワン大学の野坂和則教授らの研究チームが発見しました。 Comparison between concentric-only, eccentric-only, and concentric–eccentric resistance training of the elbow flexors for their effects on muscle strength and hypertrophy https://doi.org/10.1007/s00421-022-05035-w Less gym time, same results: Why ‘lowering’ weights is all you nee
小麦に詳しい方が子供のために『おいしいホットケーキ』を作りたくて色んな小麦粉を試した結論「これを買え」
拉麺mellow @ysk2630 名古屋市緑区徳重5丁目1301、火曜・祝日定休、他「非常に臨時休業が多い」ので来店前に今一度SNS確認必須。専用駐車場は敷地内3台のみ、付近に停車して駐車場空き待ちしない事。ルール分かる人・読める人だけご来店お待ちしてます リンク 日清 極もち・極しっとりシリーズ 国内麦小麦粉使用 | 日清製粉ウェルナ 日清 極もち・極しっとりシリーズ 国内麦小麦粉使用 | 日清製粉ウェルナ 国内麦小麦粉を使用した「日清 極もち・極しっとりシリーズ」。国内麦小麦粉配合で、もっちり食感やしっとり食感、豊かな風味をお楽しみいただけます。お食事としても、スイーツとしてもお楽しみいただけるラインアップです。
『プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するか』 発売のお知らせ
ご来店いただきありがとうございます。新刊『プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するのか』発売開始のお知らせです。 ほぼすべてのソフトウェア開発者がお世話になるコンピューターの最重要パーツ、CPU。「演算をする」というざっくりした役割は知っているし、もう少し踏み込んでレジスタやアセンブリ命令、あるいはさらに踏み込んで、NAND/OR/NOT回路による演算装置といった原理を勉強したことがあるプログラマーの方も少なくないと思います。 しかし、現代のソフトウェアにおいてCPUがもたらす大きな価値は、その原理のみならず、むしろその尋常ならざる高速さにこそあるといっても過言ではないでしょう。 CPUの性能は、半導体技術の進化やハードウェア構成の妙といった物理的な要因のみによって決まるわけではありません。その裏には、パイプライン化やスーパースカラ化、さらには分岐
Astroで始める爆速個人サイト開発
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
（追記）ジャンプラの読み切りばっかり盛り上がるけど
マガポケの新人読み切りも、けっこう粒ぞろいだったりするのにぜんぜん話題にならなくて悲しい。 いま毎日公開されてるやつのなかで読んでほしいのだと、 宮本一平物語 https://pocket.shonenmagazine.com/episode/316190247033357460シュールギャグ寄りのラブコメ。くどかったり嫌らしかったりすることなく、からっと読めてしまう。ガロートダブルス https://pocket.shonenmagazine.com/episode/316190247033357437卓球のダブルスをテーマにした、タッグのキャラが立っているストレートなスポーツもの。SOBO♡KOI https://pocket.shonenmagazine.com/episode/316190247033357412今回の読み切り群の中では個人的に一押しの、ワンアイディアをきれいに使っ
2022年の新作まんがベスト10 - 名馬であれば馬のうち
今日まだ誰も言ってないかもだから言っておくね、「きみはスペシャル」 きみはまだ信じてないかもだから言っておくね、「きみはスペシャル」 ーーLizzo「Special」 【新作連載まんがベスト10】*1 1.天野実樹『ことり文書』（ハルタコミックス） 2.山口貴由『劇光仮面』（ビッグコミックススペシャル） 3.冬虫カイコ『みなそこにて』（webアクションコミックス） 4.とよ田みのる『これ描いて死ね』（ゲッサン少年サンデーコミックス） 5.なか憲人『とくにある日々』（ヒーローズコミックス わいるど） 6.躯咲マドロミ『カラフルグレー』（MeDu Comics） 7.雁須磨子『ややこしい蜜柑たち』（FEEL COMICS swing） 8.トマトスープ『天幕のジャードゥーガル』（ボニータ・コミックス） 9.黒崎冬子『平家物語夜異聞』（ビームコミックス） 10.藤近小梅『隣のお姉さんが好き』（ヤ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/ni28_xp/status/1620353756293627907
地球を継ぐ者 - 長縞秋 / 地球を継ぐ者 | コミックDAYS
ヤマハ、定番配信用ミキサーに8系統入力やボイチェン搭載「AG08」
[特別読切] 彗星のしおり - 一灯瑞希 | となりのヤングジャンプ![[特別読切] 彗星のしおり - 一灯瑞希 | となりのヤングジャンプ](https://cdn-ak-scissors.b.st-hatena.com/image/square/4539042852d09e711ce5337e923dc1ab380b765b/height=288;version=1;width=512/https%3A%2F%2Fcdn-img.tonarinoyj.jp%2Fpublic%2Fseries-thumbnail%2F316190247079738848-f4289c3b412fc95389c4d15bc5d43a07%3F1676883619)
「逆にみんなの『面白いけど人に勧められないゲーム』を教えてくれ」→ 面白いけど勧められないゲームが大量に集まる
音MADではボーカルチョップっていうのがよく使われるらしいのよね
「映画大好きポンポさん」をEテレで地上波初放送！
