Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる（パート１） - めもめも
なんの話かと言うと 最近、大規模言語モデルを用いたチャットシステムがよく話題になりますが、言語モデルの性能が大きく向上するきっかけとなったのが、下記の論文で公表された「Transformer」のアーキテクチャーです。 arxiv.org ここでは、JAX/Flax を用いて Transformer を実装しながら、その仕組みを解説していきます。このパート1では、Embedding レイヤーを解説します。 JAX/Flax の使い方を学びたいという方は、こちらの書籍を参照してください。 JAX/Flaxで学ぶディープラーニングの仕組み 作者:中井悦司マイナビ出版Amazon Transformer の全体像 冒頭の論文では、Transformer Encoder と Transformer Decoder を組み合わせた下記のモデルが説明されています。 左側の Encoder でテキストを解
「そうだ、数理最適化、やろう。」ってなった時にめっちゃ参考になったリンク集＆参考書｜CO-WRITE
数理最適化案件とAI/機械学習案件とのアナロジー 「やってみなければわからない」中で僕たちDSはどうするか本記事では表題に関して、脳筋系ゆるふわVTuberこと入社2年目DSの岡部がお送りいたします。（DS=データサイエンティスト） 発... ◆【理論・実践】（2021年時点で）オススメの参考書 最大のアップデートはこちらの2冊です。参考書は時代の流れに合わせていいものが出てくるものですね。もちろん過去の参考書にもいいものはたくさんありますが、日進月歩の分野である以上、新しいものに軍配が上がりやすい構図はあると思います。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで Pythonではじめる数理最適化： ケーススタディでモデリングのスキルを身につけよう 以下それぞれの所感です 【理論】「最適化分野全般を知るための『最適解』」とも言われている教科書 僕が最適化にハマっていた当時は様々な本
東京五輪組織委元次長、談合認める意向 電通側も認める供述 | 毎日新聞
東京オリンピック・パラリンピック組織委員会が発注したテスト大会の計画立案業務を巡る談合事件で、テスト大会の運営を担った組織委大会運営局の元次長が、不正な受注調整への関与を認める意向を周囲に示していることが関係者への取材で判明した。元次長は2022年11月に独占禁止法違反（不当な取引制限）容疑で自宅を家宅捜索されて以降、容疑を否定していた。企業名が書かれた一覧表には落札者を割り振る意味合いがあったことは否定できないという趣旨の説明をしているという。 また、元次長とともに企業が希望する競技や会場を一覧表にまとめた広告最大手「電通」側も東京地検特捜部の聴取に、容疑を認める供述をしていることも判明した。独禁法の不当な取引制限は企業側を取り締まることを想定しているが、特捜部は発注側の元次長が受注調整に欠かせない役割を果たしたとみており、電通など複数の企業の担当者に加えて、元次長を談合の共同正犯として
暇空氏、都庁ルールで非開示にされたというファイルを入念な再請求で開示させることに成功
暇空茜 @himasoraakane これね、都が厚生労働省から「こういうテンプレで報告書あげてね」って言われた※他機関につないだ件数とか詳細記載、とか、※具体的に記載 をガン無視して厚生労働省にあげて厚生労働省もスルーしてたってことだよ 都庁と厚生労働省の責任もドラのったってこと twitter.com/himasoraakane/…
育児中にリスキリングしている人の尊厳を、強い言葉で傷つけないで欲しい｜村井裕一郎
赤ちゃんを育てるのは、普通の仕事よりはるかに大変。子育てをしてこなかった政治家が言いそうなことですね。 賃金上昇に向け 産休・育休中の“学び直し”を「後押し」岸田総理 https://t.co/r8XPu6ufMq — 青野慶久/aono@サイボウズ (@aono) January 27, 2023 共産党の小池晃氏が「子育てと格闘している時にできるわけがないのに言う。子どもを産み育てることを困難にしてきたのは明治以来の家父長制、男尊女卑の考え方が根強くやっぱり自民党にある。根本的な反省と改革を求めたい」と述べた。 国民民主党の榛葉賀津也氏も「育休中にリスキリングしろとはがっかりした。自民党がやっとわかってくれたなと思ったら、総理がこれを言うんですから」と批判した。私の家庭のことここで、私の家庭のことを話します。 私の妻は、4歳、2歳の子どもがいる中、第3子妊娠9ヶ月目で大学院（MBA
子ども嫌いな妻に頼み込んで子どもを作ったけれど地獄です。結婚前から妻は子ども嫌いだから一生ひとりで生きる！と言っていました。自... - Yahoo!知恵袋
子ども嫌いな妻に頼み込んで子どもを作ったけれど地獄です。 結婚前から妻は子ども嫌いだから一生ひとりで生きる！と言っていました。 自分が全く手をかけられずに放置で育ったからだそうです。 子ども嫌いな妻に頼み込んで子どもを作ったけれど地獄です。 結婚前から妻は子ども嫌いだから一生ひとりで生きる！と言っていました。 自分が全く手をかけられずに放置で育ったからだそうです。 だから結婚するときも子どもはなしでいいならと言われました。 そのつもりで過ごしてきたんですが、周囲や兄弟に子どもが生まれると、自分の子どもに会いたい気持ちが出てきてしまって・・・ 散々揉めて、妻からは約束が違うし卑怯だと言われましたが、育児は自分がするからと頼み込んで避妊をやめました。 妻は書類にしたんです。 産休はもちろん妻がとるけど育休は僕がとるとか。 保育園の手続きから送り迎えから全部僕がやるとか。 妻は家事と仕事。 僕は
自民 甘利氏“少子化対策の財源 消費税率引き上げも検討対象” | NHK
今後の少子化対策を進めるための財源について、自民党の税制調査会で幹部を務める甘利前幹事長は、将来的な消費税率の引き上げも検討の対象になるという認識を示しました。 岸田総理大臣は、先の記者会見で「異次元の少子化対策に挑戦する年にしたい」と述べたうえで、児童手当を中心にした経済的支援の強化などの検討を進める方針を示しました。 これに関連して自民党の甘利前幹事長は、5日夜出演したBSテレ東の「日経ニュースプラス9」で「岸田総理大臣が少子化対策で異次元の対応をすると言うなら、例えば児童手当なら財源論にまでつなげていかなければならない」と指摘しました。 そのうえで「子育ては全国民に関わり、幅広く支えていく体制を取らなければならず、将来の消費税も含めて少し地に足をつけた議論をしなければならない」と述べ、少子化対策を進めるための財源として、将来的な消費税率の引き上げも検討の対象になるという認識を示しまし
Colaboの件を新聞が扱わないのはそのレベルのニュースだから
酒造唯@「誰が科学を殺すのか」科学ジャーナリスト賞2020を受賞 @yuishuzo Colabo、本紙で扱ったのは産経だけ（第3社会面2段）。朝毎読はいずれも都内版（日経、東京は記事なし）。各社ともそのレベルのニュースだという判断で一致している。SNSから得られるニュースがいかに偏っているかを示す好例だろう 酒造唯@「誰が科学を殺すのか」科学ジャーナリスト賞2020を受賞 @yuishuzo 毎日新聞記者。「誰が科学を殺すのか」取材班で科学ジャーナリスト賞2020受賞。科学ジャーナリスト賞2023を受賞した「福井大教授「査読偽装」を巡る一連のスクープと報道」の担当デスク。いいねは賛意ではなく備忘録。全てのツイートは私個人の責任に帰します。
ハーバード大学のコンピューターサイエンスの講義（日本語版）が無料公開されている件「聞き取りやすいから英語も勉強できる」
QDくん⚡️Python x 機械学習 x 金融工学 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。 pic.twitter.com/XyBBslyeBa QDくん⚡️AI関連の無料教材紹介 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
JR西日本への意見書（2022年11月にJR大阪駅で掲示されたYostar社の駅広告について） - CLick for Anti War 最新メモ
西日本旅客鉄道株式会社 御中 JR大阪駅の御堂筋口前通路において、2022年11月27日まで掲示されていたYostar社の広告(※)に関連して、御社に意見書を提出します。この意見書には、御社およびJR西日本グループ傘下企業に対する批判・苦情・改善提案が含まれています。 ※同社のスマホゲーム『雀魂』のポスター群で、アニメ『咲-Saki-全国編』とのコラボ企画を告知するもの。 この意見書の執筆者である私は、仕事や生活でJR西日本の交通機関を利用している既婚男性です。アニメ・マンガ・ゲーム・映画・小説・歴史・政治・戦記などのオタクでもあります。 なお、この意見書には「性的な表現」「犯罪」「暴力」「暴言」「飲酒」に関する記述が含まれます。それらが苦手な方のために、まずは概要のみをお伝えします。 【意見書の概要】 御社に以下の意見を提出します。 「ＪＲ西日本グループ人権基本方針」、およびSDGsの一
山田邦子、Ｍ－１審査員終えた思いを独占激白 採点基準や批判の声、審査員の〝舞台裏〟も赤裸々に（よろず～ニュース） - Yahoo!ニュース
ウエストランドの優勝で幕を閉じた漫才日本一決定戦「Ｍ―１グランプリ２０２２」で、初めて審査員を務めたタレント・山田邦子の採点が、大いに話題となった。山田は決勝戦終了直後、よろず～ニュースの単独取材に応じ、審査やコメントの真意、大会全体への思いなどを赤裸々に語った。 【写真】Ｍ―１の第１８代王者に輝き、喜びを爆発させたウエストランド 今年の審査員は、常連のオール巨人と上沼恵美子が〝引退〟を表明していたことで、例年以上の関心事となっていた。オファーを受けたのは「夏の終わり、秋の頭ぐらいだったかな」と明かし、緊張や重圧については「全然なかった」とサラッと答えた。 同じ女性芸人のレジェンドとして、上沼の後継者とも見られた。だが山田は「私は別に『上沼枠』だとも思えないし、まあ、顔のしゃくれ具合からすると『紳助枠』だったのかな？とも思いますけど」とニヤリ。「上沼さんは大先輩ですし、その後を私が務められ
「このcolabo叩きの空気が本当に怖い」への反論
https://anond.hatelabo.jp/20221211082129 このcolabo叩きの空気が本当に怖い これに反論していきたい。 そもそも気に入らないものは叩き潰していいってルールのゲームを始めたのは自身をはじめとする自身（フェミ・リベラル左派）たちはないか温泉むすめへの疑問の投げ方は乱暴だったと思う…。 普段萌え絵を見てない人だから、目についちゃったんだろうな。 で、自分のものさしだけで人の趣味・大事なものにケチつけたんだなと。 notfomeのものでも、いきなり批判ではなく尊重する心を持って欲しいと思います。 仁藤さんやそれに同調する人たち（マスコミや政治家）による徹底的な批判は「乱暴」「ケチ」程度なんですねか？ なら同様のことをされても文句は言えないよね。 というか、温泉むすめに限らず、いろんなものをマスコミや政治家を動員して袋叩きしたことに比べたら、今回のことなん
“ヒゲの隊長”が苦言「防衛力の中身の説明前に増税では順番が違う」｜FNNプライムオンライン
防衛費の増額を巡り、岸田首相が1兆円強の財源を増税で充てる方針を示したことについて、11日のフジテレビ「日曜報道 THE PRIME」に出演した自民党の佐藤正久元外務副大臣は、「防衛力の中身を説明する前に増税では順番が違う」などと苦言を呈した。 佐藤氏は、「国民は、どれだけの部分の防衛力を強化するのか、まだ知らない」と述べ、増税の方針表明に先立ち防衛費の増額分の使途について明らかにするべきだったとの認識を示した上で、「防衛力の中身を説明する前に増税では、やはり順番が違う」と指摘した。 そして、「防衛が変わるということを説明した上で、どのような手だてで財源を捻出するのか、歳出改革や余剰金もあるだろうが、どれくらい足らないので増税というように、やはり手順が必要ではないかと思う」と述べた。 また、自民党内には「財源が増税かというと、『今じゃないでしょ』という人が圧倒的に多い」と明かし、「円安、物
ワールドカップ人権問題に抗議 “今は好ましくない” 田嶋会長 | NHK
20日に開幕したサッカーのワールドカップの開催地、カタールでの人権問題に対しさまざまな抗議の動きが出ていることについて日本サッカー協会の田嶋幸三会長は「今サッカー以外のことでいろいろ話題にすることは好ましくない」などと話しました。 20日にカタールで開幕したサッカーのワールドカップをめぐっては大会に出場するヨーロッパのチームからカタールでの性的マイノリティーの人たちへの扱いについて批判の声が上がっていました。 これについて22日、日本代表の練習場を訪れた日本サッカー協会の田嶋会長は「今この段階でサッカー以外のことでいろいろ話題にするのは好ましくないと思う」と述べました。 その上で、「あくまでサッカーに集中すること、差別や人権の問題は当然のごとく協会としていい方向に持っていきたいと思っているが、協会としては今はサッカーに集中するときだと思っている。ほかのチームもそうであってほしい」と話しまし
ホリエモン呆れ「ワガママすぎる」 「消費税あげるな、富裕層が負担しろ、年金はくれ、とか...」（J-CASTニュース） - Yahoo!ニュース
実業家の堀江貴文さんが2022年11月16日から18日にかけて、消費税の増税への賛成意見をツイッターで投稿している。 【写真】「また、陰謀論の馬鹿が湧いてきた」堀江氏のツイート ■「徴税の『し易さ』の話をしてる」 事の発端となったのは、堀江さんの運転手兼秘書でNHK党副党首の齊藤健一郎さんが16日にツイッターで消費税について「諸悪の根源」などと批判したこと。 堀江さんは同日にツイッターで「こんなこと言ってるから経済系ツイート伸びないんだよ」と苦言。「一番取り立てやすい税なのは間違いないやん。俺は消費税増税賛成派」とした。齊藤氏はこれに「僕が勉強してきたのが間違っているのかも、、、勉強不足です」と返信していた。 その後の投稿では、「別に莫大な社会保障費やこれから増える高齢者の医療費とか増え続ける支出を、予防医療とか移民政策とか諸々やるべきことを断行して激減させられるなら減税できるさ。でもやれ
「なぜマジメに練習してるウチの子が試合に出られないの？」親の問いに対する“顧問の金言”に共感の嵐…「結果にこだわった過程を経験してほしい」（まいどなニュース） - Yahoo!ニュース
「『なぜマジメに練習してるウチの子が試合に出してもらえないんですか？』と親から問われた顧問が、『もし嫌われたとしても、“努力が必ず報われるわけではないという現実”を教えるのも私たち大人の役目です。それに思い出づくりではなく、勝つためにやっています』と答えたという話。ぼくは好きです」 【画像】実際に投稿されたツイートを見る…「喜びも悔しさも、両方を知ってるお前が、これから一番強くなる！」 ネクタイを製造する株式会社笏本縫製の代表であるしゃくさんこと笏本達宏さん（@shakunone）が、自身の人生哲学を部活のエピソードに絡めてTwitterで紹介。そのツイートが８万以上のいいねと９千近くのリツイートが付く反響となっています。 笏本さんが紹介されているのは、とある学校の部活動での話。自身の子供が試合に出られない理由を顧問に問う親。「マジメに練習しているのに…」と生徒の親は言いますが、それに対し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
脱原発のプラカードを着けた男性が受けた「注意」 駅員やバス運転手から…どうして？：東京新聞 TOKYO Web
防衛費増額巡り 首相「国民自らの責任」 一部増税で賄う考え | 毎日新聞
渡辺輝人 🇺🇦連帯 on Twitter: "みんな書き始めたので、懲戒請求書に記載された請求者の住所を依頼者に開示して使用することについて私見を書くと、そもそも個人情報保護法の射程か疑問、仮に射程に入っても明文の除外規定があるので法違反はない。懲戒請求者が依頼者や事件関係者であればともかく第三者に対して守秘義務はない。"
