ついに来るのか!?拡散言語モデル｜shi3z
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必
はじめに こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）と佐藤（@rayuron）です。 私たちは2024年10月14〜18日にイタリアのバーリにて開催されたRecSys 2024(18th ACM Conference on Recommender Systems)に現地参加しました。本記事では現地でのワークショップやセッションの様子をお伝えすると共に、気になったトピックをいくつか取り上げてご紹介します。 RecSysとは RecSysとは米国計算機学会（ACM）が主催する推薦システムに関する国際的なカンファレンスです。今回で18回目の開催となるRecSys 2024は2024年10月14〜18日にイタリアのバーリで開催されました。 recsys.acm.org RecSysでは推薦システムに関わる各国の大学の研究チームや、Google、Amazon、Netflix
About “Premiere” : A Monthly Apartment in Chitose City, Hokkaido
FAR EAST TRADING operates a vacation rental and monthly apartment rental in Chitose City, Hokkaido. Currently, we are experiencing high occupancy rates throughout the year, and we are deeply grateful for our guests’ continued patronage. Allow me to briefly introduce our facility. Premiere is ideally located for access to various spots in Hokkaido Our guests primarily visit for business, sightseein
Machines of Loving Grace1 How AI Could Transform the World for the Better October 2024 I think and talk a lot about the risks of powerful AI. The company I’m the CEO of, Anthropic, does a lot of research on how to reduce these risks. Because of this, people sometimes draw the conclusion that I’m a pessimist or “doomer” who thinks AI will be mostly bad or dangerous. I don’t think that at all. In fa
本年度のノーベル経済学賞が10月14日夜（18時45分頃）に公表され ・Daron Acemoglu氏（MIT） ・Simon Johnson氏（MIT） ・James A. Robinson氏（シカゴ大学） の3名が選ばれました！ Ill. Niklas Elmehed © Nobel Prize Outreach彼らの受賞理由は ”for studies of how institutions are formed and affect prosperity” 「制度がどのように形成され、繁栄に影響を与えるかに関する研究」 に対して。ノーベル賞選考委員によるプレスリリースはこちらです。 以下では、ノーベル賞の公式ウェブサイトに掲載された資料のうち、今年度の受賞者の業績を非専門家でも理解できるように分かりやすくまとめた ・Popular science background: They
本エントリは、私が書いてきた中で最も人気のある記事の再投稿である（元々は2017年にMediumで投稿したもの）。読者の中で既に読んでいた人がいたら申し訳ない。このエントリでは、私がよく人から尋ねられ、また私自身今も再検討し続けている、ある仮想的推論を扱っている。 ＊＊＊ 古代ローマ帝国で産業革命は起こり得ただろうか？ これは、ヘレン・デール（Helen Dale）が新著『邪悪な者の帝国』”Kingdom of the Wicked“〔未邦訳〕で提起している問いだ。本書を読むと、キリストは（私たちの住む世界とそう変わらない）古代ローマ世界における宗教的過激派であったのだと思わされる。デールの小説は、テロリズム、グローバリゼーション、拷問、文化の衝突に対する私たちの態度に、新しい光を投げかけている。非常におすすめだ。 一方でデールは、古代世界において持続的な経済成長は可能だったか、という問い
23 Nobel Prize-winning economists call Harris’ economic plan ‘vastly superior’ to Trump’s | CNN Politics
More than half of the living US recipients of the Nobel Prize for economics signed a letter that called Vice President Kamala Harris’ economic agenda “vastly superior” to the plans laid out by former President Donald Trump. Twenty-three Nobel Prize-winning economists signed onto the letter, including two of the three most recent recipients. “While each of us has different views on the particulars
I Solve Problems
Addendum: during the event, I was interviewed by Jason Tubnor for the BSD Now Podcast, where I provided further information about the talk and the BSD Cafe project. Here is the link to the episode This is the text underlying my presentation at EuroBSDCon 2024, on 21 September 2024, in Dublin, Ireland. The slides can be downloaded here The video, not yet separated from the live stream, can be viewe
【Midjourney】絶対覚えたい応用力抜群のカメラアングル・プロンプト7選！あなたの作品が変わる！カメラやレンズの指定方法！ ミッドジャーニー｜さきすた
【Midjourney】絶対覚えたい応用力抜群のカメラアングル・プロンプト7選！あなたの作品が変わる！カメラやレンズの指定方法！ ミッドジャーニー こんにちは！さきすたです！ 今回は様々なシーンで使えるカメラアングルのプロンプトを7選ご紹介！ カメラアングルひとつで写真のイメージはグッと変わるので、ぜひ使ってみてくださいね！ 今回の内容が画像生成を行う際の少しでも皆様の参考になれば嬉しいです！それでは、画像生成AIのテクニックを楽しく学んでいきましょう！ 今回設定したカメラやパラメータのまとめ# カメラ Canon EOS R5、DSLR camera、Sony A7R IV # パラメータ --style raw アイレベルショットアイレベルショット（Eye Level Shot）は、カメラの位置を被写体の目の高さに合わせて撮影する方法です。この撮影方法は、視聴者と被写体を同じ視点に置く
How 3 Turing Awardees Republished Key Methods and Ideas Whose Creators They Failed to Credit
LBH also have participated in other PR work that has misled many. For example, the narrator of a popular 2018 Bloomberg video[VID2] is thanking Hinton for speech recognition and machine translation, although both were actually done (at production time of the video) on billions of smartphones by deep learning methods developed in my labs in Germany and Switzerland (LSTM & CTC) long before Hinton's
Bifacial Solar Market Size, Share, Trends, Analysis and Forecast 2032
Report DescriptionBifacial Solar Market Forecast Bifacial Solar Market Size & Forecast The Bifacial Solar market was valued at USD 9.2 Billion in 2023 and is expected to grow at a strong CAGR of around 15.83% during the forecast period (2024-2032). The bifacial solar market is still emerging due to the increasing demand for cost-effective and renewable energy sources worldwide. Compared to the mon
Arenas are industries that transform the business landscape. Eighteen future arenas could reshape the global economy and generate $29 trillion to $48 trillion in revenues by 2040. At a glance Arenas are a unique category of industries defined by two characteristics: high growth and dynamism. They capture an outsize share of the economy’s growth, and the market shares of players within them change
India Semiconductor Market Size, Growth and Forecast to 2032
India Semiconductor Market Size & Forecast The India Semiconductor market was valued at USD 34.5 billion in 2023 and is expected to grow at a strong CAGR of around 23.1% during the forecast period (2024-2032) owing to rising demand for electronic items. India Semiconductor Market Analysis The semiconductor market in India is expected to grow in the future due to increasing usage of electronics pro
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RecSys 2024参加レポート - ZOZO TECH BLOG
Dario Amodei — Machines of Loving Grace
なぜ制度が国の豊かさを左右するのか？ 理論とデータで受賞者たちが明かす真実｜安田 洋祐
マーク・コヤマ「古代ローマで産業革命は起こり得たか？：経済成長の起源に関する３つの議論から検討する」（2024年5月11日）
The next big arenas of competition