徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
2024年6月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 米国株式市場は、直近１ヵ月 ダウ平均、▲2.44％ S&P500、＋3.37％ ナスダック総合、＋6.36％ （2024.6.19時点） と、明暗が分かれている状況です。 そのような中、セクター別のパフォーマンスが、どうなっているのか、確認していきましょう。 11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じがつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況
Command R+ is a state-of-the-art RAG-optimized model designed to tackle enterprise-grade workloads, and is available first on Microsoft Azure Today, we’re introducing Command R+, our most powerful, scalable large language model (LLM) purpose-built to excel at real-world enterprise use cases. Command R+ joins our R-series of LLMs focused on balancing high efficiency with strong accuracy, enabling b
こんにちは！タクドラたみです♪ 昨年の11月以降、米国株は、好調に順調に推移しています。 利下げ時期の後ズレ見通しにも関わらず、特にAI関連銘柄が強く、株価を押し上げています。 この記事では、11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じがつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション
2023年12月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 11月以降、米国株は、好調に推移しています。 市場が、利上げの終了と、利下げを織り込み始めたのが、大きな要因です。 この記事では、11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、この記事を読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じはつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション １「景気後退期」に強
2024年4月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 5月に入り、米国株式市場は好調ですね！ 経済指標の発表の結果から、利下げの期待感があるように感じます。 大まかには、そんな感じでのようですが、この記事では、少し深掘りし、11セクターの動向を確認していきます。 11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じがつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況 セクター別パフォーマンス「ピックアップ」 セクター
2024年4月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 4月に入り、株式市場は調整局面に入っているように感じます。 要因として、米国のインフレが高止まり傾向、雇用が強いなどで、利下げ時期が、さらに後ズレしているとか、 中東情勢が悪化に向かっているとか、言われています。 大まかには、そんな感じでのようですが、この記事では、少し深掘り、11セクターの動向を確認していきたいと思います。 内容として、11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じがつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』
東工大と産総研、英語の言語理解や対話で高い能力を持つ大規模言語モデル「Swallow」を公開 #SwallowLLM｜AICU media
今回公開したLLMは、英語の言語理解や対話で高い能力を持つ大規模言語モデル・米Meta社「Llama 2」の日本語能力を拡張することで「Swallow」を構築。拡張前の Llama2 のの高い言語処理能力を維持しながら日本語能力を強化するため、言語モデルに日本語の文字や単語などの語彙を追加したうえで、新たに開発した日本語データを用いてモデルの構築を継続的に行う継続事前学習を行った。今回、パラメータ数が70億パラメータ「7B」、130億パラメータ「13B」、700億パラメータ「70B」であるモデルを公開した。 📢 大規模言語モデル「Swallow」をHugging Face上で公開しました。東京工業大学情報理工学院の岡崎研究室と横田研究室、産業技術総合研究所の研究チームでLlama 2 7B, 13B, 70Bの日本語能力を引き上げました。13Bと70BのオープンなLLMの中で日本語の最高
2024年1月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 昨年の11月以降、米国株は、比較的順調に推移しています。 市場が、利上げの終了と、利下げを織り込み始めたのが、大きな要因です。 この記事では、11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、この記事を読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じはつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション １「景気
Google DeepMindから次世代のマルチモーダル生成AI「Gemini」が発表されました。「GPT-4を圧倒」や「人間の専門家を超えた」などの華々しい評価が発表され、驚くようなデモ動画も公開されました。 断片的な情報が飛び交う中、しっかりと技術レポートを読み解いてみます。 どんな生成AIモデル？ 定量的な評価は？ 具体例は？ Gemini - Technical Report はじめに革新的な技術が登場したとき、技術レポートや論文をしっかりと読むことが、急がば回れの近道です。華々しいデモ動画や断片的な二次情報の記事を読んでも、表層的な情報に踊らされて、技術の真の姿を読み解くことはできません。 Geminiに関しては、オープンソースではなく論文もありませんが、技術レポートが公開されています。しかし、60ページの大作であり、英語で書かれているため、多くの人が読むのをためらうでしょう。
2023年11月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション １「景気後退期」に強いセクター 『VDE（エネルギー）』上位組み入れ銘柄 ２「不況期」に強いセクター 『VHT（ヘルスケア）』上位組み入れ銘柄 『VDC（生活必需品）』上位組み入れ銘柄 『VPU（公益）』上位組み入れ銘柄 『VOX（通信）』上位組み入れ銘柄 ３「景気回復期」に強いセクター 『VFH（金融）』上位組み入れ銘柄 『XLRE（不動産）』上位組み入れ銘柄 『VGT（情報技術）』上位組み入れ銘柄 ４「好況期」に強いセクター 『XLI（資本財）』上位組み入れ銘柄 『VAW（素材）』上位組み入れ銘柄 『VCR（一般消費財）』上位組み入れ銘柄 まとめ 最後に 概況 セクター別パフォーマンス「ピックアップ」 1ヶ月と比べ、好調なセクター、不調なセクターの、ツートップは変化なし。 好調だっ
2024年7月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 米国株式市場は、直近１ヵ月 ダウ平均 ➡ ＋3.15％ S&P500 ➡ ＋2.60％ ナスダック総合 ➡ ＋3.03％ （2024.7.15時点） と、今のところ、好調のように見えます そのような中、セクター別のパフォーマンスが、どうなっているのか、確認していきましょう。 11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した「セクター別パフォーマンス」と「ピックアップ」のみ見ていただければ、おおよその感じが、つかめると思います セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！
2024年3月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
こんにちは！タクドラたみです♪ 昨年の11月以降、米国株は、好調に順調に推移しています。 利下げ時期の後ズレ見通しにも関わらず、特にAI関連銘柄が強く、株価を押し上げています。 この記事では、11セクターの「ETF」の比較と同時に、それぞれの「ETFの上位組み入れ銘柄」も記載しています。 これらが、読まれた方の「ETF」や「個別株」の投資判断の参考になれば嬉しいです。 時間のない方は、記事の始めの方に添付した、セクター別パフォーマンス「ピックアップ」と「詳細」の表のみ見てください。 なんとなく、感じがつかめると思います。 セクター比較のETFは、「ステートストリート社」の『XLRE（不動産）』『XLI（資本財）』を除き、全て「バンガード社」。 参考までに、私の保有銘柄も添えています！ 概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション
2023年10月【米国株 ETF 11セクター比較】（好調なセクター、不調なセクターが、一目瞭然！） - 『タクドラたみ』の米国株投資
概況 セクター別パフォーマンス「ピックアップ」 セクター別パフォーマンス「詳細」 セクターローテーション １「景気後退期」に強いセクター 『VDE（エネルギー）』上位組み入れ銘柄 ２「不況期」に強いセクター 『VHT（ヘルスケア）』上位組み入れ銘柄 『VDC（生活必需品）』上位組み入れ銘柄 『VPU（公益）』上位組み入れ銘柄 『VOX（通信）』上位組み入れ銘柄 ３「景気回復期」に強いセクター 『VFH（金融）』上位組み入れ銘柄 『XLRE（不動産）』上位組み入れ銘柄 『VGT（情報技術）』上位組み入れ銘柄 ４「好況期」に強いセクター 『XLI（資本財）』上位組み入れ銘柄 『VAW（素材）』上位組み入れ銘柄 『VCR（一般消費財）』上位組み入れ銘柄 まとめ 最後に 概況 セクター別パフォーマンス「ピックアップ」 1ヶ月と比べ、好調なセクター、不調なセクターの、ツートップは変化なし。 好調だっ
GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」（アスキー） - Yahoo!ニュース
カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。非営利目的に限りモデルおよび重みのダウンロードも可能。 【もっと写真を見る】 カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社
6000円で秋葉原で買ったジャンク業務用タブレットLT-WMT10HにUSBメモリからUbuntu22.04を起動して遊んでみた。普通に動いた。面白いけど重い。ラフに扱っても壊れない長所
業務用タブレットでUbuntu。普通に動きました。古いですけどLinuxなら普通に動きます。多少ラフに扱っても壊れないのでそういう用途に。ちょっと重量が重いですが・・・
Llama 3 Swallow Llama 3 SwallowシリーズはMeta Llama 3の日本語能力を強化した大規模言語モデル (8B, 70B) です。すべてのモデルのパラメータ（重み）がHuggingFace上で公開されていますので、Meta Llama 3 Licenseに従う限り、研究や商業目的などで利用できます。 View on HuggingFace Llama 3 Swallowは東京工業大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発された大規模言語モデルです。オープンな大規模言語モデルの中で高い性能を示すMeta Llama 3 8Bと70Bに対して、研究チームはSwallowコーパスで継続事前学習を行い、日本語能力をさらに引き上げました。研究チームで実施した性能評価では、オープンな大規模言語モデルの中で、日本語や英語
S&P500 (SPX) Watch：Week 2023/11/12 - Be financial freedom. 経済的自由の探求
S&P500 (SPX) の週次Watchです。 指数チェック｜Weekly, 過去10週分 株価の動きチェック ヒートマップ セクター動向 感じたこと・思ったこと 参考書籍：FACT FULNESS, Hans Rosling 指数を見て ヒートマップから セクター動向、ローテーション セクターローテーションの図 引用元 ランキング・宣伝など 指数チェック｜Weekly, 過去10週分 株価の動きチェック ヒートマップ 1week セクター動向 買ってみたい＆保有しているセクターなどの最近1年間の週足を眺めてみます。 グラフはInvesting.comで簡単に作れます。 感じたこと・思ったこと データを見た感想を書き留めていきます。 参考書籍：FACT FULNESS, Hans Rosling 「FACT FULNESS 10の思い込みを乗り越え、データを基に世界を正しく見る習慣」、ハ
(English part follows Japanese one.) SD-XL 1.0-jp-base Model Card 総計5.8Bのパラメータを持つ画像生成モデル，SDXLを日本語入力に対応させたモデルです．ここではベースモデル(stable-diffusion-xl-base-1.0)の日本語対応版を公開しています． 学習戦略 ファインチューニング stable-diffusion-xl-base-1.0に使われているテキストエンコーダである，OpenCLIP-ViT/G, CLIP-ViT/Lのみをファインチューニングすることにより，日本語入力に対応したテキストエンコーダを学習した．具体的には，英語のデータセットで学習されたオリジナルのテキストエンコーダに対して，英文を入力した際の出力(hidden states)と，新たに学習する日本語テキストエンコーダに同じ意味の日本
こんにちは、シーラカンスです。 ここ最近、株を買うことが出来ていません。仕事を辞めた（有休消化中です）のもありますし、今月にマイカーの車検もあるためです。 しかし、それでも「保有」だけは続けています。 「何もしない（休むも相場）」 ・・・これもまた、一つの「戦略」と言えるかもしれません。 売ったり買ったりだけが、投資ではないためです。 また、「放っておいても大丈夫」な銘柄しか持っていないためです。 私は米国株を主力としていますが、投資への姿勢はETFや投信を持つ人に近いかもしれません。 今回は、「投資スタイル」について書こうと思います。 ■自分の資産を簡潔に説明できますか 私・シーラカンスは、 ・米国株12社 ・英国株4社 ・優待狙いの国内株2社（地方のスーパー） ・定期預金少々 という形で保有しています。 全て個別銘柄であり、一言で説明するなら「株8割・現金2割」となります。 私の場合、
こんにちは、シーラカンスです。 先日、転職活動用にスーツを注文してきました。 私・シーラカンスは、今までずっと作業服などを着る仕事をしていましたから、スーツを持っていなかったのです。もちろん、今勤めている会社の面接はスーツを着ましたが、サイズが合わなくなり、処分してしまったのです。 そのため、洋服の青山に行き、２万円くらいの紺のスーツを注文してきました。これなら無難であり、どんな会社の面接にも行けますね。我ながら、自分に合ったスーツを選べた気がします。 スーツ以外にも、Ｙシャツやベルトなども買ったため、全部で４万円以上の買い物となりました。転職活動って、なかなかお金がかかるのですね・・・。 さて、今回は私の保有株の一つ、「PLANT」についてお伝えします。 ■米国株だけに固執しない・・・優待株もいいじゃない 私・シーラカンスは元々米国株を専門に買っていますが、２社だけ日本株を保有しています
Google の新たな生成AIモデル Gemini を技術的観点で解説 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は Google から発表された Gemini のテクニカルレポートについて、ご紹介します。 こんにちは、株式会社ブレインパッドの辻、株式会社TimeTechnologiesの濵田です。 現在ブレインパッドではLLM関連の論文調査を行なっているのですが、今回は論文ではなく先日 Google から発表された Gemini のテクニカルレポートについて解説を行なっていきたいと思います。 目次 Gemini とは ベンチマークによる性能比較 クロスモーダルな推論能力 モデルファ
はじめに 最近、毎日のように新しいLLM（Large Language Models）が登場しており、特に国内ベンダが出している日本語に特化したLLMは、それぞれが最も高い精度を有していると謳っています。しかし、LLMの精度を比較する際に使用される自然言語処理のタスクや代表的なデータセットについての詳細な知識がないため、その精度の実際の意味を完全に理解することが困難です。このため、主要なタスクとデータセットについて調査し整理しました。自然言語処理の専門家ではないため、記載内容に誤りがある可能性があります。誤りを指摘していただければ、随時修正いたします。 整理するのに参考にしたのは、下記の論文です。 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond この論文に記載されている４つのタスク、「自然言語
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
Introducing Command R+: A Scalable LLM Built for Business
2024年2月【米国株 ETF 11セクター比較】 - 『タクドラたみ』の米国株投資
Geminiの技術レポートを読み解く〜生成AIの最前線｜Ray | 旅する魔法使い
Llama 3 Swallow – Swallow LLM
cl-tohoku/stable-diffusion-xl-jp-base-1.0 · Hugging Face
投資の軸・・・自分のスタイルはありますか - シーラカンス財団
保有株が値上がり・・・7646 PLANT - シーラカンス財団
LLM（大規模自然言語処理）のタスクとデータセット - Qiita