並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 726件

新着順 人気順

*algorithmの検索結果161 - 200 件 / 726件

  • 巡回セールスマン問題(TSP)の面白いと思った応用3例(色・単語・音楽) - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 巡回セールスマン問題 巡回セールスマン問題(以下TSP)についてご存知でしょうか。 完全グラフと全ての辺の移動コストが与えられた上で、全ての点を1回ずつ通り、始点に戻る巡回路の中で総移動コストが最小となる巡回路を求める組合せ最適化の問題です。 今回の記事の趣旨とは異なるため、ソルバーの詳細及びTSPを解くアルゴリズムの紹介は他の文献に譲ります。(個人的には辺の移動コストが定数でないTSP (dynamic TSP)にも興味があるので追ってまとめたいと思います。実応用としては、渋滞が発生して移動時間が変わる等の状況を考慮することに相当しま

      巡回セールスマン問題(TSP)の面白いと思った応用3例(色・単語・音楽) - Qiita
    • 画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】

        画像化したテキストから直接翻訳する全く新しいニューラル機械翻訳モデルが登場【論文速報】
      • JX通信社における実践的MLOps

        Lessons from CVE-2025-22869: Memory Debugging and OSS Vulnerability Reporting

          JX通信社における実践的MLOps
        • 書評 「統計学を哲学する」 - shorebird 進化心理学中心の書評など

          統計学を哲学する 作者:大塚 淳発売日: 2020/10/26メディア: 単行本(ソフトカバー) 本書は応用統計学にも造詣の深い科学哲学者大塚淳による統計学の哲学の入門書になる.序章では本書について「データサイエンティストのための哲学入門,かつ哲学者のためのデータサイエンス入門」だとある. これまで読んだ統計学の哲学についてはソーバーの「科学と哲学」がなかなか面白かった.本書ではソーバー本では扱っていなかった因果推論や深層学習についても論じられていて,そのあたりも勉強したいと思って手に取った一冊になる. 序章 統計学を哲学する? 序章では本書のねらいと構成が書かれている.ねらいとしては,上記の入門書というだけでなく,「統計は確固とした数理理論であり,そこに哲学的思弁が入り込む余地はない」とか「統計は単なるツールであり,深遠な哲学とは無縁だ」とかいう誤解を解きたいということが挙げられている.

            書評 「統計学を哲学する」 - shorebird 進化心理学中心の書評など
          • PromptBase | Prompt Marketplace: Midjourney, ChatGPT, Veo, FLUX & more.

            Upload your prompt, connect with Stripe, and become a seller in just 2 minutes

              PromptBase | Prompt Marketplace: Midjourney, ChatGPT, Veo, FLUX & more.
            • 地下アイドル間の関連性をネットワークとして分析したり楽曲派を可視化したりしてみた話 - 蛇ノ目の記

              地下アイドルアドベントカレンダー 12/16の記事です。メリークリスマス。 12/16の記事です。 12/16の( adventar.org 前回の更新から8ヶ月以上が経ってしまった。更新をサボっている間に名古屋に行ったり、大阪に行ったり、福島に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったりしていた。さて今年は何回名古屋に遠征したでしょうか。名古屋は近所わかる。 アイドル現場まとめは、"その月に行った現場のまとめ"に留めないと持続可能性が低いと痛感。感想などを細かく書いていくとコストが大きくなりすぎてしまう。来年からはもっと簡素にまとめたい。 それでは本題始まります。 概要 Spotify Web APIを用いて「関連アーティスト(アプリ上では"ファンの間で人気"と表示される)」を取得し、地下アイドルの関連アーティストネット

                地下アイドル間の関連性をネットワークとして分析したり楽曲派を可視化したりしてみた話 - 蛇ノ目の記
              • 最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」

                最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」:AutoML OSS入門(6)(1/4 ページ) AutoML OSSを紹介する本連載第6回は、ローコード機械学習ライブラリ「PyCaret」を解説します。さまざまな機械学習ライブラリのラッパーであるPyCaretは、データ分析のあらゆる工程でコードの行数を削減します。

                  最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」
                • GitHub - llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs

                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                    GitHub - llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
                  • Machine Learning 共通基盤構築の振り返り〜チーム立ち上げからクローズまで〜 | メルカリエンジニアリング

                    この記事は、Merpay Advent Calendar 2022 の17日目の記事です。 こんにちは。メルペイ 機械学習チームでエンジニアリングマネージャーをしているshuukです。 本日は、Machine Learning Platformチーム(以下:ML Platformチーム)をクローズした話をしていこうと思います。 MLの共通基盤という魅力的なアイディア もしあなたが、複数のMLチーム(またはMLシステム)が並行稼働している組織にいる場合、それらの共通部分を括り出した基盤を作り、MLエンジニアはその基盤の上で作業したほうが効率的だと考えたことはないでしょうか。 実際、MLの構成要素は、おおまかには特徴量計算、学習、予測、サービングといったパーツに分解することができ、共通部分も多いです。 新しいMLシステムをスクラッチで開発する苦労を知っているMLエンジニアにとって、社内共通のM

                      Machine Learning 共通基盤構築の振り返り〜チーム立ち上げからクローズまで〜 | メルカリエンジニアリング
                    • MLIR がもたらす新たな中間表現の可能性

                      はじめに 半導体の微細化が鈍化し、ハードウェアによる高速化が困難になっている現状において、ソフトウェアによる計算の高速化が喫緊の課題となっています。この状況において、特定のドメインの問題を解くことに最適化された言語であるドメイン固有言語と、そのコンパイラであるドメイン固有コンパイラの活用が望まれています。 ドメイン固有コンパイラの構築の際には、開発を容易にするために、既存のコンパイラ基盤であるLLVMを活用することが考えられます。しかし、LLVM はドメイン固有コンパイラの構築にはあまり向きません。この理由は、LLVM の成功と表裏一体の関係にあります。 LLVM が成功した理由は、コンパイラの処理を適切に分割し、独立したモジュールとして機能させたことにあります。このモジュール化において中心的な役割を果たしているのが、LLVM で用いられる中間表現(Intermediate Represe

                        MLIR がもたらす新たな中間表現の可能性
                      • Interpretable Machine Learning

                        Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo

                        • KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG

                          はじめに こんにちは。SRE部MLOpsチームの中山(@civitaspo)です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構

                            KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
                          • ZOZO推薦基盤チームの2023年の振り返りと現状 - Qiita

                            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 株式会社ZOZO 推薦基盤チームリーダーの @f6wbl6 です。この記事は「ZOZO Advent Calendar 2023」のカレンダー7の最終回(25日目)です。 この記事では、ZOZOの推薦基盤チームで私とチームメンバーがこの一年、サービス面・組織面で取り組んできたものをいくつか取り上げたいと思います。なおこの記事のタイトルと冒頭の文章は弊社 CTO 兼執行役員の @sonots が書いた以下の記事のオマージュです。 2023年以前の取り組み まず前提として、推薦基盤チームではこれまでにどのような施策を実施してきたのかを簡単に

                              ZOZO推薦基盤チームの2023年の振り返りと現状 - Qiita
                            • 東大、“世界最高性能”のディープフェイク検出AIを開発 フェイクニュースやポルノなどの悪用根絶に期待

                              東京大学大学院情報理工学系研究科の研究チームは4月26日、動画内の人物の顔が本物かどうかを判定する、ディープフェイク検出AIを開発した。このAIは、既存研究の性能を大きく上回り、世界最高性能の評価を示したという。より高い精度でディープフェイクの検出が可能になるため、悪用の根絶に期待できるとしている。 ディープフェイクを検出するAI技術の多くは、訓練時に学習した作り方に倣ったフェイク画像などしか検出できず、それ以外のものを検証する際には性能が大きく低下する問題を抱えている。 こうした未知のディープフェイクに対し、Microsoftは2020年に、疑似フェイク画像を作り、それを使った検出AIの学習方法を提案している。しかし、この手法では、非常に検出が容易な疑似フェイク画像を生成する場合があり、それらの画像を学習した検出AIは、高圧縮率による潰れた画像や、高/低露光下のフェイク画像に対して、検出

                                東大、“世界最高性能”のディープフェイク検出AIを開発 フェイクニュースやポルノなどの悪用根絶に期待
                              • 驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita

                                Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか?数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています! "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあり

                                  驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
                                • 大規模言語モデル入門 / LLM introduction (SES2023)

                                  ソフトウェアエンジニアリングシンポジウム2023 (SES 2023)

                                    大規模言語モデル入門 / LLM introduction (SES2023)
                                  • Amazonのデータセットで始める商品検索

                                    この記事は 情報検索・検索技術 Advent Calendar 2022 の7日目の記事です。 はじめに 今年の夏、Amazonが多言語 (英語、スペイン語、そして日本語) のラベル付きの商品検索のデータセットを公開しました。 論文: https://arxiv.org/abs/2206.06588 リポジトリ: https://github.com/amazon-science/esci-data 情報検索において商品検索は、ウェブ検索を作りたいという企業より商品検索を作りたい企業の方が多いという意味で、ポピュラーなトピックだと思います。ところが公開データで実験を行おうとするとドメインが違うウェブ検索のデータセットか、ラベルのない商品カタログか、ラベルはあるけど小規模なデータセットかという限られた選択肢しかなく、仕方がないので非公開の独自データセットを作って実験を行うという状況でした。

                                      Amazonのデータセットで始める商品検索
                                    • ニューラルネットワーク入門

                                      Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク(DNN:Deep Neural Network)を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう(2022/02/09) 本連載(基礎編)の目的 ・本連載(基礎編)の特徴 ニューラルネットワークの図 訓練(学習)処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数:シグモイド関数 ・活性化関数:恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備:関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播(2022/02/16)

                                        ニューラルネットワーク入門
                                      • OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog

                                        地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を経て、ローカルLLMを中心としたAIソリューションを主軸に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、性的違和の治療に一歩足を踏み出しています。 【IIJ 2022 TECHアドベントカレンダー 12/8(木)の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました

                                          OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
                                        • AI Project Management Flow and Build Trap Review

                                          不確実性の高い機械学習プロジェクトを自己組織化されたチームで健全かつ最大化されたゴールに向かうために

                                            AI Project Management Flow and Build Trap Review
                                          • 数学者が書いた深層学習講義 数学と錯視の科学館電子出版部

                                            大学1年で学ぶ微分と行列を使って,特に畳み込みニューラルネットワークの深層学習の基礎事項を数学的厳密性を重視して解説します.数学はどのようになっているのだろうか,という疑問を持たれた場合に参考になることを目指しています.適宜,改訂版・増補版を発信していく予定です。更新はこのサイトに掲載していきます。 公開日 2025/1/6. Ver. 1.2 (2025/1/7) typo. Ver. 1.3 (2025/1/8)typo. Ver. 1.4 (2025/1/10) 文の微小修正 最新版 Appendix Ver. 1.3(2025/1/12) 文の追加 ブラウザーによっては pdf が文字化け等する場合があります。その場合は pdf をダウンロードしてご覧ください。 引用の際は 新井仁之, 数学者が書いた深層学習講義,畳み込みニューラルネット篇,MATLABプログラム付き,2025.

                                            • 大規模言語モデルを作る、拡張する

                                              大規模言語モデルの作りかたを 1. 事前学習 (Pre-Training) 2. 事後学習 (Post-Training) 3. モデル選定・評価 (Model Selection / Evaluation) に分けてご紹介します。 https://dbsj.org/dbsj_le…

                                                大規模言語モデルを作る、拡張する
                                              • 図とコードで必ず分かるニューラルネットワークの逆伝播

                                                連載目次 本稿は、ニューラルネットワーク(以下、ニューラルネット)の仕組みや挙動を、数学理論からではなくPythonコードから学ぶことを目標とした連載(基礎編)の第2回です。「難しい高校以降の数学は苦手だけど、コードを読んでロジックを理解するのは得意!」という方にはピッタリの記事です。 前回の第1回では、本連載の目的や特徴を示した後で、「ニューラルネットの訓練(学習)処理を実現するために必要なこと」として、 ステップ(1)順伝播: forward_prop()関数として実装(前回) ステップ(2)逆伝播: back_prop()関数として実装(今回) ステップ(3)パラメーター(重みとバイアス)の更新: update_params()関数として実装(次回)。これによりモデルが最適化される という3大ステップを示しました。前回はこのうちの「ステップ(1)順伝播」まで実装が完了しています。今回

                                                  図とコードで必ず分かるニューラルネットワークの逆伝播
                                                • トップカンファレンスにおけるデータセットシフトと機械学習 - Ridge-institute R&D Blog

                                                  こんにちは,株式会社Ridge-iのリサーチチームの@machinery81です. 今回はNeurIPS2020で発表されたデータセットシフトを扱う機械学習に関連する論文を紹介します. 本記事は,Ridge-i主催の論文読み会で発表した以下の資料に基づいています. TL;DR 機械学習におけるデータセットシフト Covariate Shift Target Shift Concept Shift Domain Shift Sample Selection Bias Taxonomy of NeurIPS2020 papers about Dataset Shift 論文紹介 Rethinking Importance Weighting for Deep Learning under Distribution Shift Importance Weighting for Distribut

                                                    トップカンファレンスにおけるデータセットシフトと機械学習 - Ridge-institute R&D Blog
                                                  • Algorithms for Decision Making

                                                    • Introducing Distance Correlation, a Superior Correlation Metric. | Towards Data Science

                                                      Table of Content Introduction What is Distance Correlation? Mathematics behind Distance Correlation Implementing Distance Correlation in Python Introduction I think we can agree that one of the most commonly used measures in business is correlation, more specifically, Pearson’s correlation. To recap, correlation measures the linear relationship between two variables, and that in itself is already

                                                        Introducing Distance Correlation, a Superior Correlation Metric. | Towards Data Science
                                                      • Go1.19で採用された Pattern-defeating Quicksort の紹介

                                                        今回はPattern-defeating Quicksortの論文を読んでいき、Goでどのように実装されているか簡単に見ていく

                                                          Go1.19で採用された Pattern-defeating Quicksort の紹介
                                                        • 序盤に試すテーブルデータの特徴量エンジニアリング

                                                          この記事はKaggle Advent Calendar 2021の4日目の記事です. はじめに この記事ではテーブルデータコンペティションにおいて,主に数値データ,カテゴリデータをもとに特徴量を作成する方法をまとめました.発展的な内容というより,初めてコンペに参加する方でも使える汎用的な特徴量エンジニアリングを紹介します. 特徴量エンジニアリング!...そのまえに モデルについて 特徴量エンジニアリングはモデルによって処理が変わることがあります. 例えば勾配ブースティング決定木(GBDT)といった決定木はスケーリングする必要がなく,またLightGBMなどは欠損値をそのまま扱うことができます.一方でニューラルネットワーク(NN)や線形回帰モデルはスケーリングおよび欠損値補完をする必要があります. このこと以外にも,決定木は各特徴量間で差や比率を表現することが苦手であるために明示的に作る必要

                                                            序盤に試すテーブルデータの特徴量エンジニアリング
                                                          • SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ

                                                            皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し,新しく検閲システムを開発したお話になります. こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります. ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい. tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので,前編と後編の2つに分けて紹介することにします. 前編:SageMaker TrainingJobを用いたモデル学習を行い,SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak

                                                              SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編) - コネヒト開発者ブログ
                                                            • ベクトル埋め込みの最適化によるアイデンティティを保ったキャラクター生成 Preferred Networks Research & Development

                                                              本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学(確率論・数値解析)の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で

                                                                ベクトル埋め込みの最適化によるアイデンティティを保ったキャラクター生成 Preferred Networks Research & Development
                                                              • SVMは復権し得るか? - 渋谷駅前で働くデータサイエンティストのブログ

                                                                Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR(サポートベクター回帰)を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと思ったのでした。 しかし、よくよく考えてみればかのVapnik御大がかつてSVMを考案する際にベースとしたアイデアはNNとは方向性の違う代物だったわけです。故に、例えばSVMとNNとがどのような点で異なるかが「見える化」出来れば、SVMが復権するための条件のようなものが見えてきそうです。 ということで、久しぶりに「サンプルデータで試す機械学習シリーズ」をやってみようと思います。実はDNNについては6年前にも似たようなことをやっているのですが、SVMとDNNとでサンプルサイズを変えながら比較するというのはやったこ

                                                                  SVMは復権し得るか? - 渋谷駅前で働くデータサイエンティストのブログ
                                                                • 人工知能(ChatGPT)と対話してレポートを書いてみた

                                                                  Reading Monkey ChatGPTについてブログ記事を書こうと思います。アドバイスしてください。 ChatGPT ChatGPTは、自然言語処理タスクのためのトランスフォーマー・ベースのモデルで、大量のテキストデータを学習しています。 ブログ記事を書く際には、ChatGPTの特徴や使用方法について説明し、実際に使用した例や、改良の余地などについても触れることが有益でしょう。また、ChatGPTが扱えるタスクや利用可能な言語についても説明することで、記事の内容を充実させることができます。 Reading Monkey ChatGPTの特徴を5歳の子供にも分かるように説明してください ChatGPT ChatGPTは、大量の文章を読んで、人間のように文章を書くことができるコンピュータープログラムです。 例えば、あなたが「私は犬が好きだ」と言ったら、ChatGPTは「なぜ犬が好きなの?

                                                                  • 金持ちの研究所から出てきた機械学習の論文なんてゴミだ

                                                                    [D] I don't really trust papers out of "Top Labs" anymore : MachineLearning あのさ。書いてある数字は事実だろうし実際書いてある研究はやったんだと思うよ。そこんとこは認めてやるよ。でもそれだけだ。例えば最近の"An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems"(巨大マルチタスク学習システムに対するタスクの動的追加における進化的アプローチ、著者Andrea Gesmundo, Jeff Dean、GoogleのAI部署所属)って論文だがな。この18ページの論文は超複雑で進化的なマルチタスク学習アルゴリズムについて書いてあって興味深いし、実際問題を解決してるさ。でも二点ツッ

                                                                    • 単語を箱で表現!新たな埋め込み手法 Box Embedding を基礎から理解

                                                                        単語を箱で表現!新たな埋め込み手法 Box Embedding を基礎から理解
                                                                      • 四畳半のオフィスで70億パラメータのLLMを事前学習した話|Lightblue

                                                                        はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語

                                                                          四畳半のオフィスで70億パラメータのLLMを事前学習した話|Lightblue
                                                                        • Numeraiで学ぶ金融時系列モデル評価指標

                                                                          雨にも負けず 風にも負けず 冬にも 夏の過熱相場にも負けぬ ロバストな予測を持ち 強欲はなく 決して悲観せず いつも静かに利益を重ねている ... そう言うモデルを 私は作りたい by ??? (20??年) 前書き こんにちは。日本爆損防止委員会です(さっき考えた)。 さて、皆さんは今日も今日とて爆損を垂れ流していらっしゃると思います。その原因は様々あろうかと思いますが、そもそも「原因がわからない」という方がほとんどではないでしょうか。 爆損しているのに原因がわからない、というのは、言うまでもありませんが大変なストレスです。楽しい思いをしようと小さな島に遊びに行ったら殺人事件が起きて誰が犯人かわからないけど容疑者の人たちと一緒に暮らさないといけないイメージです(?)。 どうせ爆損するなら、「あーワイのモデルはこういう市況に弱いことが検証でもわかってて、今はその市況だから爆損なんやー」と原

                                                                            Numeraiで学ぶ金融時系列モデル評価指標
                                                                          • SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life

                                                                            LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの?と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbというnotebookがあって、冒頭を機械翻訳すると以下となる。 よくあるワークフローは、あるデータを埋め込みに基づいてインデックス化し、新しいクエリの埋め込みがあれば、k-Nearest Neighbor検索で最も類似した例を検索することです。例えば、大規模な論文コレクションをその抄録に基づいて埋め込み、興味のある新しい論文を与えると、その論文に最も類似した論文を検索することが想像できます。 私の経験では

                                                                            • BERT を使った文書検索手法 Birch について解説 - Qiita

                                                                              Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 情報検索・検索技術 Advent Calendar 2021 の 11 日目の記事です。前回は @sz_dr さんの「ちょっとテクい検索ランキングをVespaで実現する」でした。 この記事では BERT を使った文書検索手法 Birch について解説します。 先日、「最新の情報検索手法を知るにはどうしたらいいの...という人に向けたコンテンツまとめ記事2021」という記事を公開しました: 上記の記事では、ニューラル検索手法や最新の情報検索手法を知るためのコンテンツ紹介にとどめましたが、今回の記事では実際にニューラル検索手法の一つである

                                                                                BERT を使った文書検索手法 Birch について解説 - Qiita
                                                                              • 文化庁、「AIと著作権」を解説するセミナー開催へ YouTube Liveで無料配信

                                                                                文化庁は7月19日、生成AIの著作権について解説するセミナー「AIと著作権II」を開催すると発表した。開催日は8月9日で、午後2時からYouTube Liveで無料配信する。 同セミナーでは、3月19日に公表した文書「AIと著作権に関する考え方について」をさまざまな立場の人の向けて解説する。前半部では「著作権制度の基礎」と「生成AIと著作権」など基本について説明し、後半には「『考え方』を踏まえた著作権の実務対応」として実務上での扱いを説いていく。 AIと著作権に関する考え方についての文書には、パブリックコメントで集まった計2万4938件の意見も反映しており、生成AIと著作権の折り合いはどこで付けるべきかを解説している。 なおこの文書は、制作した文化庁の文化審議会著作権分科会法制度小委員会の考え方を示したもので法的拘束力はない。一方、生成AIと著作権について裁判所の判断は現在まで出ておらず、

                                                                                  文化庁、「AIと著作権」を解説するセミナー開催へ YouTube Liveで無料配信
                                                                                • 面白さ優先分類器 - ジョイジョイジョイ

                                                                                  既存の機械学習モデルの多くは予測精度を最大化することを目指しますが、本稿では面白さを優先する分類器を紹介します。 目次 目次 面白さを優先するとは 問題設定 手法 実験結果 おわりに 面白さを優先するとは 例えば、ユーザーのプロフィールから、そのユーザーが成人しているかどうかを分類する問題を考えましょう。 ユーザーのプロフィールに年齢の特徴量 age があれば、年齢が 18 歳以上かどうか (age >= 18) という分類ルールで精度 100% を達成できます。SNS では嘘の年齢を書いている可能性もありますが、大抵の人はおおむね正しい年齢を報告しているはずなので、精度 99% 程度は達成できるでしょう。この分類ルールの精度はとても高いですが面白くありません。 もっと突飛なルールを考えてみましょう。「登録メールアドレスの末尾が@ezweb.ne.jpなら成人、末尾が@icloud.com

                                                                                    面白さ優先分類器 - ジョイジョイジョイ

                                                                                  新着記事