並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 541件

新着順 人気順

*algorithmの検索結果281 - 320 件 / 541件

  • PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換する - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 日本語 English 1. はじめに いつも左中間を狙うようなプチニッチなふざけた記事ばかりを量産しています。 この記事の手順を実施すると、 最終的に PyTorch製 高精度Semantic Segmentation の U^2-Net を TensorFlow Lite へ変換することができます。 下図のような感じです。 TensorFlow めちゃくちゃ扱いにくいです。 日々公開される最新のとても面白いモデルは軒並みPyTorch実装ですし、なんでTensorFlowで実装してくれないんだ!! と、常日頃思っています。 論文のベ

      PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換する - Qiita
    • グラフを用いた近似最近傍探索の理論と応用

      NLP若手の会 (YANS) 第18回シンポジウム (2023) チュートリアル https://yans.anlp.jp/entry/yans2023 松井 勇佑(東京大学)https://yusukematsui.me/ 近似最近傍探索とは、「似ているベクトルを探す」というシンプルかつ基…

        グラフを用いた近似最近傍探索の理論と応用
      • 最近の登壇資料と出版予定の書籍、インタビュー記事 - c-bata web

        最近は勉強会での登壇や書籍の出版などアウトプットが色々重なりました (昨年は一度もプロポーザルを書かず登壇依頼もなかったので随分増えました)。 そのたびにツイートもしてきましたが、ほとんど流れてしまって少しもったいない気がしたのでブログにまとめておこうと思います。 登壇資料 PyData.Tokyo Meetup #23「サイバーエージェントにおけるMLOpsに関する取り組み」 Optuna Meetup #1「CMA-ESサンプラーによるハイパーパラメータ最適化」 World Plone Day「Web パネルディスカッション(Python Webと非同期)」 CA BASE NEXT「サイバーエージェントにおけるMLOpsに関する取り組み」 書籍 実践Django Pythonによる本格Webアプリケーション開発(翔泳社:7月19日発売) エキスパートPythonプログラミング改訂3版

          最近の登壇資料と出版予定の書籍、インタビュー記事 - c-bata web
        • Shinichi Takaŷanagi on Twitter: "”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP"

          ”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP

            Shinichi Takaŷanagi on Twitter: "”仕事ではじめる機械学習”的な内容の論文。「運用が難しいモデルはやめとけ」や「MLモデルにもテストをちゃんと書け」など大学での教育では見落としがちな内容を示唆している Return on Investment in Machine… https://t.co/RWPhVwYQEP"
          • BERTを用いた教師なし文表現 - Retrieva TECH BLOG

            こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法SimCSEを紹介します。 背景・概要 手法 要因 実験 NLIタスクによる実験 クラスタリングによる実験 終わりに 背景・概要 自然言語処理は、昨今様々な領域へ応用することが期待されていますが、特に企業での応用においては、ラベル設計が出来ず、教師あり手法が使えない場面に遭遇することが多々あります。そんな場面で、きっと助けになってくれるのが教師なし手法です。特に、文の類似度については、様々なタスクやデータ作成に際して便利に使える場合があります。 近年、BERTなどの大規模事前学習済み言語モデルが出てきていましたが、教師なしの文類似度タスクの場合、BERTを使って単語をベクトルに変換し、そのベクトル

              BERTを用いた教師なし文表現 - Retrieva TECH BLOG
            • 大規模言語モデル時代のHuman-in-the-Loop機械学習

              画像の認識・理解シンポジウム(MIRU2023)チュートリアル

                大規模言語モデル時代のHuman-in-the-Loop機械学習
              • Whisperを使ったリアルタイム音声認識と字幕描画方法の紹介 | さくらのナレッジ

                OBS WebSocketの設定 OBSのWebSocket機能を有効にします。WebSocket機能は比較的新しい機能で、使ったことがない方も多いと思います。LAN内のコンピュータからOBSの各種プロパティを取得・変更できます。各種プログラミング言語から直接APIを呼べるので、「音声認識の結果を即時に画面に反映する」ような、頻繁に変更される値の更新に適しています。 設定方法は、OBSのメニューから「ツール」-「obs-websocket設定」をクリックし、出てきたダイアログの一番上のチェックボックス「WebSocketサーバーを有効にする」をオンにします。そして「パスワードを生成する」を押します。後述のプログラムで定数として使用します。これでWebSocket機能を使用できるようになります。 Pythonのプログラムから字幕変更 PythonのプログラムからOBSにWebSocketで接

                  Whisperを使ったリアルタイム音声認識と字幕描画方法の紹介 | さくらのナレッジ
                • Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる! - Qiita

                  Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる!言語モデルflanUL2YiTay こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日は昨日公開されたFLAN-20B with UL2を使ってChatGPT APIのように会話をしてみたいと思います。 概要 Google BrainのYi Tayさんらが開発した新しく公開された言語モデルのFLAN-20B with UL2を使ってChatbotみたいな対話をしてみるテストです。 翻訳を組み合わせて実現します。デカ言語モデルが手元で動いてめちゃくちゃ嬉しさがあります。 Google Colab Colab ProのプレミアムGPUでないと動きません 使い方 ランタイム > ランタイムのタイプを変更からGPU / プレミアムとする A100 4

                    Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる! - Qiita
                  • Tribuo: Machine Learning in Java

                    Tribuo* is a machine learning library written in Java. It provides tools for classification, regression, clustering, model development, and more. It provides a unified interface to many popular third-party ML libraries like xgboost and liblinear. With interfaces to native code, Tribuo also makes it possible to deploy models trained by Python libraries (e.g. scikit-learn, and pytorch) in a Java pro

                      Tribuo: Machine Learning in Java
                    • SushiGAN2 〜この寿司は実在しません〜 - Qiita

                      はじめに 2年ほど前,私はGANというものに出会って感銘を受け,Qiitaで『SushiGAN 〜人工知能は寿司を握れるか?〜』というちょっと釣りっぽいタイトルの記事を書きました.中身はChainerのexampleにあったDCGANの実装を寿司の画像で学習させてみるというもので,下のようなモード崩壊気味の寿司画像を作って満足していました. あれから2年あまりが経ち,画像生成の技術は驚くべき発展を遂げました1.StyleGAN,そしてStyleGAN2が登場し,すぐには見分けがつかないほどの品質で1024x1024の人の顔の画像が生成できるようになりました [1].そのインパクトは凄まじく,"This Person Does Not Exist"を皮切りに,GANで生成したリアルな偽物のサンプルをランダムに表示するWebサイトがちょっとした流行になりました.いくつか例を挙げると,次のような

                        SushiGAN2 〜この寿司は実在しません〜 - Qiita
                      • 他人のPCで仮想通貨マイニングする攻撃を防ぐIntelとMicrosoftの技術

                          他人のPCで仮想通貨マイニングする攻撃を防ぐIntelとMicrosoftの技術
                        • 広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog

                          こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更

                            広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog
                          • GitHub - lucidrains/deep-daze: Simple command line tool for text to image generation using OpenAI's CLIP and Siren (Implicit neural representation network). Technique was originally created by https://twitter.com/advadnoun

                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                              GitHub - lucidrains/deep-daze: Simple command line tool for text to image generation using OpenAI's CLIP and Siren (Implicit neural representation network). Technique was originally created by https://twitter.com/advadnoun
                            • なぜ今AI倫理なのか? AIがもたらす「意図しない結果」を防ぐために開発者ができること

                              なぜ今AI倫理なのか? AIがもたらす「意図しない結果」を防ぐために開発者ができること:エンジニアが知っておくべきAI倫理(1) 正しくAIを作り、活用するために必要な「AI倫理」について、エンジニアが知っておくべき事項を解説する連載。初回は、AIの普及により浮き彫りになった課題と、AI開発プロセスに内在するリスクについて。 スマートフォン、スマートスピーカーに搭載されている音声アシスタントやお掃除ロボットなど、身の回りのさまざまなところにAI(人工知能)が導入され、私たちの生活は今まで以上に便利になっている。だが、新しい技術であるが故に、AIのブラックボックス化やAIによる差別の助長など、今までなかったような新たな課題が見えつつある。本連載では正しくAIを活用するための手法である「AI倫理」について解説する。 今回はまず、AIの普及により浮き彫りになった課題と、AI開発プロセスに内在する

                                なぜ今AI倫理なのか? AIがもたらす「意図しない結果」を防ぐために開発者ができること
                              • Redirect

                                  Redirect
                                • ラベルなしデータを用いた Dense Tracking の研究事例 / Learning Dense Tracking from Unlabeled Videos

                                  社内勉強会での発表資料です。 ラベルなし動画を用いて画素レベルでのトラッキング(dense tracking)を学習する研究事例を紹介します。 近年では、応用先である Video Object Segmentation において教師あり手法に匹敵する性能を持った教師なし手法が提案されつつあり…

                                    ラベルなしデータを用いた Dense Tracking の研究事例 / Learning Dense Tracking from Unlabeled Videos
                                  • 量子計算のQmod言語の仕様を眺めて少し触ってみた感想 - Insight Edge Tech Blog

                                    こんにちは! Insight Edge分析チームの梶原(悠)です。 最近ひょんな経緯で量子計算用のQmodという言語のフィジビリ兼ゆる勉強会に顔を出しています。 Qmod言語 1 はclassiq社という量子ベンチャーが提供している無償ツールで、簡便に量子アルゴリズムを実装できる高水準言語をうたっています。 私は量子計算について何も知らない素人ですが、基本的なpythonと線形代数の知識があれば使えるとのことで、量子畑の人たちにあれこれ教えていただきながら、すこし触ってみました。 量子計算に興味や前提知識はないが、技術動向はある程度把握しておきたいと考える技術者の読み手を想定して、言語仕様の一部やツールに触れてみた感想などを書きます。 目次 はじめに Qmod言語の仕様調査 回路生成の試行 感想 はじめに 量子計算とは 古典的なコンピュータにおけるCPUのレジスタは一刻にひとつの状態しか取

                                      量子計算のQmod言語の仕様を眺めて少し触ってみた感想 - Insight Edge Tech Blog
                                    • ONNX 2020 - OPTiM TECH BLOG

                                      R&D チームの奥村(@izariuo440)です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt

                                        ONNX 2020 - OPTiM TECH BLOG
                                      • ABCIの大規模言語モデル分散学習ハッカソンを振り返る

                                        7月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 (9日間) 場所: オンライン(初日・最終日はオフラインとのハイブリッド開催) 参加数: 20チーム 提供リソース: Vノード(1000 ABCIポイント) サポート: チューター(言語モデルや機械学

                                          ABCIの大規模言語モデル分散学習ハッカソンを振り返る
                                        • kotoba-whisper, ReazonSpeech, Nue-ASRの文字起こし性能を比較してみた | 株式会社AI Shift

                                          はじめに こんにちは、AIチームの大竹です。 最近、高性能な日本語音声認識モデルのリリースが相次いでいます。普段、音声認識を用いたプロダクト開発をしている中で、各モデルの音声認識性能や推論速度がどれくらいのものなのか気になったので簡単な実験をして性能を比較してみました。 書き起こしや評価周りの実装も記載しているので参考にしていただけたら幸いです。 モデルの直近のリリースをまとめると、以下のようになっています。ReazonSpeechコーパスのリリースを皮切りに日本語に特化した音声認識モデルの開発の勢いが加速しているように思えます。ReazonSpeechコーパスは、地上波テレビ放送から収集された音声に基づいて構築されています。v1では19,000時間、v2では35,000時間の音声が含まれていて、日本語音声認識モデルの学習リソースとしては世界一の規模となっています。 公開時期 モデル名 公

                                            kotoba-whisper, ReazonSpeech, Nue-ASRの文字起こし性能を比較してみた | 株式会社AI Shift
                                          • 次世代「アイサイト」に向けた AI 開発をマネージドな 機械学習プラットフォーム Vertex AI でスピードアップ | Google Cloud 公式ブログ

                                            Google Cloud を試す$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう 無料トライアル 2030 年までに自社製乗用車による「死亡交通事故ゼロ※」を掲げる株式会社SUBARU。2020 年 12 月には東京渋谷に AI 開発拠点「SUBARU Lab(スバルラボ)」を開設し、運転支援システム「アイサイト」の安全性をさらに向上させる研究開発を加速させています。そんな同社が 2019 年に Google Cloud を導入したのにはどういった背景があったのか。SUBARU Lab の中核メンバーとして AI 開発を担う 2 人のエンジニアにお伺いしました。 ※SUBARU乗車中の死亡事故およびSUBARU車との衝突による歩行者・自転車等の死亡事故をゼロに 利用している Google Cloud サービス Vertex AI、

                                              次世代「アイサイト」に向けた AI 開発をマネージドな 機械学習プラットフォーム Vertex AI でスピードアップ | Google Cloud 公式ブログ
                                            • https://twitter.com/zatazata/status/1572376514364346370

                                                https://twitter.com/zatazata/status/1572376514364346370
                                              • 【後藤弘茂のWeekly海外ニュース】 NVIDIA Ampereにおけるプルーニング対応の特徴

                                                  【後藤弘茂のWeekly海外ニュース】 NVIDIA Ampereにおけるプルーニング対応の特徴
                                                • 【US版Google公式ブログ記事】テック専門家に聞く:機械学習モデルはどのように自らを説明するのか? | AI専門ニュースメディア AINOW

                                                  HOME/ AINOW編集部 /【機械学習の解釈可能性】テック専門家に聞く:機械学習モデルはどのように自らを説明するのか?【Google公式ブログ】 US版Googleブログ記事のひとつ『テック専門家に聞く:機械学習モデルはどのように自らを説明するのか?』では、同ブログ編集部のスタッフのひとりであるAndrea Lewis Åkerman氏が、Googleに在籍している研究者Been Kim氏に機械学習について質問した時の回答をまとめています。質問のテーマは「機械学習の解釈可能性」についてです。 「医師」のような特定の職業名が男性に関連付けられて翻訳されるような現象は、「AIのバイアス」として知られています。こうしたバイアスを緩和・除去するうえで重要となるのが、機械学習モデルがバイアスを伴った判断を下した理由を理解可能なように説明する「解釈可能性」です。 Kim氏によると、解釈可能性を実現

                                                    【US版Google公式ブログ記事】テック専門家に聞く:機械学習モデルはどのように自らを説明するのか? | AI専門ニュースメディア AINOW
                                                  • Deep Metric Learningによる、ホテルや飲食店などの拠点検索改善

                                                    1.2 なぜDeep Metric Learningにしたか 改善前のモデルでも特徴量を頑張って作れば解決できないことはないとは思います。「地名、ジャンル等に引っ張られて、拠点名指定を無視してしまう」パターンでは、クエリを解釈するロジックを入れ、地名だということを理解して地名部分のみを拠点の住所とマッチングさせて、それ以外を拠点名にマッチングさせて、という具合で特徴量を作れば正解できる可能性があると思います。しかし、これは一例で全体的に精度を上げるにはさまざまなケースを人が考慮して特徴量を作っていく必要があるので大変です。 そこで、学習データ(クエリと正解拠点のペア)が大量にあることを生かして、DNN(Deep Neural Network)がよしなに学習してくれるのに期待しました。また、プロダクト化することを考えると遅くとも数百ミリ秒以内で応答する必要があるので、クエリと拠点側をそれぞれ

                                                      Deep Metric Learningによる、ホテルや飲食店などの拠点検索改善
                                                    • 日本語 BERT RetroMAE モデルの公開と、後続検索タスクでの評価 - A Day in the Life

                                                      結果として、ほぼ全てのスコアにおいて性能向上が確認されており、RetroMAEの有益性が確認された。また学習方法も、教師なしでテキストのみを与えれば良いという手軽さも実用性が高いであろう。 RetroMAE について RetroMAEの特徴は、Masked Auto-Encoderの手法を採用しながら、以下の3つの設計を取り入れた点である。 入力文に対して異なるマスクを適用する新しいワークフロー エンコーダーとデコーダーで非対称な構造を採用 エンコーダーとデコーダーで異なるマスク率を使用 これらの工夫により、文書の意味をより深く理解し、効果的な検索を可能にする表現学習を実現している。実際の評価においても、BEIRやMS MARCOなどのベンチマークで優れた性能を示している。また高性能のマルチリンガル密ベクトルモデルの BAAI/bge-m3 も RetroMAE を用いた事前学習を行なって

                                                        日本語 BERT RetroMAE モデルの公開と、後続検索タスクでの評価 - A Day in the Life
                                                      • 機械学習デザインパターン

                                                        本書は、機械学習で繰り返し登場する課題を30のパターン(データ表現、問題表現、モデルの訓練、再現性、対応性、運用性、説明性、公平性などに関するもの)に分類し、それぞれについてベストプラクティスを提示・解説するデザインパターン集です。すぐ動かせるコード例とデータセットを豊富に含み、手を動かしながら機械学習を学びたい初心者の実践的な入門書としても、現場のデータサイエンティストやエンジニアのリファレンスとしても有用な内容となっています。著者のGoogle Cloudのデータ分析&AI部門トップとしての豊富な経験に基づく実用本位の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書

                                                          機械学習デザインパターン
                                                        • MLU-Explain

                                                          MLU-EXPLAIN Visual explanations of core machine learning concepts Machine Learning University (MLU) is an education initiative from Amazon designed to teach machine learning theory and practical application. As part of that goal, MLU-Explain exists to teach important machine learning concepts through visual essays in a fun, informative, and accessible manner. Neural Networks Learn about neural net

                                                            MLU-Explain
                                                          • Sentencepiece の分割を MeCab っぽくする - Qiita

                                                            Sentencepieceは公開から約6年経ち、月間のpipダウンロード数が1000万を超え、開発者として嬉しい限りです。ただ、Sentencepieceを使用する際にMeCabなどの形態素解析器を前処理に使うケースが散見されます。単語分割をしたいというニーズは理解できますが、作者としてはあまり満足していません。多言語処理が一般的になり、しかもSentencepieceは言語非依存のシステムであるにもかかわらず、なぜベタな日本語処理に依存するのでしょうか。このような使い方は、精度が向上するかもしれませんが、以下のようなデメリットもあります。 形態素解析が入力した空白と、元からある空白を区別できないため、分割されたデータから元の文を復元することができません。(可逆処理ではない)。 形態素解析システムに依存するため、メンテナンス性や可搬性が低下します。正しいバージョンの辞書を維持し、管理するこ

                                                              Sentencepiece の分割を MeCab っぽくする - Qiita
                                                            • 仮名加工情報はAI開発をどのように変えるのか~医療AI開発のケースを元に考えてみた~|知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】

                                                              2023年8月17追記(仮名加工情報の共同利用について) 2021年5月12日に公開した本記事ですが、その後、多くの方にお読みいただき多数のお問い合わせをいただきました。もっとも、改正個人情報保護法の全面施行日(2022年4月1日)に先立って公開した本記事においては、全面施行後、注目を集めている仮名加工情報の共同利用に関する記述がほとんどございません。 仮名加工情報の共同利用については、その後公開しました「AI医療機器開発のための医療データ収集と個人情報保護法」において、研究デザインに応じたデータ収集のスキームを整理する中で触れておりますので、同記事をご覧いただけますと幸いです。 1 はじめに~令和2年個人情報保護法改正 個人情報保護法が2020年(令和2年)6月12日に改正され、公布されました(以下改正法を「法」といい、現行法と同じ条文番号のものも含めて統一して引用します)。改正法の全面

                                                                仮名加工情報はAI開発をどのように変えるのか~医療AI開発のケースを元に考えてみた~|知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
                                                              • porkbun.com | parked domain

                                                                kobra.dev has been registered at Porkbun but the owner has not put up a site yet. Visit again soon to see what amazing website they decide to build.

                                                                  porkbun.com | parked domain
                                                                • GPT-3互換のGPT-J-6Bで日本語推論

                                                                  この記事は何? 自然な文章を生成できるとして、一時期話題になったGPT-2の後継であり、パラメータサイズの大きさからより高性能と更に話題になったGPT-3と同等の精度かつApache-2.0で商用利用可能なGPTが登場したので日本語で試してみた記事です。実装や理論については触れていません。 GPT-3とは OpenAIにより作成された1750億パラメータの自然言語処理モデル Microsoftが独占ライセンスを取得しており、一般ユーザが利用するためにはOpenAI APIへの登録が必要、1000tokenあたり$0.0008~$0.0600[1] MODEL PRICE PER 1K TOKENS

                                                                    GPT-3互換のGPT-J-6Bで日本語推論
                                                                  • CLIP+Faiss+Streamlitで画像検索アプリを作成してみる - OPTiM TECH BLOG

                                                                    R&Dチーム所属の伊藤です。気がついたら半年ぶりくらいの投稿になってしまいました。 今回はrinna株式会社より公開された言語画像モデルである日本語対応CLIPを使ってみた話になります。 元々はCLIPとFaissを組み合わせて画像検索のためのツールを作れないかを試していたのですが、どうせだったら可視化までしようと考えてStreamlitを使用したアプリ化も行いました。 今回作成したコードはGithubのリポジトリにありますので、興味がある方は覗いてみてください。 CLIPとは? Faissとは? CLIPとFaissで画像検索 事前準備 画像ベクトルのインデックス作成 インデックスを読み込んで画像検索 Streamlitで画像検索アプリを作成する 最後に CLIPとは? CLIPはOpenAIより提案された、テキストと画像を使用して画像分類モデルです。 CLIPはContrastive

                                                                      CLIP+Faiss+Streamlitで画像検索アプリを作成してみる - OPTiM TECH BLOG
                                                                    • 新時代の pix2pix? ControlNet 解説

                                                                      入力に対して画像で条件づけする Diffusion モデルである ControlNet の解説をします。 paper: https://t.co/hIkh8qgjcL github: https://github.com/lllyasviel/ControlNet ([1] の Fig1 より引用) 本論文は Style2Paints 開発者の lllyasviel(@lvminzhang) が出されていることから、高精度に入力線画に着彩する Styl2Paints V5 (のDorothyモデル?)に使用されているモデルである可能性が高いです。 Diffusion Model (特に Latent Diffusion)では入力の条件付けを忠実には考慮できていないモデルが多いため、本論文の結果はなかなかにインパクトがあります。個人的には GAN 時代の pix2pix がそのまま Diff

                                                                        新時代の pix2pix? ControlNet 解説
                                                                      • "気の利いた"擬似データを生成したい - Qiita

                                                                        この記事は NSSOL advent carendar 12/23担当分です。よろしくお願いします。 昨日は研修を運営してみて思ったことでした。 研修対応すると、その後も割と忙しくて、振り返りの時間がちゃんと取れなかったりします。 まとまった現場知見・感想が読めるのって、ありがたいなと思いました。 さて、今回のテーマは、「疑似データ生成」です。 背景:実データの取得は大変 擬似データが使えるかも データ分析やシステム開発のために、実データかそれに近いデータが欲しくなることは多々あります。 ただ、顧客情報や営業秘密といった機微な情報が含まれる場合は、データ取得までに高いハードルがあることが多いです。 結果、試してみたいアイディア/製品/分析手法などの適用ができないこともあるかと思います。 解決策の1つとして、擬似データの利用、が挙げられそうです。参考 実データを入力して、データの形式や統計量

                                                                          "気の利いた"擬似データを生成したい - Qiita
                                                                        • Googleが開発したニューラルネットワークによるマーケティングミックスモデル”NNN”の解説 - ぱぐみの部屋

                                                                          マーケティング施策の効果測定の手法で最もメジャーなもののひとつに、マーケティングミックスモデル (MMM) があります。特に近年では、3rd Party Cookieの規制や、Google等の企業がオープンソースとしてMMMのライブラリを公開してくれていたりと、よりその利用シーンが増えてきているのかなと思います。 Robyn (Meta) LightweightMMM, Meridian (Google) PyMC-Marketing (PyMC) MMMでは予測よりも、目的変数(売上やKPI)に対するマーケティング施策の影響の解釈に重きを置かれるため、基本的には線形モデルのようなホワイトボックスな手法が用いられます。そんな中、Googleが新たに提案したニューラルネットワークを用いたマーケティングミックスモデリングについて、本記事ではご紹介します。 GoogleがMMMの新手法NNNを公

                                                                            Googleが開発したニューラルネットワークによるマーケティングミックスモデル”NNN”の解説 - ぱぐみの部屋
                                                                          • RVCのモデルを日本語向けに事前学習する - Qiita

                                                                            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、nadareです。 機械学習エンジニアで、普段はレコメンド・検索関連のお仕事をしています。いろんな競技プログラミングが好きです。 最近はRetrieval-based-Voice-Conversion(以下RVC)という技術に関心を持ち、本家Retrieval-based-Voice-Conversion-WebUIやddPn08さん版RVC-WebUI、VC ClientにPR投げつつ勉強しています。 本記事では、RVCのモデルで綺麗な日本語に変換するための学習テクニックを紹介します。 2023/05/24 追記 続・RV

                                                                              RVCのモデルを日本語向けに事前学習する - Qiita
                                                                            • 無料で登録不要、オフラインでも使える機械学習ツールを作ってみた - Qiita

                                                                              はじめに 無料、会員登録不要、データをアップせずオフラインでも使えるブラウザベースの機械学習ツールを作りました。 空飛ぶニューラルネット https://soratobu-nn.net/ 目次 なにこれ 特徴 基本的な使い方 ちょっと高度な使い方 今後について 空飛ぶニューラルネット なにこれ 主にReact.jsとTensorflow.jsで構成された簡易的な機械学習ツールです。 世の中には多機能・高性能な機械学習プラットフォームがゴマンとありますが、利用料が高額、利用開始まで時間がかかる、使い方が難しい、データをサーバーにアップロードする必要があるなど意外とハードルが高いものです。 ちょっと手元のデータでAI使えるか試したい、PoCしたい 趣味や業務で統計・機械学習モデル作ったけど普通どのぐらいの精度が出るか見てみたい 外注とかする前に自分でもデータ見てみたい クラウドにデータをアップ

                                                                                無料で登録不要、オフラインでも使える機械学習ツールを作ってみた - Qiita
                                                                              • コウメ太夫氏のネタの面白さを分析してみた【自然言語処理】 - Qiita

                                                                                やること 一世を風靡したお笑い芸人、コウメ太夫氏のネタは、白塗りメイクと派手な着物に身を包み、甲高い裏声で「Xかと思ったら、Yでした〜!」と歌い上げてから、絹を裂くような金切り声で「チクショー!」と叫ぶというものです。その面白さを言葉によって説明するのは極めて難しいですが、「Xかと思った」という前振りの文Aと、「Yでした」というオチの文Bの接続の突拍子のなさが可笑しみを生み出しているというのは間違いないでしょう。しかし、ただ脈略のない二文を繋げればよいというわけではなく、理解不能ではあるけれどまるで無関連というわけではない、その飛躍具合の妙でネタの出来が決まると考えられます。 そこで、今回はコウメ太夫氏のネタを構成する二つの文の飛躍の程度を定量化し、ネタの面白さにどのような関係があるかを分析します。 文の意味を捉えるために、自然言語処理モデルであるBERTを使います。また、ネタの面白さの指

                                                                                  コウメ太夫氏のネタの面白さを分析してみた【自然言語処理】 - Qiita
                                                                                • グラフニューラルネットワーク(GNN)を使ったタグ分類

                                                                                  テラーノベルで機械学習を中心に担当している川尻です。最近、グラフニューラルネットワーク(GNN)に注目してサーベイしています。今回は、実際のテラーノベルのデータを簡単なモデルに適用してみたので報告します。 グラフニューラルネットワーク (GNN) グラフニューラルネットワーク(GNN)とは、グラフ理論において対象を「ノード」と「エッジ」からなる「グラフ」として扱うためのニューラルネットワークの一種です。例えば、テラーノベルにおいては、ノードがユーザーや作品の一つ一つを表し、エッジが「読んだ」「いいね」「フォロー」などを表します。ディープラーニングの発展に伴い、GNNの研究も盛んになっており、大規模なデータや様々なタスクに適用されるようになっています[1]。 テラーノベルでのグラフの例 arxivで投稿された年ごとの「Graph Neural Network」がタイトルに含まれている件数 G

                                                                                    グラフニューラルネットワーク(GNN)を使ったタグ分類

                                                                                  新着記事