IR Reading 2023 Spring 参加レポート - LegalOn Technologies Engineering Blog
こんにちは、検索・推薦チームの浅野（@takuya_b / @takuya_a）です。 2023年6月10日に開催された IR Reading 2023春に、弊社の勝田（検索・推薦）、宮里（検索・推薦）と参加しました。 今回は、そちらの様子をレポート形式でお届けします。 IR Reading とは 情報検索に関連する、直近の国際会議で発表された論文の読み合わせを行う勉強会です。5分〜15分の発表＋質疑応答、という形式で行われており、ACM SIGIR 東京支部の方々によって運営されています。 今回参加した IR Reading 2023春では、主に以下の国際会議の論文が対象となっていました。 WSDM 2023 CHIIR 2023 ECIR 2023 TheWebConf 2023 セッションレポート Accelerating Learned Sparse Indexes Via Ter
Google ColabでTimesFMを動かして予測してみた - Qiita
概要 最近の記事を見ると、Zero-Shotで時系列予測ができるTimesFMと呼ばれるものが公開されていました。 Githubのリポジトリはこちら： 時系列予測というとベイズなどを用いて泥臭いことをやったりしないとですが、こちらはtransformerのデコーダ部分のみを用いてGoogle TrendsやWikipedia Pageviewなどの膨大なデータ(100 billion time point)で学習を実施したものを公開されています。パラメータも200Mで、GPT-3やLLama-2などと比較すると軽量なモデルであり、チューニングすることなく高度な予測をすることが可能であると書かれています。 時系列予測と言われるとベイズなどが浮かんできますが、面倒臭いのでサクッと予測できるのは比較対象としても悪くない気もしています。今回は、国内企業物価指数] 総平均（前年比）の2000年から2
gokart + PyTorch Lightning でいい感じに深層学習モデルを動かす - そぬばこ
この記事は Sansan Advent Calendar 2021 20日目の記事です。 前日は、id:kur0cky さんの kur0cky.hatenablog.com でした。 私は過去陸上部だった時代があるのですが、個人的にはフォームも気にしたほうがいいと思います(感想)。 この記事は何か 私が所属している研究開発部には、パイプラインに則ってコードを書こうという文化が浸透してきました。 これらのパイプラインのパッケージは、弊社の研究員が弊社ブログにて既に様々書いているので、ぜひこちらを御覧ください。 buildersbox.corp-sansan.com buildersbox.corp-sansan.com さらに、PyTorch のラッパである PyTorch Lightning はいいぞとの布教をとある研究員の方から受け、良さそうだなとなりました。 PyTorch Light
Vertex AI と NeMo Framework で大規模言語モデル（LLM）のマルチノード分散学習を体験する
はじめに 2024年4月3日に、下記の Google Cloud 公式ブログ記事が公開されました。 GKE の NVIDIA NeMo フレームワークで、生成 AI への取り組みを加速 この記事で紹介されているチュートリアル nvidia-nemo-on-gke に従うと、Google Cloud で次の処理が体験できます。 NVIDIA H100 Tensor Core GPU を接続したノードによる Google Kubernetes Engine（GKE）のクラスターを構築する NVIDIA NeMo Framework のサンプルコードを利用して、LLM（Megatron GPT）の事前学習を実行する とはいえ・・・、「わざわざ GKE クラスターを構築するのは面倒なので、Vetrex AI のマネージドサービスだけで LLM の学習処理を体験してみたい！」という方もいるかもしれま
TensorFlow Similarityを読み解いてみる - Qiita
この記事はフューチャー Advent Calendar 2021の18日目の記事です。遅刻しました。 はじめに TensorFlow Similarityは2021年9月14日に初公開されたライブラリです。本記事ではこのライブラリについて実装の内容や意図を読み解いていきたいと思います。流れとしてはまず初めにSimilarityの全体の流れについて説明し、次に実装について説明や考察を行い、最後にどのような用途でTensorFlow Similarityを使うべきかや未来について思いをはせます。 Similarityについて 距離学習とTensorflow Similarity TensorFlow Similarityは距離学習を行い、モデルを提供するためのパイプラインを揃えたライブラリです。距離学習は古典的なクラス分類の学習に近いですが、目的が少し異なります。クラス分類の学習ではクラスの分
画像から人体の3Dモデルを生成する技術 - Qiita
背景 メタバースやAR等の進展で人体の3Dモデル化は需要大 （Vtuber等のアバター,ゲームモーション作成、映像コンテンツの作成等） 今回は画像や動画からどうやって人体を3D化するかという技術を紹介したいと思います。 3Dモデルの表現方法 画像から3Dモデルを作成する上で重要なのは３Dをどのような形で表現をすればよりNNの学習に適しているかということです。 3DモデルをPoint Cloudのような点群として表現するのか、メッシュとして表現するのかなど同じ3Dにしても多数の表現方法があります。用途やNNの学習に適した表現形式 が多数提案されており、今回はSMPLとNeRFという２つの表現方法に関してご紹介いたします。 押さえておきたい要素技術1: SMPLモデル SMPLとは? パラメータ化された人体の3Dモデル SMPL: A Skinned Multi-Person Linear M
Online Label Smoothingの実装と評価 - Qiita
はじめに 過学習防止効果があるとされるLabel Smoothingだが、これに改良を加えたというOnline Label Smoothingの論文を見つけたので、tf.kerasで実装して評価して見た。 Online Label Smoothingとは まず、Label Smoothingについて簡単に説明する。 画像分類のタスクにおいては、正解のラベルとしてOne Hotのベクトルを使用する。これは正解のクラスに対応する値だけが1.0でその他は0.0となったもの。 これは当然の様に思えるが、このまま学習させると「過学習を招く」、及び「モデルが自信を持ちすぎてしまう」といった問題があるとして、Inceptionモデルの論文で提案されたのが、Label Smoothingである。 具体的には、学習時のラベルとして「正解のクラスの値は少し割り引いて、減らした値は全てのクラスに均等に分割して加
文法誤り訂正タスクの情報源 - gotutiyan’s blog
本記事は，GEC (Grammatical Error Correction) Advent Calendar 2021 の7日目の記事です． はじめに 文法誤り訂正タスク（GEC, Grammatical Error Correction）は翻訳や情報抽出などのタスクに比べるとマイナータスクですが，最近は研究する人が増えている印象です．これに伴って，情報収集に役立つようなページの需要も高まっていると思いますので，いくつか紹介したいと思います．その後，個人的にこういう情報がまとまっていたら嬉しいなという気持ちを書きます． はじめに 既存の情報源 NLP-progress サーベイ論文 私のブックマーク「自然言語処理による文法誤り訂正」 A Crash Course in Automatic Grammatical Error Correction Chunngai/gec-papers G
Redshiftのデータ共有で元DBに作成したテーブルを即時反映させる - Qiita
はじめに Redshiftのデータ共有、皆さん使われているでしょうか。 物理的なコピーをせず、Redshift間でデータの共有ができて便利ですよね。 さて、このデータ共有ですが、既に共有されているテーブルに対してデータの追加や更新（INSERTやUPDATE）をすると即時反映されますが、テーブルの作成（CREATE TABLE）はデフォルトでは即時反映されません。 テーブルの作成も即時反映させたい場合は、ALTER文で SET INCLUDENEW = TRUE SCHEMA schema を実施する必要があります。デフォルトではこれがFALSEになっており、かつGUI上ではこれをTRUEに設定できるところが見つかりませんでした。 今回はこれをクエリエディタv2で実施してみます。 前提条件 以下のRedshiftを、それぞれ別のアカウントで作成済み。 プロデューサーはRedshift Pr
気がついたら社会人学生になってた話 - 祈りと身体と自由意志
社会人アドベントカレンダー2022、13日目です。 TL; DR 起業の流れに乗ると社会人学生に進化することがある 労働と研究の両立は大変 学費や就活の心配はなくなる 業務と研究のシナジーがあるよ 前提 あなたは誰？ 学生としては、工学系の修士2年で、博士進学予定です。量子計算機の理論に関する研究をしています。 社会人としては、都内のとあるweb系企業でテックリードをしています。フロントエンド設計が得意分野です。 あなたは誰ではない？ 大学を卒業してから再入学したわけではないです。（一回留年はしましたが） 通常の就職活動をしていません。 長期インターンとして会社に所属しているわけではありません。 研究職でもありません。 社会人学生になった経緯 社会人学生になる経緯は今から5年前、学部2年の夏までさかのぼります。2017年のことです。 当時学園祭のシステム部局の統括者を勤めていたためか、大学
TabNetのアーキテクチャを詳しく解説 - Qiita
はじめに kaggleでは2020年ぐらいから当たり前のように使われるようになってきたTabNetですが使ったこともないですし、どんなアーキテクチャなのかも知りませんでした。今回は実装というよりもTabNetについて理解が深められたらと思います。 参考： TabNetとは一体何者なのか？ ：TabNetの概要についてわかりやすく解説している記事です。 TabNetを使えるようになりたい【追記①lgbmとstacking（ちょっと上がる）】 ：atmacup #10のディスカッションで上がっていたものです。恐らくコンペ参加しないと（後からでも同意すればできます）見れないものなので、ここに上がっている図などは使えませんが、TabNetについて（正確にはpytorch-tabnetについて）とても詳しく書いてある記事なので、是非読んでいただきたいです。今日はpytorch-tabnetの実装の話
【機械学習】VITSでアニメ声へ変換できるボイスチェンジャー&読み上げ器を作った話 - Qiita
はじめに DiscordやVRChatなど、オンラインでの会話を楽しむプラットフォームが近年賑わいを見せています。 そんな中で「さまざまな声質の音声で会話ができたら面白いだろう」と思い立ち、音声間での声質の変換ができる機械学習モデルを実装してみました。例えば以下の紹介動画のように変換できます。 機械学習の一手法「VITS」でアニメ声(つくよみちゃん)へ変換できるボイスチェンジャーを実装しました。https://t.co/LX0TV13uAD pic.twitter.com/vVWcDbUSpn — zassou (@zassouEX) February 25, 2022 また、今回用いたモデルではテキストの読み上げを実行することもできます。 読み上げを行うこともできます。 (こちらに関してはもう少しファインチューニングが必要そうです。) pic.twitter.com/xKPhTL7A0E
Aligned Variational Autoencoder で麻雀の配牌を生成する - taijestのブログ
こんにちは。taijest です。 この記事は、Sansan Advent Calendar 2021 の 7日目の記事です。 はじめに 皆さんは、在宅期間なにをして過ごしていますか？ 私は、AbemaTV で放送されている麻雀リーグ「Mリーグ」にハマっています。 リーグ戦は、各チームの選手の獲得スコア合計で競い合い、一定の試合数を消化すると下位チームが脱落していくという仕組みです。 ある程度セオリーがありつつも、選手のスタイルや得点状況、チーム順位によって選択が変わってくるところがとても面白いです。 さて、麻雀の勝敗を決する大きな要素の一つとして、配牌があります。配牌とは、開局時に各選手に与えられる牌のことです。配牌は、早さ (どれだけ早くあがれそうか) や高さ (あがった時にどれだけ高い点数になりそうか) の観点から、その局の勝敗に大きく影響します。 本記事では、麻雀への理解を深めるた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロショット物体検出の研究動向