ABCIの大規模言語モデル分散学習ハッカソンを振り返る
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
エンジニアから見た NeurIPS 2019 参加記 - うどん記
会社で書いていた論文が機械学習トップ国際会議の NeurIPS 2019 に採択されたので12月8日から14日にかけて開催地のバンクーバーに発表のために行っていました。近況報告も兼ねてその様子をメモ書きしてみようと思います。 会場の Vancouver Convention Center 自分について エンジニアとして働いています。研究を行い論文を書くことを主として行う研究者ではなく、実用上の問題を解決するための仕事をしています。今回論文を書いて発表を行うことになったのは、解きたかった問題の解決方法がまだ世の中に知られていなかったため自分で新たに編みだす必要があり、それが論文としてアウトプットする価値があったという事情に基づきます。 発表した内容としては「ニューラルネットの学習ではメモリ消費が非常に大きくなりGPUのメモリから溢れることがあるが、その消費量を再計算という手法によって削減する
KDDCUP 2020 ML Track2入賞手法の紹介（グラフニューラルネットへの攻撃と防御） - Qiita
みなさん、今年の4月、5月は何してましたか？ 緊急事態宣言が出てステイホームしていた人も多いと思いますが、在宅でできるデータ分析の仕事と言えばKDD CUPですよね！（無理矢理） ドコモの落合です。KDD Cupはデータマイニングの国際学術会議であるKDDで開催されている、1997年からの歴史がある世界最高峰のデータ分析コンペです。 ドコモR&DではAI・データサイエンス分野での実力向上のために2016年から毎年KDD CUPに参加していて（KDD CUPは業務時間内に取り組んでいいことになっています）、昨年は1つのトラックで優勝しました。今年は、3部門で入賞1,2することができました。ML Track1については初日の記事で紹介しています。 この記事では、ML Track2で446チームが参加したなかで4位に入賞した手法について解説します。 KDD Cup 2020 ML Track2
KDD 2022 の論文とチュートリアルの紹介 - Insight Edge Tech Blog
こんにちは！データサイエンティストの伊達です。 今回は、データマイニング分野におけるトップカンファレンスの一つである KDD 2022 で気になった論文とチュートリアルを紹介します。 KDD とは 論文 (Research Track): Wu et al., Non-stationary A/B Tests 背景 論文内容 チュートリアル：Counterfactual Evaluation and Learning for Interactive Systems チュートリアル：New Frontiers of Scientific Text Mining: Tasks, Data, and Tools まとめ KDD とは KDD 2022 (28th ACM SIGKDD International Conference on Knowledge Discovery and Data
CVのトップカンファレンスCVPR2021へ参加しました - Taste of Tech Topics
皆さんこんにちは。 @tereka114です。最近、気温が上がってとても暑くなりましたね。 この季節恒例のCVPR2021が先日開催され、今年もリモートで業務後に動画を見たり、論文読んだりして参加していました。 この記事では、CVPR2021の簡単な紹介をしたいと思います。 CVPR2021 CVPRはコンピュータビジョンを扱うアメリカの学会で、6/19（土）〜6/25（土）の日程で開催されていました。 学会の正式名称はComputer Vision and Pattern Recognitionです。 cvpr2021.thecvf.com 昨年からオンラインで開催されており、昨年はリアルタイムで参加していましたが、今年は仕事が終わってから動画を確認するスタイルにしました。 前回のCVPR2020は、COVID-19の影響により急遽オンラインのみとなりました。その影響か、サイトがしばらく
技術書典のサークル配置最適化 ver. tbf07 - Speaker Deck
Re:VIEWで書いた「Compose で Android の edge-to-edge に対応する」をRoo Codeで発表資料にしてもらった
Learning and Transferring IDs Representation in E-commerce (KDD 2018) 読んだ - 糞糞糞ネット弁慶
KDD 2018 | Learning and Transferring IDs Representation in E-commerce EC サイトにおける商品 (item) の埋め込み (embedding) を学習する．その際，商品につけられたメタデータをまとめて学習する． 基本方針 ユーザの商品閲覧行動にもとづいて skip-gram を学習する．すなわち，窓幅を として を学習する．この時 である． が 次元の商品の埋め込みとして得られる． 商品と属性の埋め込み ここで，商品には様々な属性が付与されていることを考える．論文では例として ある「商品」(product，例えば iPhone X) は異なる店 (store) にて異なる商品 (item) として扱われている 「商品」にはブランド (brand) が付与されている 「商品」には階層的なカテゴリ構造 (cate-leve
WWW2020 論文紹介 / www2020-papers
2020年4月30日 The Web Conference2020 参加報告会 by Wantedly (https://connpass.com/event/174856/) における発表資料です。 以下の２つの論文について概要を紹介しました。 - Zhang, Le and Xu, To…
MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata
4. © 2019 NTT DATA Corporation 4 渡部 徹太郎（Japan Taxi） 自己紹介 土橋 昌（NTTデータ） 経歴 2010年頃に当時国内最大級の 千台超えのHadoopクラスタ開発 に携わって以来、OSSによる 大規模並列分散処理基盤の研究 開発・システム開発に従事。 現在はストリームデータ活用基盤、 機械学習基盤など。 登壇・採録・執筆など Strata Data Conference、USENIX OpML、 Kafka Summit、Spark Summit、 翔泳社「Apache Spark入門」、 同「Apache Kafka」、他多数 ■ 経歴 NRIにてオンライントレード システム基盤担当とオープン ソース技術部隊を経験。 リクルートテクノロジーズでは全社 の横断分析基盤を担当。 また、日本AWSユーザ会ビッグ データ支部を設立。 現在
Netflix社のMLOpsの事例を紹介します | 行灯Labo（アンドンラボ）｜JapanTaxi採用ブログ
その中で特に面白かったNetflix社の事例を紹介します！ Netflix社事例「A Human-Friendly Approach to MLOps」 Netflix社では、「Metaflow」と呼ばれる独自フレームワークを開発して、データサイエンティストに提供することにより、機械学習アプリケーションの開発・運用を社内で拡大することを実現している。 Netfliexのデータ分析の目標 コンテンツの発売前に、日毎の視聴者数の予測がしたい。これにより、優先度付やリソースの配置を考えている ゴールは２つ 190カ国すべてのオフィスにて、データから一貫した洞察を得られるようにする意思決定者のために正確で即時の情報を提供する データ分析プロジェクトの進め方型と課題 データ探索（〜２週間）notebookなどを用いて、データの振る舞いを理解して、どの特徴量を使うべきか等を探索するプロトタイピング（６
RecSys 2019 参加レポート - Gunosyデータ分析ブログ
はじめに 推薦システムのトップカンファレンスであるACM主催のRecSys2019 が9月15日から9月20日の間にコペンハーゲンで開催されました。 Gunosyから投稿した論文がshort paperとして採択され*1、関、飯塚の2名でポスター発表してきました。 はじめに Recsysについて タイムテーブル 本会議 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches Online Learning to Rank for Sequential Music Recommendation Recommending What Video to Watch Next: A Multitask Ranking System Relaxed Softma
KDD Cup 2019 AutoML Trackで５位に入賞しました。 - Preferred Networks Research & Development
エンジニアの吉川です。 先日8/3~8/7にデータサイエンス応用の国際会議KDD 2019が開催され、弊社からも5人のメンバーが参加しました。 このKDD 2019の中でKDD Cup 2019というコンペティションが開かれ、その中のAutoML TrackにPFNのチーム（吉川真史、太田健）も参加し、５位に入賞しましたので、ここで報告したいと思います。 KDD Cup 2019 AutoML Trackについて KDD Cup は KDDに付随して毎年開かれるデータサイエンスのコンペティションで、最初のコンペが開催されてから20年以上がたちます。昨年までは、通常のデータサイエンスのコンペティション同様に、データが与えられて、参加者が自分の環境で、データを分析し、何らかの予測を行い、その精度を競うというコンペでした。今年からは、それに加え、AutoML TrackとHumanity RL
KDD 2019 参加レポート
Bukawa Fuminori / Tanigawa Naho / Yoshinaga Takahiro2019-09-04Bukawa Fuminori: B2B Data Engineering Team, 広告領域の分析を担当しています, SFC修行中 / Tanigawa Naho: Data Science Team, 公式アカウントの分析を担当しています/ Yoshinaga Takahiro: B2B Data Engineering Team, 広告領域の分析を担当しています Data Science Team / B2B Data Engineering TeamのBukawa, Tanigawa, Yoshinagaです。 LINEでは、最新の知見を業務に取り入れるべく論文の紹介や研究会への参加などを積極的に行なっています。 その一貫として、LINEの社員が技術に関連す
【人工知能学会2019】聴講してきました。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2019年6月4日～7日に「第33回人工知能学会全国大会」が開催されました。 今回、運よく聴講することができたので、簡単にまとめておきます。 私が聞いたのは3日目と4日目だけです。 インタラクティブセッション ポスターを張り出して、議論するポスターセッション形式 解説は一部しか聞けなかったので、詳細が気になる方は予稿をご覧ください。 OpenPose × 転倒リスク 非接触センサーを活用した転倒リスク予測の検討 ※画像は予稿より転載 歩行の動画をOpenPoseで解析することにより、高齢者などの転倒リスクを予測する研究 特徴量は「歩幅」
USENIX OpML'19 登壇・参加報告会のメモ - pandazx's blog
USENIX OpML'19 登壇・参加報告会（Hadoopソースコードリーディング 第26回） https://www.eventbrite.com/e/usenix-opml19-hadoop-26-tickets-62192922706 USENIX OpML全体紹介 参加者：210名 日付：2019.5.20 場所：サンタクララ 採択率は約5割。投稿62件 Practiceの傾向が強かった 参加者もシステム系の人の方が多かった印象 USENIX OpML発表資料 OpML '19 Conference Program | USENIX 登壇内容紹介：Low-latency Job Scheduling with Preemption for the Development of Deep Learning 薮内 秀仁 /東京大学大学院 発表資料はUSENIXのページで公開されている
【組み合わせ最適化入門】カンファレンスのタイムテーブル決めをマッチング問題としてGoogle OR-Tools/Pulp/munkresで解く - フリーランチ食べたい
PyCon JPの運営メンバーとして自分は、昨年度のPyCon JP 2018のタイムテーブル決めに組み合わせ最適化問題を用いました。ちなみに最終的なタイムテーブルはアルゴリズムで算出された結果を人間がレビューして調整しています。 昨年度は時間の制約があり、いくつか反省点があったので今年は改善したいと考えています。 pyconjp.blogspot.com そういうわけで事前調査も兼ねて、カンファレンスのタイムテーブル決めを組み合わせ最適化問題として考え、それをPythonのライブラリを使って解く方法を書きたいと思います。 解きたい問題 カンファレンスのタイムテーブル決めでは下図のように部屋と時間が決まっていて、そこのトークを割り当てていくことが一般的です。 このとき、部屋の大きさ、時間帯やトークの内容が全く同一であれば何も考えずに隅から配置していけば良いのですが、現実には以下のような条件
Machine Learning Production Pitch #2 イベントレポート #MLPP - 子供の落書き帳 Renaissance
2019年5月30日に開催されたこのイベントに参加してきました。 Machine Learning Production Pitch #2 - connpass Machine Learning Production Pitchは、機械学習について業務で培った知見や経験や苦労話を共有できる場を提供することを目的としたMeetupです。機械学習に取り組み、実社会への適用に日々もがき苦しみ楽しんでいる方々を対象としております。 機械学習ワークフロー（Airflow、Luigi）周りの話がやや多くて、個人的には馴染みが無かったので、うまくまとまっているとは言えないと思います（スライドを書き写すだけになってしまったところが多かった気がする）。参考程度にどうぞ。 Detecting opinionated articles in SmartNews／Tianxiang Zhang (張天翔) (スマ
Gunosyのハッカソンに参加してきました - tetsuのlog
お気に入りのシール こんにちは、テツです!! 5月25, 26日に開催されたGunosyデータ分析ハッカソンに参加してきました。 manaboo.me それではレポートです!!! ハッカソン内容 記事のデータからその記事のメディアを推定するといったタスクでした。 Kaggleと同じようにtrainとtestが分けられていて、testの予測結果をsubmitしてスコアがわかる方式で、評価指標はaccuracyでした。 データとしては記事のタイトル、記事の内容( 200文字まで )、投稿時刻が与えられました。 50クラス分類でしたが、そこまで難しくはなくハッカソン終盤では1位のスコアは96.0%ほど出ていました。 計算リソースとしては手元のローカル環境かGoogleのColaboratoryを使う形でした。僕はDeepの方が得意なのでGPUが使用できるColaboratoryを使用しました。
Spark+AI Summit 2019参加レポート at San Francisco — Spark3.0/Koalas/MLflow/Delta Lake
こんにちは，NTTの山室です． 今回の記事は4/23–25にサンフランシスコで開催されたSpark+AI Summitの参加レポートになります．興味のある情報への良い足がかりになることを目的に，個人的にチェックした内容を浅く広めに取り上げます． 以下の公式サイトに大半の発表資料と動画が公開されていますので，興味がある方はそちらも併せて参照してください． Spark+AI Summit 2019 Agenda Summitの翌日に訪問した会場近くのDatabricks社Spark+AI Summitは現在年に2回アメリカ西海岸とヨーロッパで開催されているDatabricks（Sparkの作者が在籍する企業）主催のイベントです．特に毎年サンフランシスコで開催されるSummitは規模が大きく，今回世界中から5,000人を超える参加者が集まったそうです． この記事では個人的に興味を持った以下の内容
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ICLR2017読み会@DeNA/iclr2017atDeNA_VLAE
