この記事はNLP/CV論文紹介 Advent Calendar 2020の25日目の記事です。 今回はこれまでのフォーマットとは変えて、細かく踏み込んで論文を読んでいきます。 今回読むのは「Pretrained Transformers for Text Ranking:BERT and Beyond」というタイトルの論文です。 arxiv.org こちらは検索タスクに対する基礎的なところから始め、検索に対するBERTの活用事例、さらにBERTのその先についても言及しているサーベイ論文です。 ただし分量としては155ページもあり、全てを解説することは難しいので、BERTに関する部分にフォーカスして解説していきます。 検索タスクについて クエリと文書の関連性を計算する シンプルな適用: mono BERT 長い文書への適用 コンテキストの活用: CEDR 多段に組み合わせて長い文書に対応:

2019年8月某日AM5:30、カビ臭い布団で目を覚ます。今日も今日とて身体中が痒い。ここは、平均標高1200mの某町のさらに外れにある、季節労働者用の寮。押し入れ下段の布団は腐っている。水道管は朽ちており、顔を洗うのも憚れるような茶色い水しか出てこない。昨晩試しに買ったアメスピの新作は不味い。ああ、早く部屋を出なければ、朝飯の時間に間に合わない。 起きたままの格好で山道を10分ほど下り、作業員の待機室に着く。いつもは各々が無言で具の少ない味噌汁を啜っているのだが、今日は何やら騒然としている。どうやら昨晩、調理場のおじさんが料理長に泣きながら土下座し、「故郷(クニ)へ帰らせて頂きやす！」と言い放ち、寮から脱走したらしい。面白すぎる。しかし、そんな空気を一掃するように作業開始のベルは鳴る。 ペアで働く同僚は、40歳を過ぎている。しかし、その所作に落ち着きはなく、話していると少年を相手にしてい

50代文系副社長、AI学んで1000時間　1人で作ったアプリが大手食品メーカー採用に至るまでの軌跡（1/3 ページ） 「もしかしたら、経営よりも研究やエンジニアの方が天職に近いのかもしれない」──そうはにかむのは、商品パッケージのリサーチとデザインを手掛けるプラグ（東京都千代田区）の坂元英樹副社長だ。50代の文系出身。もともとは市場調査会社の社長だったが、デザイン会社と合併して今に至る。 プラグは現在、パッケージのデザインを評価するAIサービス「パッケージデザインAI」を展開している。すでにカルビーやネスレ日本など、大手食品メーカーがパッケージデザインAIを活用した商品を販売中だ。 このAIサービスは、東京大学との共同研究ではあるもの、実は坂元さんが1人でプログラミングからAIの実装までこなしたという。 始める前は「Pythonも知らない状態だった」という坂元さん。そこからどうやってAIサ

第2回のゲストはGunosy 関さん第2回目となるPodcastでは、株式会社Gunosy 上席研究員/共同創業者である関 喜史さんをゲストにお迎えし、関さんが直近発表した論文についてなどのお話しを聞きました。 ゲストプロフィール株式会社Gunosy 上席研究員/共同創業者 関 喜史 株式会社Gunosy共同創業者であり、現在は同社で上席研究員を務める。2017年に東京大学大学院工学系研究科博士後期課程修了。専門は主に推薦システム、デジタル広告、ユーザ行動分析などの機械学習・データマイニング応用。主な業績に2017年の言語処理学会の論文賞、2020年のWIのBest Paper。またRecsys、KDDなどに論文が採択されている。 トークメニュー・関さんとシバタさんとの出会い ・ニュースをパーソナライズするグノシーとは ・コンテンツレコメンドはどう変わった？ ・論文の投稿数し続ける研究チー

noteが2021年に重点的に取り組んでいくことをリストにしてみました。 あらゆるクリエイターが創作を続けられるプラットフォームを実現するために、エンジニアチームの重点分野は、以下の3つ。 ✔ 発信の場としての地位を固める ✔ プラットフォームとしての健全性を高める ✔ 組織づくりと開発体験・効率の向上 多くのユーザーが多様な使い方をしているnoteは、2020年に急成長フェーズを経て技術・運用の要求水準が上がり、エンジニアが乗り越えるべきハードルは高くなっています。2021年、上記の重点分野を実現するために取り組んでいくチャレンジングな技術課題を紹介します。 今後のはたらき方ややりたいことを考えるときにnoteのことを少しでも思い出してほしい。この記事がそのきっかけの1つになれば、と考えています。 「noteのエンジニアチームが2021年に向けて挑戦する、重要課題8選」にワクワクする方。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Data Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました！ こんにちは。最近 Infrastructure チームから Matching チームへ異動した笠井（@unblee）です。 Matching チームは Wantedly Visit におけるユーザと企業の理想のマッチングを実現するために推薦システムの改良や、データサイエンスを活用したプロダクト開発に責任を持ち、現在 ML 基盤を作るサブチーム 2人（+内定インターン1人）、Data Scientist 4人が所属しています。 この記事は、チーム内の Data Scientist に対して社内で利用しているインフラ周りの知識、具体的には 利用している SaaS（

はじめに皆様、こんにちは。Google Cloud Japan Customer Engineer Advent Calendar 2020 の 8 日目は 今年公開された BigQuery のリサーチペーパーを読んでみて個人的に興味があった点をまとめてみようと思います。2020 年で 10 周年を迎えた BigQuery の進化の過程が理解できるので皆様もお時間あればご一読を！ TL;DRこのホワイトペーパーは、Dremel （BigQuery のクエリエンジン） が採用している主要なアーキテクチャや考え方（これらのいくつかはクラウドネイティブなデータウェアハウスではトレンドとなりつつあります）がこの10 年間でどのような進化を経て現在の BigQuery になったのかを、Seattle Report on Database Research というレポート内で述べられている主要な 5

技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0