初めまして、2024年3月後半にエムスリーのAI・機械学習チームで10日間インターンに参加させていただいた東（@azuma_alvin）です。 もしタイトルが何かに似ていると感じた方がいれば、只者ではないと思われます。 洗練されたデザインでかっこいいと思ったエムスリーオフィスの受付の写真 この記事では、KubernetesのCronJobでOOM（Out Of Memory）が発生した時に「いい感じ」にメモリ制限を増加させてくれるbroomの開発経緯とその実装についてお話しします。 また、インターン期間で感じたエムスリーという「ギーク集団」の中で開発する楽しさについてもお伝えできればと思います。 2週間でゼロ（nil）から開発したbroomは、OSSとしてGitHubで公開しているのでコントリビュートお待ちしております！ github.com CronJobのOOMとは CronJobのO

こんにちは、AI・機械学習チームの浮田です。最近、私が筆頭著者の論文が公開されたので、今回はその紹介をします。 発表した論文はこちらです： www.ncbi.nlm.nih.gov この論文では、 胸部X線 (レントゲン) から間質性肺炎を検出するAIの評価を行いました。 結果、このAIを使うことで医師の読影成績が統計的有意に改善しました。 このAIを使うことで間質性肺炎の見落としを減らすことができることが期待されます。 エンジニアリンググループで論文を書くのは珍しい機会でしたが、査読対応など大変な時も経て無事公開することができました。 図1. 今回開発・検証した医療AIの実際の画面。プレスリリースより転載 今回開発・検証した医療AIの概要 有効性を検証するための臨床試験 目的 データセット、実験設定 結果 評価方法の詳細 感想 We're hiring! 今回開発・検証した医療AIの概要

特化型モデルで識別・ピクセル重要度抽出した後に、GPTで自然言語に変換する 画像認識モデルを作ったら、そのモデル自体から"こういうオブジェクトがあるから私はこう認識したんだよ"と教えてほしくありませんか？ 今回作るのは、図のように、写真が東京都中央区で撮られているとわかるのは、"照明と配管"が特徴的で、"箱やパッケージが多い"から市場らしさがあるんだよ、と自分で説明してくれるAIです。 背景ですが、機械学習が、それを本業とする人以外にも幅広く使われるようになってくるのに伴い、モデルの説明可能性も重要視されているように思います。 テーブルデータからの識別問題であれば重要な項目を特徴重要度などから測ることはできなくはない *1ですし、自然言語処理であればどういうトークンが重要だったかというところである程度解釈できるように思います。 それらに比べても、画像処理・信号処理の分野での特徴重要度という

こちらはエムスリー Advent Calendar 2022 Advent Calendar 2022の延長戦31日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 検索エンジニアってどこで採用できるの？ という話を至る所でよく聞きます。僕自身も、自ら検索エンジニアと名乗るエンジニアにほとんど出会ったことがありません。やはり、世の中の検索にまだ魅了されていないエンジニアを情報検索の世界に引き込むしかないので、今回は僕が情報検索にハマった経緯を紹介することで一人でも多くのエンジニアを情報検索の世界に引き込めればと思います。 情報検索との出会い 情報検索の探索 発展 まとめ 情報検索との出会い 僕が最初に情報検索に出会ったのは前職の白ヤギコーポレーションでした。そこではElasticse

はじめまして、HR課の後藤です。本日は、新卒採用関連のお話です。 先日、2024年新卒採用の募集要項を公開しました。就職活動中の学生の方はぜひ求人情報もご覧ください。 最近の私の仕事は、新卒採用の説明会運営や、1dayワークショップの準備などです。また、表に見えない仕事として、新卒採用におけるWebコードテスト(HireRoo)の社内導入をしています。今日は選考にあたって役立つ情報をお伝えしたいと思います。 この記事を通じて伝えたいこと 新卒採用においてコードテストを行う理由 Webコードテスト突破のためにできる準備 Webコードテスト導入の背景 当社の新卒採用では、第一期生の2021年から、昨年の2023年採用に至るまで、ずっとコードテストを選考試験に取り入れていました。 Webの一次面接時に、画面共有しながらライブコーディングをしてもらい、書いたコードについてエンジニアと対話してもらう

Slackの絵文字入力サジェストって意外と不思議な挙動をする。普通に部分一致だと思って入力しがちだけど、時々ハッと、あれなんでこの絵文字がサジェストされたんだ？って意外な挙動をすることがある。 例えば上記の会話では、なぜかminorって入力したら"バドミントン🏸"がサジェストされまてます💢*1*2 ここから、Slackの絵文字サジェスト面白いねって話になりました。 ってことで、今回は、Slackの絵文字サジェストアルゴリズムを機械学習で模倣する、ひいては、こういう、ブラックボックスな入出力システムがあったときに、機械学習でそれをコピーするってどうやってやるんだろ、って話をします。 学習完了したsuggest関数 TL;DR 機械学習してみよう STEP1: 学習可能な問題に落とし込む is_match() STEP2: 学習データはどう作る? query x emojiの全羅列 STE

こんにちは。エムスリーエンジニアリンググループAI・機械学習チームの池嶋です。これは エムスリー Advent Calendar 2021 の16日目の記事です。 AIチームでは機械学習を使ったプロダクトを開発し、自社サービスの改善や医療の臨床領域における研究開発など、社内外で多くのビジネス課題解決を目指しています。 このブログでは、機械学習で数量を当てるという問題に対して、AIチームにおける「予測モデル作成時の工夫」と「モデル性能説明手法」について紹介します。 予測モデル作成時の工夫編 回帰ではなく分類モデルを使用 複数のモデルをアンサンブル 特徴抽出からモデル学習・推論までパイプライン化 モデル性能説明手法編 PR曲線やROC-AUC：直感的でない ローレンツ曲線：ユースケースが限定される パーセンタイルごとの実ラベル割合グラフ：セグメントが多いとわかりにくい 混同行列を多クラスに拡張

テストデータでの予測結果 先日新橋を散歩していたときの会話。 妻 "こういう路地って新橋らしさあるよねー" 私 "本当です？どういうところで当てられるの？" 妻 "歩道の雰囲気？" 私 "うーん" ということで、MLエンジニアたるもの、そんなことが本当にできるのか機械学習で検証してみましょう。 写真から撮影場所を当てる 作るもの 港区らしさとは 柵でわかる中央区・千代田区・江東区 最もXX区に間違えそうなYY区の写真とは 技術的な話 参考論文: PlaNet Google Streetview API と Geolonia API 学習について 他の地域の分類機を作る 自分の撮った写真の地域を当てる Limitation まとめ We are hiring! おまけ: モデルと勝負！ 写真から撮影場所を当てる こんにちは、AI・機械学習チームリーダーの大垣(id:Hi_king)です。 こ

複数人で共有して使う研究室のサーバでは、rootfulなDockerを用いると権限周りでさまざまな問題が発生します。 Docker rootlessで権限関係の諸問題を解決し、最強の研究室サーバ環境を作りましょう。 筆者の研究室の環境 Docker rootlessとは Set Up 前提 管理者が一括で行うこと 必要なパッケージのインストール Dockerのインストール nvidia-docker2のインストール uidmapの設定 各ユーザで行うこと 運用上のtips data-rootの場所 DOCKER_HOST環境変数の一括設定 subuid/subgidの一括設定 セットアップの自動化 ファイルの所有権 さいごに Special Thanks 筆者の研究室の環境 筆者は東京大学 相澤・山肩・松井研、山﨑研で、院生鯖缶をしています。コンピュータビジョン・マルチメディアを主な研究分

Comicolorization: Semi-Automatic Manga Colorization どんなもの？ 漫画に特化した着色作業の自動化。 白黒漫画と参照画像を入力として、多層畳み込みニューラルネットワークによるカラー漫画半自動生成を実現した。 関連研究 白黒漫画ではなく自然画像に対して行う論文が飯塚らによって報告された。 詳細はこちらの資料に譲ります。 以下の比較の (a)は先の飯塚らの実装を使ってイラストの着色を行っている。 (b)ではGANにおいて一般に用いられる敵対的損失を(a)に追加したもの。 (c)は提案手法である。 (a)では淡い色であまりいい感じには思えない。 (b)(c)ではいずれも鮮やかな色で着色されており、(a)よりいい感じである。 じゃあ(b)でいいじゃんと思うかもしれないが、漫画の着色となると話が変わる。 漫画では複数コマで登場する同一キャラクターは同

カドカワの社長退任や『シン・ゴジラ』の舞台裏、そして教育事業に賭ける情熱とは？──川上量生・特別インタビュー 知ってる人にはいまさらな説明になるが、電ファミニコゲーマーは、元々はKADOKAWAグループの中で立ち上がったサービスであり、ニコニコ動画の運営元として知られるドワンゴで運営されていたという歴史がある。 それが、ドワンゴの業績悪化とそれに伴うKADOKAWAグループの再編の中でサービス中止が言い渡されたものの、当時、編集長を務めていた筆者（TAITAI）が継続を希望。事業自体を譲り受ける形で会社を興し、いまに至っている。 普通だったら「袂を分かつ」みたいな見え方もする一連の動きなのだが、ドワンゴやKADOKAWAとの良好な関係は引き続き継続しており、インフラ部分は未だにドワンゴのエンジニアが担当していたりもする。サービス中止！という厳しい決断があった一方で、「これは良いメディアだか

こんにちは、エムスリーエンジニアリンググループ/AI・機械学習チームの大垣 (@Hi_king) です。 これは エムスリー Advent Calendar 2020 の14日目の記事です。 前日は id:juntaki による、Goのchannelとスケジューリングでした。 私達AI・機械学習チームの挑戦している課題としては、MLによるサービス体験の向上、MLを中心とする新規サービスなど諸々あるのですが、 今日は、なかでも、臨床現場で利用するためのAI開発について書いてみようと思います。 上記のスライドはこのテーマで45分ほど社内勉強会を行うために作ったもので、 このなかから、エッセンスをかいつまんでブログ記事にしてみました。 記事中で紹介しきれなかったそれぞれの研究などはスライドをあらためて眺めていただけると幸いです。 私自身は、もともとコンピュータビジョン分野が専門で、医療分野に本格

こんにちは！ エンジニアリンググループ マルチデバイスチーム 新卒1年目の小林です。 エムスリーでは、2週間に1度、Tech Talkという社内LT会（現在はリモートで）が開催されています。これは、とある回の発表テーマリストです。 Tech Talkのとある回の発表テーマリスト このように、最近エムスリーでは文字列が流行っている（？）ようなので、その勢いに乗って私も文字列照合アルゴリズムについて書きたいと思います！（業務とは全然関係ない話です） Knuth-Morris-PrattやBoyer-Mooreアルゴリズムは解説記事がたくさん出ていると思うので、この記事ではシンプルかつ高速なQuick-SearchとQuite-Naiveアルゴリズムについて説明し、速度比較を行った結果についてご紹介します。 文字列照合アルゴリズムとは テキストとパターンという文字列が与えられたときに、中に出現す

エムスリーエンジニアリンググループ AIチームの笹川です。 バスケと、ロードバイクが趣味なのですが、現在、NBAのplayoffと、Tour de Franceが同時に開催されていて大変嬉しい毎日を過ごしています。 特にNBAのplayoffは、連日overtimeとなるような激戦や、giant killingがあったりのアツい戦いが繰り広げられていて最高です。 そういう状況なので（？）、今回は先日取り組んだ、Pythonの機械学習バッチを実行するdocker imageのサイズ削減についてのアツい戦いについて紹介したいと思います。 膝の上に登って寝る為に、筆者がデスクに戻るのを机の下で待ち構える犬氏（かわいい） 今回の取り組みでは、もともと3GB程度だったPythonのML用のimageを、約2.0GBに削減することができました（それでもなかなかのサイズ。MLのimageは特に大きい印象

著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換

(デモ用の3Dモデルは「ニコニ立体ちゃん」をお借りしています) 概説 技術スタック three-js/three-vrm clmtrackr-js 実装 工夫をつける まばたき リップシンク パラメータのバリデート まとめ 余談 We are hiring! 概説 この記事は エムスリー Advent Calendar 2019 の19日目の記事です。 好きなマスコットはGopherくん、好きな言語はRuby！　最近の業務は主にJavaScriptとKotlin！　エムスリーエンジニアリンググループのowlです。 さて、弊社内で毎週行われる『テックトーク』ではエンジニアが好きな技術の話を発表し合っています。最近になってこの発表を画面/音声キャプチャして保存し、後からいつでも発表内容を視聴できるシステムが構築されました。🎉 www.m3tech.blog ただ、このシステムでは当然ながら発

初めてまともに携わったシステムはNTT研究所で作られていたCBoCといわれるものであった。内容について詳しくは述べないが、国内では割と先進的でありながらとにかくNTTの事業会社（割と稼いでいる）で使えるものを作ろうというものであった。この時期は研究所は研究だけしていればよいというものではなく事業貢献が求められており、論文になるような研究を生み出すだけでなくそれをどうやってビジネスにするかが重要視されていたのだと思う。このとき作ったものは実際に事業会社で使われ、退職の前後には年間数万円が口座に振り込まれるようになっていた。なお収入なので税金の扱いを間違えないように。しかし特許といえばガッポガポ…というイメージだがそんなに当たることはない。わたしが携わったそのソフトウェアは確かに使われていたが、事業会社のビジネスの中核を支えていくようなものにはならなかった。ならなかったのでメンテナンスフェーズ

こんにちは。エンジニアリンググループ AI・機械学習チームの大垣です。 これは エムスリー Advent Calendar 2019 の10日目の記事です。 前日は id:sora_sakaki による、量子ゲームを開発した話でした。 さて、この記事ではデータエンジニアの皆さんが戦われているであろうログデータの活用の話をします。 もちろんエムスリーでもレコメンドやコンテンツの出し分けなどログデータを活用したシステムが開発されています。 ここでは、そのログに加えて、アンケートを用いることで、解釈しやすいユーザーの嗜好分類を行う話をします。 なおこの内容は本日の Machine Learning Night というイベントで簡単に紹介し、スライドも公開する予定です。ご興味のある方はそちらも是非ご覧ください。 webサービスでの行動ログとアンケートの結果を紐づけて予測モデルを作る。アンケート非回

はじめに アスキーアート、いわゆるAAとは、広い意味でいえば文字で作られた絵です。 元々は95個の表示可能ASCII文字を使用したテキストアートのみを指していましたが、 技術の発展とともにパソコンで使える文字も増え、今ではAAを作ろうと思えば何万種類の文字が使えます。 AAは文字で作られているので、普通の文章と区別するのは意外と容易ではありません。 特にAAがよく使われているインターネットでは、言語とアスキーアートの境界線が微妙なケースが多いです。 文字の種類の多さとインターネットの表現の幅広さを考慮し、 手動でAAを識別するルールを作るのは困難だと思われます。 今回は、ニコニコ動画のコメントを中心にマルチラベリングのタスクを行いました。 ラベルはAAを含む4種類を定義し、与えられた文章に対してラベルを予測するニューラルネットワーク「AAちゃん」を開発しました。 デモ モデルを読み込んで任

niconicoのゲーム投稿サービスRPGアツマールに投稿されたゲームのプレイ方法を学習するシステム「マールタス」を紹介します。 下のデモはマールタスがゲーム「きまぐれバウンドボール」を学習させた際の推移を再生できるようにしたものです。 グラフの横軸は学習のステップ数、縦軸は報酬の平均を示しています。グラフをクリックするとその場所に最も近い段階のプレイ動画を再生します。 学習開始直後はほとんどボールを打ち返せていませんが、学習が進むにつれて段々とボールを落とさず打ち返せるようになっていきます。 マールタスとは ビデオゲームAIは人工知能研究の一分野としてCOMプレイヤーの振る舞いのデザインやゲーム開発におけるデバックの自動化など、多様な研究が行われてきました。 最近では後述する強化学習への注目から、ATARI[1]のような古いアーケードゲームに留まらずStart Craft IIのような複