イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
平成6年生まれ私の平成邦楽TOP30
自分語りしかない 30-21プラスチックガール / CAPSULE (2002)作詞作曲：中田ヤスタカネオ渋谷系 雪のライスシャワー / dorlis (2005)作詞作曲：dorlis 編曲：天野清継ビッグバンド 雨は毛布のように / キリンジ (2001)作詞：堀込泰行 作曲：堀込高樹 編曲：キリンジ、冨田恵一AOR、男女ボーカル渋谷で5時 / 鈴木雅之、菊池桃子 (1993)作詞：朝水彼方 作曲：鈴木雅之 編曲：有賀啓雄ソウル、男女ボーカル接吻 kiss / ORIGINAL LOVE (1993)作詞作曲：田島貴男 編曲：オリジナル・ラヴソウル、渋谷系じゃないENDLESS SUMMER NUDE / 真心ブラザーズ (1997)作詞：桜井秀俊・倉持陽一 作曲：桜井秀俊 編曲：CHOKKAKU 夏プラチナ / 坂本真綾 (1999)作詞：岩里祐穂 作曲編曲： 菅野よう子 多重録音コ
アル(https://alu.jp)というマンガサービスを作っている、けんすうと申します。 最近、マンガ新検索MNMという、イケてるサービスを作りました。 何かというと、マンガを入れると、読んでいる人が同じデータから、「だいたいこのマンガが好きな人はこんなマンガも好き」という、「距離が近いマンガ」を出してくれるというものです。 たとえば、「ドリフターズ」と入れると「HELLSING」「ヨルムンガンド」「ゴールデンカムイ」とでました。 お陰様で、結構バズりまして、いろいろなところで話題にしていただいたのです。 こういうの待ってたし、実際にやってみたら本当に好きな漫画ばかり出てきて精度もピカイチ。 「近いマンガ」がわかるマンガ新検索 MangaNearestMap #アル https://t.co/YoYhHttYus @alu_incより — なかみち (@shuhei_nakami) Ju
イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl
2019.08.22 働き方 AI等のテクノロジー で「売ることを空気に」することを目指すというテックカンパニー・メルカリ。同社では現在すでに国内外から集まった約40名のAIエンジニアが活躍しており、10月にはさらに約16名の新入社員を迎えるという。 そして今、メルカリの中でも特に偉才っぷりを発揮しているのが、AIエンジニアの松岡玲音（まつおかれいん）さん（27）だ。 株式会社メルカリ AIエンジニア 松岡玲音さん（@lain_m21） 1992年生まれ。東京大学薬学部卒業後、アメリカの大学院へ渡り宇宙工学を専攻。その後、機械学習のロボットへの応用へ興味を持ち、マサチューセッツ工科大学（MIT）の航空宇宙工学専攻へ転学。ロボットAIなどについて研究を重ねた後、中退。2018年10月よりメルカリでインターンシップをはじめ、2019年１月に入社し、現職 メルカリに入社するまで「Pythonは独
2020年のSEOまとめ
2020年のSEOで成功するための最重要な方法と考え方を書きました。 参考：SEO予測記事 2021年のSEOまとめ 2020年後半のSEOまとめ 2019年のSEOまとめ 2018年のSEOまとめ 参考2：動画で一部解説しました。 2019年はSEOの役割が大きく変わった2019年のSEOで最大のインパクトは大別して2つあります。 企業サイトや大手サイトですら変動で落ちやすくなった事コンテンツの制作・維持コストの高騰2020年はこの流れが更に加速するものと考えられます。1つ1つ見て行きましょう。 企業や大手サイトですら落ちる現実具体的に挙げる事は控えますが、かなりの数の有力サイトがGoogleのアップデートで順位下落しました。 2017年の健康アップデートから始まり、2018年頃までは、医療健康ジャンルや、YMYL関連ジャンルを中心に権威性がかなりの強さで重視されていましたよね。 つまり
【2021年版】国内外Tech系YouTubeチャンネル10選 - 登録者数順まとめ！ - - RAKUS Developers Blog | ラクス エンジニアブログ
技術広報のyayawowoです。 エンジニアの皆さん、プログラミングの勉強は捗っていますか？ 効率的な学習ができていますか？ 本記事では、昨今盛り上がり続けているYouTube市場で、 プログラミング学習をメインで配信している国内・国外のチャンネルをご紹介します。 動画を見ながらコーディング学習もできるので、一石二鳥？いや、三鳥なレベルで効率的な学習ができますよ。 また、YouTubeの高度な検索方法にも触れていますので是非最後までお読みいただけますと幸いです！ では、スタート！ 国内チャンネル プログラミング全般を学習するなら？ たにぐち まことのともすたチャンネル フロントエンドを学習するなら？ しまぶーのIT大学 【とらゼミ】トラハックのエンジニア学習講座 バックエンドを学習するなら？ キノコード / プログラミング学習チャンネル プログラミングアカデミー 渋谷で働くエンジニア福の「
[深津さんから教わった！]フィッシュボーン図で課題を整理する｜Shino | Software Designer
マネーフォワードでは、THE GUILD代表の深津貴之さんをアドバイザリとして招き、日頃からサービスデザインに関する助言をいただいております。 先日は、社内のサービス開発力の底上げを目的とし、フィッシュボーン図を使った課題整理のワークショップを行っていただきました。 PM、デザイナー、ビジネスのメンバーを中心に、100名近くが参加しています。 今回はそこで学んだ内容をご紹介します。 表面的に対処してしまう問題 プロダクト開発の現場には、日々さまざまな要望が届きます。 それらに対処する際に気をつけたいのが「表面的に対処してしまう問題」です。 例えば次のようなケースです。 ユーザーが「検索機能を強化してほしい」と言ったので、パワフルな検索オプションを搭載しました。ユーザーの声にそのまま従っており、その背景にある課題は分からないままです。 機能は追加したが効果がでなかった、効果がよくわからない、
![[深津さんから教わった！]フィッシュボーン図で課題を整理する｜Shino | Software Designer](https://cdn-ak-scissors.b.st-hatena.com/image/square/6523460e346c6d5bcc1abae1a494e29f771cac67/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F48408702%2Frectangle_large_type_2_8c9ce465cde76a27143ab6529dad285c.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
【英語学習】海外の面白い・勉強になるプログラミング系Youtuberを5人&その他英語圏のおすすめ動画を一気紹介！ - Qiita
【英語学習】海外の面白い・勉強になるプログラミング系Youtuberを5人&その他英語圏のおすすめ動画を一気紹介！Googleプログラミング英語YouTube海外 はじめに 僕は受験生のとき、洋書を読みまくる、という勉強法に覚醒しまして、それ以来、英語が楽しくて楽しくてたまらなくなりました。 大学に入ってからも、洋書を読んだり、海外ドラマ・映画を見たり、英語のオーディオブックを聴いたりとしているうちに、いつの間にかTOEIC900点台、TOEFL90点代と、英語がかなりできるようになりました。もちろん、スピーキングなどはまだまだですが！ そして本題です。最近僕の中では、「英語圏のYoutube動画」を見るのにハマっています。一度ハマったら抜け出せない、底なし沼レコメンドエンジンを有していると名高いYoutubeですが、さすがにずーっとYoutubeを見ていると、このままでは堕落してしまう、
機械学習を記事配信に採用したママリ - 0から構築したレコメンドエンジンのアーキテクチャ設計 - エンジニアHub｜Webエンジニアのキャリアを考える！
機械学習を記事配信に採用したママリ - 0から構築したレコメンドエンジンのアーキテクチャ設計 コネヒト株式会社が運営する女性向け情報サービス「ママリ」では、2019年12月に記事配信で機械学習によるレコメンドエンジンを構築、2020年初頭にテストが完了しました。 機械学習を採用した背景、設計したアーキテクチャとテストの結果について伺いました。 コネヒト株式会社が運営する、女性を対象とした情報サービス「 ママリ」は、2014年のリリース以降、着実にユーザーを増やし、2020年3月現在、アプリ会員数は240万人（日本で2019年に出産した中で3人に1人が利用）、ママたちが集まるオンラインコミュニティとして定着しています。 ママリでは2019年12月、サービス内に掲載する記事の配信について機械学習を採用したレコメンドエンジンへ変更し、2020年初頭にテストが完了、いよいよ正式リリースとなりました
【Team & Project】LINEの機械学習を活用したサービス開発を担当しているチームを紹介します
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEの機械学習を活用したサービス開発を担うMachine Learningチームを紹介します。Machine Learningチームのそれぞれのポジションで開発を進めている4名（菊地悠、齋藤祐樹、櫻打彬夫、境美樹）に話を聞きました。 ―― まず、自己紹介をお願いします。 菊地：2017年10月にプロジェクトマネージャーとして入社しました。前職は携帯電話キャリアでソフトウェア畑の研究系業務からスタートし、転職直前は位置情報系サービスの分析・開発に携わっていました。現在はチームのマネージャーとして、プロジェクトや業務の管理を行なっています。 齋藤：前の会社では広告のCTR予測やショッピングサイトのランキン
【第4回】競技プログラミングはITエンジニアをどう鍛えるか | GeeklyMedia(ギークリーメディア) | Geekly（ギークリー） IT・Web・ゲーム業界専門の人材紹介会社
プログラミングのスキルは、ウェブをはじめシステム開発の業務に欠かせないものですが、それ自体を「競技」として楽しみ、練習を通じて上位を目指すという世界もあります。そんな競技プログラミングにおいて「強くなる」ことは業務におけるプログラミングスキルの向上に関係があるのか、そもそも人間にとって「学び」とは何なのか、日本語で参加できる競技プログラミングのコンテストを定期的に開催するAtCoder株式会社の高橋直大さんと青木謙尚さんが、株式会社一休でウェブシステム開発に携わる伊藤直也さん、所澤友大さんと語ります。 ・伊藤 直也さん / 株式会社 一休 執行役員 CTO 新卒入社したニフティ株式会社でブログサービス「ココログ」を立ち上げ、CTOを務めた株式会社はてなでは「はてなブックマーク」などの開発を主導。グリー株式会社では統括部長としてSNSを担当した。2016年4月、一休に入社し執行役員CTOに就
はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorization SVD（Singular Value Decomposition） Factorization Machine 深層学習を使った推薦手法 ニューラルネットワーク推薦手法に対する警鐘 Recboleプロジェクト Recboleプロジェクトを用いた各アルゴリズムの検証 General Re
こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコメンドアルゴリズムについて 強調フィルタリング（アイテムベース） Matrix Factorization 最後に ママリ内での課題 ママリはサービスとして6年目を迎え、サービスの成長とともにアプリ内の記事数も増えており、それに伴いユーザーが本来欲しい情報にたどり着くことも難しくなってきました。 加えて「子育て層のユーザー」という切り口1つとっても、0才児のママと1才児のママでは悩みや欲しい情報がまったく異なります。 このような背景から、これまで人的に行っていたルールベースで
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。1回目に登壇したのは、株式会社DROBEの岸本将志氏。ChatGPTを使ったプロダクト開発について発表しました。 登壇者の自己紹介 岸本将志氏：基本的には、「ChatGPT」を使って、新しいサービスを作りますという話をしようと思っています。 内容としては、自己紹介とChatGPTを使ったサービスの概要と、どう実現しているかという話と、プロンプトを改善したという話と、システムの構成の話と、最後に今後の展望を話せればと思っています。 自己紹介です。株式会社DROBEの岸本と申します。主に、機械学習を用いたサービスの開発や、サービスの周辺のインフラなどをやっていて、いわゆる機械学習を専門
100名規模の開発体制にスクラムを取り入れる、LINE NEWSのリードエンジニアたちが工夫したこと
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog サービス・機能やそれにまつわる開発の裏話や取り組みを聞く「Product Story」シリーズ。今回は、主要ニュースからエンタメまで、あらゆる話題をLINEアプリ上で読め、月間利用者数7,500万人(2020年4月末時点)を誇る国内No.1スマートフォン向けニュースサービス「LINE NEWS」の開発チームです。 約100名が携わり、日々様々なプロジェクトが進行するLINE NEWSでは、より柔軟かつスピーディーな開発を目指し、アジャイル開発の手法の1つであるスクラムが取り入れ、3つのチームに分担して取り組んでいます。 LINE NEWSの大規模開発体制においてスクラムを導入した背景や実際に取り組んで分かったメリットなどについ
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
こんにちは、ZOZO NEXTでウェブエンジニアを担当している木下です。先日、弊社が運営するオウンドメディアのFashion Tech Newsにおいて、記事リストのパーソナライズを行いました。本記事ではパーソナライズ導入における、要件定義、レコメンドエンジンの比較、実装での知見や注意点についてまとめます。 fashiontechnews.zozo.com 背景 解決方法の検討 課題の分析 パーソナライズ手法の検討 レコメンド方式について サービスの比較 Amazon Personalizeの実装 実装の流れ アーキテクチャ 実装での工夫点 採用したアルゴリズム アイテムデータの更新頻度 ユーザーの識別 注意点 AWS Personalizeのサンプルリポジトリが古い データの収集には時間がかかる まとまった料金が発生する まとめ 背景 「Fashion Tech News」とは、2018
こんにちは。ファンと共に時代を進める、Web3スタートアップのGaudiyで、フロントエンドエンジニアをしているkodai（@r34b26）です。 Gaudiyでは、Airbnbが採用していることで有名な「SDUI（Server-Driven UI）」という設計手法を取り入れています。 先月のTech Blogでは、ユーザーに対してファンダムな体験を届けるために実践している、スキーマ駆動開発についてお伝えしました。 techblog.gaudiy.com 今回は少し視点を変えて、顧客やユーザーと対峙する社内メンバーに対して、ファンダムな体験を届けるために実践している、SDUIについてまとめてみます。 GaudiyでSDUIを取り入れた理由や、その実装方法なども書いてみたので、一事例としてよければご参考ください。 1. SDUI（Server-Driven UI）とは 2. SDUIのメリッ
本記事はNTTドコモR&Dアドベントカレンダー2021の8日目の記事です． こんにちは、NTTドコモの橋本(@dcm_hashimotom)です． 業務ではレコメンド関連の技術開発・施策検討を行っており，主にPythonやBigQuery, Apache Sparkを触ってます． SNSなどで投稿したコンテンツの検索性を上げるためには，そのコンテンツへのタグ(またはハッシュタグ)の付与が重要です．Qiitaではタグは5つまで付与することができ，タグを指定した絞り込み検索や，マイページでのプロフィールに使われております．しかし，タグの付与はユーザ手動なものが多く(要出典)，検索性が高いものを選択するためには，ドメイン知識が必要です．なので，タグを付ける際に「このタグがついた投稿では他にこんなタグもついてます」的なレコメンドがあれば有用そうです．また，レコメンドということですが，近年レコメンド
英治出版主催で行われた『DXの実務――戦略と技術をつなぐノウハウと企画から実装までのロードマップ』出版記念イベントの模様をお届けします。著者の古嶋十潤氏の現場経験にもとづく具体性と汎用性が特長の本書。本記事では、「顧客体験」向上のためのDX推進における、実務でのポイントについて解説しました。 「顧客体験」改善のための、DXにおける「ビジョン」の重要性 古嶋十潤氏：さて、DXの実務を推進する中で、「顧客体験」というものは、みなさん一度ならずとも考えたことがあると思います。この点、それを良くするために、みなさんは実務でどのような取り組みをされているでしょうか？ 昨今のDXのトレンドとしては、オンラインとオフラインをいかに統合していくかが多くの企業で重視されています。それを考える上で重要なのは、まずはビジョンを定めることです。経営戦略、事業戦略、プロダクト戦略、組織戦略など、何か始める上では、そ
近年、機械学習（ML）やディープラーニング（DL）といったAI関連技術をプロダクトへ応用し、新たな価値を生みだそうという動きが加速しています。その中で、従来の「DevOps」の考え方を、機械学習向けに発展させた「MLOps」という新しい概念が生まれ、注目を浴びています。MLOpsが注目される背景には、どのような課題があるのか。そして、実際に現場でMLOpsに携わる人々は、何を目指し、どんな取り組みを行っているのか。ヤフーとLaunchableで、それぞれMLOpsをリードしている2人のエンジニアに語っていただきました。 機械学習システムの普及を契機に関心が高まる「MLOps」 黒松：ヤフーの黒松です。私は大学時代に、ビッグデータを研究テーマにしており、OSSとして当時注目されていたHadoopなどを扱っていました。卒業後は富士通研究所に入り、基盤研究の一環として、機械学習のための基盤を作り
【ネットワークの統計解析】第8回 事例紹介「Uber における GNN の活用」 - Sansan Tech Blog
こんにちは． DSOC 研究開発部の黒木裕鷹です． 夏の訪れを感じつつある最近ですが，ランニングをはじめました． 形から入ろうと思い，かっちょいいシューズとウェアを揃えたのですが，なんとか1週間は続いており気分が良いです． まだまだ2, 30分走るだけでバテバテになってしまいますが，いずれは健康大魔神になろうと思っています． さて，この連載では，自分の勉強・復習も兼ねて，ネットワークデータにまつわる（統計）解析を気の向くままに紹介しています． 前回の記事では，グラフラプラシアン・グラフフーリエ変換について簡単におさらいしました． あまり理論やモデルの紹介ばかりが続いても面白くないので，今回の記事ではビジネス応用の事例紹介をしたいと思います． 具体的には，Uber における GNN の適用事例を2つほど取り上げることにしました． 私たちの生活にもすっかり浸透した Uber や UberEat
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
仕組みの見えるScratchで遺伝的アルゴリズムを作る面白さ。「Scratchではじめる機械学習」( 石原 淳也、倉本 大資 著、阿部 和広 監修)｜TAKASU Masakazu
献本御礼。 僕は前職でテキストマイニングやレコメンドエンジンを使ったサービス構築をしていたので、決定木だの協調フィルタリングだのニューラルネットワークについてお客さんに説明したことはある。とはいえかなりブランクが空いていて、最近の知識はぜんぜんわからない。職業エンジニアだったのは20世紀の話なので、最近の「Pythonで..」的のやつは環境構築で二の足を踏んでしまう。（最近はラクになってそうだけど） この本を読み始めたモチベーションは、Scratchよりも機械学習の知識をアップデートしたいからだ。 Scratchではじめる機械学習この本の序盤はweb版のScracthに機械学習用の機能拡張を読み込ませる形で進む。プログラム一覧はオライリーの書籍サイトに載っている。 多くはGoogle等が公開している機械学習のチュートリアルをScratchと連携させて使うのだけど、紹介されているチュートリア
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
ヤフーにて10年以上、データアナリストとして勤めていた西村純（にしむらじゅん）さん。今年の8月に、西村さんはヤフーを辞め、ストアーズ・ドット・ジェーピーのデータアナリストへ転職する決断をしました。日本最大級のデータを保有量を持つであろうヤフーを辞め、スタートアップへ移ったのはなぜか？ 西村さんにその真意を伺いました。「データアナリストのあるべき姿」、「データアナリストとクリエイターの融合」などデータアナリストとして10年以上のキャリアを持つ、西村さんだからこそ感じる時代の変化についてお話いただきました。 なぜヤフーを辞めたのか ──前職のヤフーには10年以上データアナリストとして勤めていたとお聞きしました。なぜ、ストアーズ・ドット・ジェーピーへ転職を決めたのでしょうか？ きっかけはストアーズ・ドット・ジェーピーの代表である塚原からTwitterのDMをもらったことでした。「データアナリスト
古いAWSインフラのフルリプレイス 王道マネージドサービスを作るためにやった8つのこと DevOpsの劇的改善！古いアーキテクチャから王道のマネージドサービスを活用しフルリプレイス！ #1/2 2019年6月12〜14日、幕張メッセにて「AWS Summit Tokyo」が開催されました。アマゾン ウェブ サービス （AWS） に関する情報交換や、コラボレーションを目的として行われるこのカンファレンスでは、140社以上の利用企業による先進事例セッションをはじめ、数々のイベントを実施しました。プレゼンテーション「DevOpsの劇的改善！古いアーキテクチャから王道のマネージドサービスを活用しフルリプレイス！ 」に登壇したのは、株式会社ビズリーチ、キャリトレ事業部プロダクト開発部部長の外山英幸氏。ビズリーチが運営する転職サービス「キャリトレ」のインフラリプレイスの舞台裏を語ります。前半パ
大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する - DMM inside
はじめに こんにちは、DMMで機械学習エンジニアをしている二見です。 2020年に新卒で入社し、普段は検索やレコメンドの改善に従事しています。 DMMでは50を超えるサービスを提供しており、様々なデジタルコンテンツを取り扱っています。 また、各サービスには多くのユーザーの膨大なデータが日々蓄積されてます。 我々のグループでは、それらのビックデータを活用した改善施策を行うことで、各事業部の成長に日々貢献しております。 本記事では、新たにディープニューラルネットワークベースの先端的なレコメンドシステムを構築し、サービスに導入した事例を紹介したいと思います。 レコメンドエンジンの導入を検討している方・ニューラルネットベースのレコメンドに興味がある方の参考になれば幸いです。 目次 はじめに 目次 DMMにおけるレコメンドへの取り組み 背景 Tensorflow Recommendersとは 1.
エンジニア組織のリファクタリングの話
この記事は GMOアドマーケティング Advent Calendar 2020 1日目の記事です。 はじめに こんにちは、 GMOアドマーケティング 開発本部 本部長のクリスです。 今回はエンジニア組織のリファクタリングについてお話しします。 組織作りは手段であって、目的、会社の規模、事業内容、またトップの考え方などによって 変わります。 現在の開発体制 弊社はアドテク事業としてSSPのGMOSSP、アドネットワークのAkaNe、DSPのReeMo、レコメンドエンジンのTAXEL、メディア事業としてめるもなど、幅広いプロダクトを自社開発で提供しています。 体制としてはプロダクトごとにエンジニアがアサインされ、チームにてそのプロダクトの開発を行う、いわゆるプロダクトチーム制となります。また、ほとんどのチームはスクラムを用いて開発をしています。 図で表すとこんな感じ よく見られる開発体制で良い
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． コネヒトでは，テクノロジー推進部に所属し，組織横断的に機械学習（ML）施策の実施・推進を通してサービスグロースする役割を担っています． はじめに MLチームでは，少人数ながらレコメンドエンジンの開発*1やカテゴリ類推*2などの機械学習を用いたサービス開発を実施しています．一方でプロダクション環境に投入するMLシステムの数が増えると，それら1つ1つが属人的になったり，テストが不十分だったり，運用が疎かになったり，それ以外に技術的にも負債が蓄積するケースがあります．私たちのチームでもこれらが課題の1つとなっています． 上図はよく目にするMLシステムの技術的負債の図*3ですが，MLシステムはモデル開発だけでなく，MLシステムを支える周辺のインフラや各種メトリクスのモニタリングなど考慮すべき項目が多くあります．加えてMLシス
自動運転車や囲碁解析、ネットフリックスのレコメンドの裏側では実際何が起こっているのか──『スマートマシンはこうして思考する』 - 基本読書
スマートマシンはこうして思考する 作者:ショーン・ジェリッシュ発売日: 2020/03/04メディア: 単行本この『スマートマシンはこうして思考する』は、smart machines、ちまたでＡＩといわれているものが実際どのような仕組みで「知能があるような」振る舞いをみせているのかを解説する一冊である。各種アルゴリズムの詳細に立ち入るわけではなく、かといって抽象的にしすぎるわけでもなく、「そこで何が行われているのか」がコンピュータ科学の知識があまりない人間にとってもわかりやすいように書かれている。 本書で取り上げられていくのは自動運転やNetflixのユーザへのレコメンドエンジン、囲碁で人類最強となったAlpha Go、クイズ王に勝ったクイズAIのワトソンなど、各分野でブレイクスルーを起こした成果の数々と、それを実施した人々の物語だ。自動運転にしろレコメンドエンジンにしろ、一つの企業やチー
【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 | Amazon Web Services
AWS Startup ブログ 【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 ML@Loft #6 × MLPP #4 「自然言語・レコメンド・時系列解析 」 AWS 機械学習ソリューションアーキテクトの宇都宮 ( Twitter: @shokout ) です。本ブログでは ML@Loft 第6回 x MLPP 第４回「NLP/レコメンド/時系列解析」の開催概要を報告いたします。 ML@Loft は、 機械学習を AWS 上でプロダクション運用しているデベロッパー・データサイエンティストのためのコミュニティイベントです。毎月テーマを設定し、前半は各分野のエキスパートの方々からの LT、後半は機械学習のサービス導入のノウハウや様々なツラミについて、LT のご講演者の方々を交えて参加者全員参加型のお悩み相談ラウンドテーブルという構成で A
イントロ最近Web3.0という単語をよく耳にします。従来のインターネットに比べて何が違うのでしょうか。また、Web3.0が浸透していくと、私達の仕事はどう変わるのでしょうか。私自身、数ヶ月前まで、Web3.0について全然知りませんでしたが、Web3.0について調べてみると、ワクワクするような可能性がたくさん見えてきました。そこで、自分の頭の中の整理を兼ねて、「Web3.0におけるデータサイエンス」というタイトルで、データサイエンスという切り口で説明しようと思います。その理由は、私自身がデータサイエンティストとして企業で働いているのと、Web3.0の登場が、今後データ系人材の働き方を大きく変えるインパクトがありそうなためです。 あらかじめこの記事のサマリーをお伝えすると、 Web3.0において、データサイエンティストの活躍の場が広がりそう Web3.0において、パーソナライズがますます重要に
【自然言語処理入門】日本語ストップワードの考察【品詞別】 - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発
ストップワードの除去は自然言語処理やテキストマイニングにおける重要な作業です． 解析の精度を上げるために不要な記号や単語を等をデータセットから除去します． ストップワードの選定にはタスクに特化した分析が必要ですが，ある程度整理されているデータがあるととても助かります． そこで，今回は私が自然言語処理のタスクでよく行う，日本語のストップワードについてまとめました． また単語の分布などから，品詞ごとのストップワードに対する考察も行いました． このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います． （この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です．） 目次 1. 自然言語処理・ストップワードとは 2. 分析の対象 3. 単語の分布に対する考察 ┣ 出現頻度 上位300件 ┗ 出現頻度と単語 4. 品詞ごとに考察 ┣ 名詞
最適な読書体験をしたい アマゾンなどでレコメンドされる本を上から見ていても読書体験がそんなに良くありません。 本の売り上げランキングなどは、大衆に受ける本がほとんどであり、少々独特なセンスを持つ人たちにはそんなに受けが良くないです。 結果として現状の解決策がSNSや人づてに聞き及ぶぐらいしかないのとジャケ買いなどがせいぜいです どうあるべきかを考えるとき、仮に他人の本棚を知ることができれば、集合知と機械学習を用いて自分に向いているだろう本をレコメンドさせることができます 会社の技術共有会の小話で話した話 Matrix Factorization 2000年台のNetflix Prizeからある伝統的な手法で、シンプルで動作が早く、ユーザが多くアイテムの数がとても多いときに有効な手法です。 DeepLearningでも実装できるし、sklearnなどでも関数が用意されています。 コード 自分
目指すはアプリを開くだけで悩みが解決できる状態。ママのためのQ&Aアプリ「ママリ」を支える機械学習エンジニア、野澤哲照 | エスタイルAIメディア
【野澤 哲照（のざわ たかのぶ）】大学卒業後SIerに入社。薬品や食品などを扱うメーカー企業向けのERPパッケージを扱い、要件定義から開発・導入・保守などに従事。業務の傍ら趣味で行っていた開発がきっかけで、機械学習に出会う。そこから機械学習にのめり込み、2019年3月に実務未経験から機械学習エンジニアとしてコネヒトに入社。機械学習のモデリング・基盤開発・API開発に従事。 ーーお久しぶりです。最初に野澤さんとお会いしたのは弊社のKaggleイベントでしたよね。その時はまだ転職活動中だったかと思います。まず、これまでのキャリアについて教えていただけますか？ 新卒で入社したSIerに5年くらい在籍していまして、その時はERPパッケージ（業務改善システム）の導入をメインでやっていました。業務の半分はお客様のもとへ行って要件定義を行い、もう半分でシステム開発を行うような仕事でした。その時はPyth
すぐに働けて、すぐにお金がもらえる「タイミー」が20億円の資金調達を実施。サービス開始1年2ヶ月でジャフコ・ミクシィ・SBIインベストメントなどから
すぐに働けて、すぐにお金がもらえる「タイミー」が20億円の資金調達を実施。サービス開始1年2ヶ月でジャフコ・ミクシィ・SBIインベストメントなどから22歳学生起業家が運営するタイミーがアプリリリースから1年2ヶ月でシリーズBで20億円の資金調達を実施 応募や面接が必要なく、すぐに働くことができる日本初のワークシェアサービス「タイミー」を展開する株式会社タイミー(所在地：東京都渋谷区、代表取締役：小川 嶺)は、株式会社ジャフコ、株式会社ミクシィ、SBIインベストメント株式会社、株式会社プロロジス、株式会社KIDS HOLDINGS、株式会社WDI、株式会社ネクシィーズグループ、ひだしんイノベーションパートナーズ株式会社、SBSホールディングス株式会社、JR東日本スタートアップ株式会社、The CFO Consulting株式会社、GOSSO株式会社、株式会社トランジットジェネラルオフィス、
Amazonは「クラウド監視サービス」を始める：プライバシーとセキュリティのはざま（2/2） - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
（前回からのつづき）私の経験から言えることだが、部屋の中で人を尾行するようなデバイスは来客を怖がらせる。まあ、パンデミックが流行している間は、家に来客がいることはそれほど重要ではないかもしれないが。 さておき、私は数年前に誕生日パーティーをしていた時、その家には「Jibo」が備え付けてあった。これは自分の存在を察知して、自分の方を向いてくれるロボットなのだが、それってどうなのと数人は嫌な顔をしたのだ。もしかしたらJiboの人間のような頭とデジタルっぽい顔つきがダメで、Echo Show 10だったら避けることができる「不気味な谷」に人々を押し込んだように思う。これらのデバイスの所有者は来客が混乱しても驚くべきではないのだ。 しかし、だ。Echo Home 10は追従するだけじゃないのだ。家から離れているとき、デバイスは何かの物音に向かって旋回することができる「ホームセキュリティシステム」と
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
データが必要なサービスを、無理やり作る方法を紹介します(例：マンガ検索「MNM」)｜けんすう
Netflixを支える推薦システムの裏側｜masa_kazama
MITからメルカリにやってきた20代AIエンジニアが放つ偉才っぷり「趣味でやってみたら天職でした」 - エンジニアtype | 転職type
ディープラーニングを活用したレコメンドエンジン改善への取り組み - ZOZO TECH BLOG
レコメンドエンジン導入までの取り組みとアーキテクチャについて - コネヒト開発者ブログ
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
ChatGPT×Streamlitを使って、わずか1日で開発 自然言語でコーディネートを検索できる「AIスタイリストさん」開発の裏側
Amazon Personalizeの導入における知見と注意点 - ZOZO TECH BLOG
Server-Driven UIの採用背景と実装について - Gaudiy Tech Blog
グラフニューラルネットワークでQiitaのタグづけをレコメンドする - Qiita
課題は「解決する」よりも「発見できる」ことがはるかに重要 顧客体験を向上させるDXの「実務」のポイント
AIシステムが成熟する今「MLOps」が必要とされる理由とは？ MLOpsを推進するために大切なこと
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
職種の壁がなくなる時代の到来。データアナリストの進化系とは
古いAWSインフラのフルリプレイス 王道マネージドサービスを作るためにやった8つのこと
ML Test Scoreを使って現状の機械学習システムをスコアリングしました - コネヒト開発者ブログ
Web3.0におけるデータサイエンス｜masa_kazama
自作レコメンドで最適な読書体験をしたい - にほんごのれんしゅう