はてなブックマーク

こんにちは、NTTドコモR&D戦略部の門間です。 この記事では、vLLMのコードを追いつつその中身の動きに迫りたいと思います。 最近、業務やプライベートでLLM関連のいろいろを触っていますが、 OSSのコードリーディングを通じてLLMの推論処理への理解を深めたいというモチベーションです。 🤖 vLLMって? 📚 前提知識 Attention Is All You Need Paged Attention Continuous Batching 📦 vLLMの開発用インストール (Pythonコード開発のみ) Wheelのインストール リポジトリのクローン 起動確認 Pythonコードの改変 デバッガを使ったOSSのコードリーディングのススメ 🧩 vLLMのソフトウェアアーキテクチャ オンライン推論 : FastAPIサーバの立ち上げとEngineClientの生成 1. Engin

本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ

自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 システムやアプリケーションはリリースしたら終わりではなく、利用者の声や利用状況に合わせたUIの改善など日々成長させていく必要があります。 DP部が提供するデータアプリケーションプラットフォームではStreamlitで約100アプリを提供していますが、各々のアプリを成長させるために利用状況を分析できる環境が必要でした。 そこで、ドコモで10年以上Google Analytics/Google Tag Managerに携わっていただいている、協力会社の大畑さんに実装をお願いしました。 以下、大畑さんに本取り組みの内容をご紹介していただきます。 背景 DP部ではStreamlitを用いたデータ分析用のアプリケーションプラットフォームを作成しています。 多種多様なアプリ開発者が多種多様なアプリを実装していますが、アプリの改修

TL;DR この記事では，Causal Discovery Toolbox（cdt）を用いて観測データから因果関係を簡単に解析する方法を紹介します．cdtは，Pythonで利用可能なツールで複数の因果分析モデルとアルゴリズムを提供しデータから因果関係を推定し視覚化することができます．特に，PCアルゴリズム，GES，LiNGAMなどの主要なアルゴリズムを使用した因果探索の手順とサンプルコードを提供し，それぞれの性能評価も行います． TL;DR はじめに 因果探索とは Causal Discovery Toolbox(cdt) 環境構築 利用できるアルゴリズム 1.PCアルゴリズム (PC) 2.CAM (Causal addtive model) 3.CGNN (Causal Generative Neural Networks) 4.GES (Greedy Equivalence Sear

第0章 はじめに この記事は「NTTドコモ R&D Advent Calendar 2023」24日目の記事です。 いよいよ今年も残すところあと1週間と年の瀬が迫ってきましたが、みなさんは今年の技術トレンドと言えば何が思い浮かぶでしょうか？ Web3？ゼロトラスト？はたまた量子コンピューティング？ 私はやはりGPT-4, DALL·E3, GitHub Copilot Xなどに代表される生成AIの普及が強く印象に残っています。 実際、「新語・流行語大賞2023」には「生成AI」「チャットGPT」がノミネートされているということで、世間でも大きなインパクトを残しているようです。 www3.nhk.or.jp ただ、今年の生成AI関連のニュースを振り返ると、必ずしも良いニュースばかりではなかったように思います。 春ごろには画像生成AI Midjourneyの登場で多くの人がこぞって様々な画像を

NTT コノキューに出向中の澤山です。 今年の7月にドコモから、コノキューにやってきました。 この記事は、NTTドコモ アドベントカレンダー2023 21日目の記事です。 この記事では、Wikipedia記事 と Azure OpenAI API、既存のモデルの3つを用い、RAG(Retrieval-Augmented Generation)のためのデータ作成と、RAGを活用した子ども向けお仕事提案botを作ります。 (記事の情報は2023/11月のものです。) ※プロンプトに関するTipsをまとめた記事はこちらです。 qompass.nttqonoq.com 生成AI / ChatGPT の大流行 子供のための、生成AI活用方法、ってある？ 子供向けお仕事提案チャットボットを作ってみる 全体像 ステップ1 Wikipedia + Azure OpenAI service でお仕事情報をま

1. はじめに こんにちは、ドコモ・テクノロジの小泉です。「ドコモ・テクノロジ」はNTTドコモの機能分担子会社の一つであり、主にNTTドコモのR&D業務を分担しています。その中で、私は主にドコモにおけるデータ活用促進に関わる内製開発を行っています。 本記事では、プログラミング言語PythonにおけるWebアプリ作成フレームワークの一つであるStreamlitに関して紹介していきたいと思います。Streamlitは、Pythonを用いて手軽にWebアプリを作成できるフレームワークです。ブラウザ上に簡単にインタフェース(UI)を表示できることから、データ活用を中心として最近利用が増加しています。 実際、私もデータ活用の現場でStreamlitを使うことが増えてきていて、使っていくうちにいくつかコツがあることがわかってきました。本記事にて、ぜひみなさんにそれを共有できれば嬉しいです。なお、本記事

TL;DR 自己紹介 Streamlitとは Streamlit in Google Cloud 本アーキテクチャにおける技術的なポイント 1. Streamlit自体の独自カスタマイズ 2. URLマスクを用いた、StreamlitアプリケーションのURLの制御 3. Cloud WorkStationsを用いた、VPC内のセキュアなIDE環境の提供 4. 共通ライブラリの提供 5. Cloud Run × IAP構成における制約の回避 今後の展望/最後に 関連記事 TL;DR 本記事では、Google Cloud上で社内限定公開のStreamlit cloud相当のサーバレスプラットフォームを独自実装した試みをご紹介します。単に、Streamlitをサーバレスにデプロイするだけでなく、データサイエンティスト向けにCI/CD・専用IDE環境まで提供し、 エンタープライズ内でのデータサイエ

TL;DR RAGアプリを運用するにあたってLLMOpsの考え方が重要になり、Azure OpenAI ServiceのPrompt Flowの活用を開始した。 RAGアプリの精度を担保するため、Prompt Flowに搭載されている評価Flowの性能を検証した。 回答内容の正確性の評価性能を上げるため、評価Flowを自作した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習を取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした機械学習の適用を含め、全社におけるデータ活用をミッションとしています。 今年はIT領域に留まらず世界中の多くの人々に注目されることとなったAI領域のブレイクスルー、「ChatGPT」が登場した年で、これを発端として生成系AIが大いに盛り上がりました

はじめに この記事は，ドコモアドベントカレンダー22日目の記事になります。 こんにちは，ドコモの角野といいます。サービスデザイン部でahamo のモバイルアプリの開発を担当しています。 モバイルアプリをiOS向けとAndroid向けでそれぞれに開発するのは手間がかかるので，効率化のためにクロスプラットフォームに対応したフレームワークを使って同時に開発しちゃおうということで，ahamoアプリはFlutterを使って開発しています。本記事ではFlutterを使ってみてよかったこと，苦労したことについて紹介します。 モバイルアプリ開発に興味ある方や，Flutterを利用してみようと思っている方の参考になったらうれしいです。 フレームワークの選定は？ ahamoアプリの開発は2020年から開始しました。当時はFlutterとReactNativeが2強でしたが，以下の理由からFlutterを使うこ

こんにちは。dcm_chidaです。 ドコモ開発者ブログ初投稿です。よろしくお願いします。 はじめに みなさん「NeurIPS」と言う国際会議名を聞いたことがあるでしょうか？ 機械学習・データ分析の分野では毎年たくさんの国際会議が開催されていますが、NeurIPSはその中でも歴史あるトップカンファレンスの一つです。世界中の研究機関や企業から最先端の論文が投稿されます。 NTTドコモR＆DではKDDやNeurIPSといった国際会議の論文読み会を不定期に開催しております。「今年もNeurIPSの論文読み会やるかー」と思って、会議そのもの概要や最新の研究動向などを調べてみたので、ブログ記事にまとめようと思います。 論文そのものの解説記事ではないのでご注意ください。 １分で分かるNeurIPS2022の概要まとめ 会議名称 The Conference and Workshop on Neural

はじめに この記事はドコモアドベントカレンダー19日目の記事になります。 NTTドコモサービスイノベーション部2年目社員の上田です。 業務では主に、AI等デジタルマーケティング技術の企業活動適用を行っております。 最近はVUCA (Volatility、Uncertainty、Complexity、Ambiguity) の時代で、不確実性が高く将来の予測が困難とも言われております。 しかし、予測しづらいから何もしなくていいや〜というのではなく、過去蓄積されてきたデータと最新のAI技術を用いてある程度定量的に未来を予測したいですよね。 ということで、今回はPythonで将来の時系列予測を行うことができる、Greykiteという、2021年にLinkedInが開発したライブラリを紹介いたします。 執筆当時は実装に関する日本語の記事がほとんどなく、Greykiteを利用する際はぜひ本記事をご参考

はじめに 本記事はNTTドコモ R&D Advent Calendar 2022の20日目の記事です。 こんにちは。 NTTドコモ サービスイノベーション部の明石です。 私は業務でドコモが持つECサイトや動画配信サービスにおけるレコメンドシステムの研究開発をしております。 本記事では、レコメンドとは？という部分から、レコメンドされた内容の理由を説明するXAI（eXplainable AI）モデルの評価結果について述べます。 本記事の内容は情報処理学会所属、MBL研究会*1第104回発表会にて報告した内容*2を基に執筆しております。光栄なことに当発表会において優秀発表賞を頂くことができましたので、論文の方も是非ご覧になってください。 忙しい方向け レコメンドは様々なサービスで利用され、ユーザに合ったコンテンツを推薦します。 XAIとは、判断に至った理由を説明してくれるAIです。 レコメンドに

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己

はじめに この記事はNTTドコモアドベントカレンダーの4日目の記事です。 こんにちは、NTTドコモサービスイノベーション部の福島です。 こちらの日本地図、おかしなところがあります。気づきますでしょうか。正解は少し下にあります。 話は変わりますが、以前テレビを見ていると「日本地図の四国をオーストラリアに変えても気づかないのでは？」という検証をやっていました。 また、パスタが名物の群馬県高崎市の特集番組では、市の形もパスタの本場のイタリアと似ているというトリビアが紹介されていました。 名前は知っていても国の形までは知らない国って結構あるな、各都道府県の形に似ている国って知らないだけで実はあるんじゃないかな、と気になったので調べてみます。 冒頭の日本地図ですが、正解は九州の各県が別の国のシルエットに置き換えられていました。 実現方法 図形の形の類似度を数値化するライブラリが無いか調べてみると、最

今年もこんにちは。ドコモの澤山です。 本記事は，ドコモアドベントカレンダー2日目の記事になります。 本記事では，テキストからの画像生成を用い，画像を当てるクイズとその採点をおこないます。 ※記事は 2022/11 時点の内容です。 テキストからの画像生成の流行 今年の8月にテキストから画像を生成する技術の一つである， Stable Diffusion が公開され，研究者から一般人に至るまで，美しい画像を生成するために"呪文"を唱えるようになりました。 3ヶ月が経過した今でも，それらのモデルの亜種やアプリケーションが続々と登場しています。 Stable Diffusion で用いられているであろう技術は，ざっくり言うと，「入力されたテキストと画像がどの程度意味的に類似ているかを計算でき，ベクトルを生成するモデル」と，「画像を表現するベクトル空間上で，ノイズまみれの画像から綺麗な画像のある座標

NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社，DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在，DII は Amazon Web Services, Inc. とパートナーシップを組み，Federated Learning (連合学習, FL) の開発に取り組んでいます。 AWS Partner Network (APN) Blog の記事もご覧ください。 本記事は，FL の中でも，特に Vertical Federated Learning (VFL) を PyTorch を用いて作り上げていくチュートリアルです。 なお，本記事末尾に職場の紹介を載せていますので「シリコンバレーとか DII ってど

こんにちは！6Gテック部 無線アクセス技術担当の久野です。今回は、今年の1月に出展した「スマート無線研究会 技術展示」についてご紹介します。 展示会概要 電子情報通信学会に所属するさまざまな研究会の一つであ…

NTTドコモサービスイノベーション部の白水です。普段は自然言語処理の研究開発に携わっています。 NTTドコモには開発者ブログがなかったので、NTT DOCOMO ENGINEERING BLOGを立ち上げます。この記事では、ドコモR&Dでの情報発信のこれまでの取組みや開発者ブログの立ち上げ経緯についてご紹介したいと思います。 NTTドコモR&Dの情報発信 ドコモR&Dでは、これまでも様々な形で情報発信に取り組んでまいりました。 例えば、NTTドコモやグループの先端的な技術やサービスをみなさまに知っていただく広報誌として、テクニカル・ジャーナルを四半期に1回発行しています。内容は「企業のR&D組織の広報誌」らしい、やや固めのテイストです。 www.docomo.ne.jp R&D部門から寄稿される技術的なコンテンツ以外にも、法人での取組みや表彰関連のニュースまで網羅されており、これを読めばド