タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
TerraformではなくCDKを使っている話 | MoT Lab (GO Inc. Engineering Blog)
(これはMoT Advent Calender 2022の24日目です) データエンジニアの渡部徹太郎です。私の担当しているプロジェクトでは、Infra as CodeにTerraformではなくCDKというツールを使っているので、その話をします。 CDKの概要 CDKとはAWS専用のInfra as Codeツールです。正式名称AWS クラウド開発キット (AWS Cloud Development Kit）です。 CDKの特徴プログラミング言語でAWSのリソースを記述プログラミング言語はTypeScriptがメインだが、他にもJavaScript,Python,Java,C#でも記述できるAWSのリソースを表すクラスをNewすると、AWSのリソースができるイメージ実態はCloudFormationを吐き出してデプロイするツール。デプロイするとAWSのCloudFormationのSta
MoT TechTalk #13 タクシーアプリ『GO』のデータサイエンス〜配車マッチングの継続的改善〜
■ 内容 ・未来の車両状況を考慮した効率的なマッチングの実現（織田） ・MoT におけるデータ分析業務のフロー（老木） ・機械学習モデルによるAI予約のユーザ体験の改善（宇都） ■ スライド内リンク集 p. 24 Google Cloud Day 2021 https://services.google.com/fh/files/events/d1-da-07.pdf p. 55 https://www.kaggle.com/kuto0633 p. 63 DeNA TechCon2021 https://speakerdeck.com/mot_ai_tech/takusiwo-xi-wang-falseri-shi-nihu-bu-bigqueryniyoruaitoapiinhura?slide=8 p. 68 MoT TechTalk #12 https://speakerdeck.c
こんにちは、SREグループの水戸 (@y_310) です。MoTでは多種多様なマイクロサービスが稼働しています。マイクロサービスは一般的に、あるプロダクトを何らかの形で分割した内の一部の役割を担うものです。その分割されたマイクロサービスにおいてどこまでをそのサービスの責務とし、どの役割を含めてどの役割を含めないか、という他のサービスとの適切な境界を見つけることは非常に重要です。SREグループでは多くのマイクロサービスのアーキテクチャ設計に関わりながらマイクロサービスの分割点についての知見を得てきました。この記事では実例をベースにマイクロサービスの分割点の見つけ方について書きたいと思います。 単機能のサービスビジネスロジックとの依存度が低い単機能かつ汎用的な機能は、データストアとの依存性も低く比較的容易に単体のサービスとして切り出すことができます。 分割点の目印データストアへの依存が無いデー
MoT TechTalk #14 タクシーアプリ『GO』の施策検証、因果推論が解決します
■ 内容 ・分析グループの紹介（島田） ・傾向スコアによるタクシーアプリ『GO』利用影響の分析（佐竹） ・Causal Forestによるタクシーアプリ『GO』のCATE推定（秋月） ■ YouTube https://youtu.be/fvgBK8hc9mY?t=232 ■ connpass https://jtx.connpass.com/event/263378/
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。本番DBから分析基盤への連携処理を改善した事例を紹介します。※ 本記事の対象読者はETLツールを利用している方を対象にしています はじめに本記事では、タクシーアプリ「GO」の DB から分析基盤への同期処理を約7時間から約10分に改善した事例を紹介します。まず、既存の処理および改善前の状況を説明し、次に改善にあたり実施した分析、その分析をもとにチーム内で実施した議論を経て、最終的にどのような実装を行ったのか紹介させて頂きます。 同期処理についてGO の DB は Cloud SQL 上で構築されており、分析基盤への同期処理は GKE 上で Embulk を起動し、リードレプリカに対してクエリを投げて一度 GCS に結果を格納します。その後、GC
こんにちは、Mobility Technologiesのデータエンジニアの渡部徹太郎です。 データサイエンティストの皆さん、以下のような状況になったことないでしょうか。 データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった機械学習の学習が遅いから、GPUを増やしたが、速くならなかった こういったときは以下の資料を見てください。きっと解決します！ スライドへのリンク この資料は、先日社内の勉強会で説明した資料になります。 We're Hiring!
江戸の下町情緒とオシャレな街『清澄白河 夕景』③ MOT東京都現代美術館 - 嵐、ゴルフ、ミステリーの日々２
ソール・ライター風 江戸の下町情緒とオシャレな街 『清澄白河 夕景』③ MOT東京都現代美術館 崎川橋 ソール・ライター風 photoⒸarashi arashi-golf.hatenablog.jp arashi-golf.hatenablog.jp
東京都現代美術館（MOT)への旅③『常設展』 Day trip to the Museum of Contemporary Art Tokyo3 Permanent Exhibition 開催中だった「クリスチャン・ディオール展」は人気が高く、WEB予約は早々に完売、当日券も開館前には完売という状況であきらめ、常設展に向かいます。 photoⒸarashi いつもご覧いただき、ありがとうございます！！ グループの新機能「ランキング」に参加しておりますので、お手数ですが下記バナーをクリックいただければ幸いです。応援どうぞよろしくお願いいたします！！！ ランキング参加中写真・カメラ ランキング参加中旅行 ランキング参加中鉄道 ランキング参加中ミュージアム ランキング参加中アクセスの輪 ランキング参加中はてブロ みんな初めは超初心者ですよ！支えあおう会＾＾（長いw） ランキング参加中はてなブログ
AndroidアプリのJCenter閉鎖の影響調査と暫定対応 | MoT Lab (GO Inc. Engineering Blog)
こんにちは。 車載システム第二グループの空中です。Twitter等では @soranakk で活動しているのでそちらの方がわかるかもしれません。 普段はタクシー車両に搭載された専用端末上で動作するAndroidアプリ開発をしています。 さて、唐突ですがJCenterが閉鎖されます。 https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 概要についてはこちらの記事が参考になると思います。 https://bps-tomoya.hateblo.jp/entry/2021/02/04/184317 Androidアプリ開発ではほぼほぼ100%ぐらいのアプリがJCenterを参照しているのでJCenterからMavenCentralに移行して大丈夫かどうかを調べる必要があります。 これの影響
江戸深川散歩 『木場公園～東京都現代美術館MOT③』清澄白河 photoⒸarashi arashi-golf.hatenablog.jp arashi-golf.hatenablog.jp arashi-golf.hatenablog.jp
東京都現代美術館（MOT)への旅①『地下鉄清澄白河駅～亀久橋』 - 嵐、ゴルフ、ミステリーの日々２
東京都現代美術館（MOT)への旅① 『地下鉄清澄白河駅～亀久橋』 Day trip to the Museum of Contemporary Art Tokyo1 From Kiyosumi-Shirakawa Subway Station to Kamehisa Bridge 東京メトロ半蔵門線「清澄白河駅」都営地下鉄大江戸線も乗り入れています。 清洲橋通りと三ツ目通り 白河三丁目交差点と東京スカイツリー 仙台堀川に「亀久橋（かめひさばし）」 ファミリー＆キッズフォト「スタジオ３６５」 「江東区深川北スポーツセンター」 「都立木場公園」 東京都現代美術館（MOT） photoⒸarashi いつもご覧いただき、ありがとうございます！！ グループの新機能「ランキング」に参加しておりますので、お手数ですが下記バナーをクリックいただければ幸いです。応援どうぞよろしくお願いいたします！！！ ラ
ドラレコ動画の物体検出モデルをデータの量や質に着目し改善するData-Centric AIな取り組み | MoT Lab (GO Inc. Engineering Blog)
AI技術開発部の鈴木達哉です。Mobility Technologies (MoT)ではドライブレコーダーから取得できる情報を元に道路上の物体を検出し、地図と比較することで現地と地図の差分を見つけ、地図を更新する『道路情報の自動差分抽出プロジェクト』を株式会社ゼンリンと共同で進めています。本記事ではドラレコ動画から道路標識を認識するAIの精度改善を機械学習モデルではなくデータの量と質に着目し実現した事例を紹介します。 はじめに本記事は、2022年4月6日に開催された「MoT TechTalk #11 深掘りコンピュータビジョン！研究開発から社会実装まで」での発表「データの量や質を改善するData-Centric AIな取り組み」を発展させたものです。発表の動画・資料を公開していますので、そちらもあわせてご覧ください。 本プロジェクトにおいては、様々な種類の道路標識をドラレコ動画から検出する
DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers
DeNA, Mobility TechnologiesのAI勉強会で発表した資料です ・顔認識分野周りってどんな感じなの ・特に、最近のArcFaceまわりの手法どうなってきてるの 紹介論文： AdaptiveFace (CVPR’19) AdaCos (CVPR’19） (MV-ArcFace (AAAI’20)) CurricularFace (CVPR’20) GroupFace (CVPR’20) Sub-center ArcFace (ECCV’20) MagFace (CVPR’21) ElasticFace (CVPRW’22) AdaFace (CVPR’22)
MoT TechTalk #16 5万台のドラレコを活用！大規模データ収集・機械学習基盤の全容
■ 内容 ・ドラレコデータから道路情報の差分を見つけるシステムの仕組みと特徴（松浦）p. 3~ ・契約車両5万台超のドラレコデータを収集する現実解（鳩） p. 20~ ・AWS Batchを用いた画像処理の分散実行（高山） p. 41~ ■ YouTube https://www.youtube.com/watch?v=0SF9BZlcT5c&t=180s ■ connpass https://jtx.connpass.com/event/272629/
東京都現代美術館（MOT)への旅③『建物編』 Day trip to the Museum of Contemporary Art Tokyo3 Scenery of the museum 遠藤利克氏の巨大な作品「泉 Fountain」 1991 木、タール、（火） Wood, tar, (fire) 95×95×1926cm photoⒸarashi いつもご覧いただき、ありがとうございます！！ グループの新機能「ランキング」に参加しておりますので、お手数ですが下記バナーをクリックいただければ幸いです。応援どうぞよろしくお願いいたします！！！ ランキング参加中写真・カメラ ランキング参加中旅行 ランキング参加中鉄道 ランキング参加中ミュージアム ランキング参加中アクセスの輪 ランキング参加中はてブロ みんな初めは超初心者ですよ！支えあおう会＾＾（長いw） ランキング参加中はてなブログ同盟
dbt と Dataform を比較して Dataform を利用することにしました | MoT Lab (GO Inc. Engineering Blog)
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。今回、dbt と Dataform を比較して Dataform を利用することにしましたので、導入経緯および Dataform の初期構築を紹介します。 ※ 本記事の対象読者はELTツールを利用している方を対象にしています これは MoT Engineer Challenge Week 2022 Spring の記事です。 はじめに本記事では、まず、dbt および Dataform というツールについて簡単に説明させて頂き、次に現在データ分析チームが抱えている課題について取り上げます。その後、2つのツールについて検証した内容を紹介し、その結果、Dataform の導入に至った経緯を説明します。また、最後に Dataform の初期構築で工夫し
Kenji Shiraishi on Twitter: "気候科学者による、なぜ高温多湿では死者数が増えるのかを一般市民に説明した良スレッド。まさに日本の地球温暖化の未来なので広く理解されるべき内容。まず、人間は100W(=100J/s)の熱を発しながら約36.7℃の体温を保持して生きて… https://t.co/5Mot7DbzXV"
気候科学者による、なぜ高温多湿では死者数が増えるのかを一般市民に説明した良スレッド。まさに日本の地球温暖化の未来なので広く理解されるべき内容。まず、人間は100W(=100J/s)の熱を発しながら約36.7℃の体温を保持して生きて… https://t.co/5Mot7DbzXV
東京都現代美術館（MOT)への旅⑤『美術館＆木場公園』 Day trip to the Museum of Contemporary Art Tokyo3 Scenery inside the museum and Kiba Park 「クリスチャン・ディオール展」の図録と絵葉書のみ購入しました。 photoⒸarashi いつもご覧いただき、ありがとうございます！！ グループの新機能「ランキング」に参加しておりますので、お手数ですが下記バナーをクリックいただければ幸いです。応援どうぞよろしくお願いいたします！！！ ランキング参加中写真・カメラ ランキング参加中旅行 ランキング参加中鉄道 ランキング参加中ミュージアム ランキング参加中アクセスの輪 ランキング参加中はてブロ みんな初めは超初心者ですよ！支えあおう会＾＾（長いw） ランキング参加中はてなブログ同盟！初心者歓迎・なんでもOK！日
東京都現代美術館（MOT)への旅② Day trip to the Museum of Contemporary Art Tokyo2 photoⒸarashi いつもご覧いただき、ありがとうございます！！ グループの新機能「ランキング」に参加しておりますので、お手数ですが下記バナーをクリックいただければ幸いです。応援どうぞよろしくお願いいたします！！！ ランキング参加中写真・カメラ ランキング参加中旅行 ランキング参加中鉄道 ランキング参加中ミュージアム ランキング参加中アクセスの輪 ランキング参加中はてブロ みんな初めは超初心者ですよ！支えあおう会＾＾（長いw） ランキング参加中はてなブログ同盟！初心者歓迎・なんでもOK！日記・雑記10・20・30・40・50・60代 ランキング参加中ブログ仲間増やしたい方全員集合！✨ 初心者も上級者も誰でも参加OK！
RustのドローイングライブラリPlottersの紹介 | MoT Lab (GO Inc. Engineering Blog)
はじめまして、AI技術開発部の加藤（@_tkato_）です。 私たちはエッジ x クラウドの機械学習システムのプロダクション開発を行う上で、Rustを開発言語の一つとして利用しています。今後はこのブログを使って、私たちがRustで開発している際に得た知見を共有していきたいと思います。 本内容は7/27に行われたRust LT Online #1で発表した内容です。興味のある方は以下のスライドも合わせてご覧ください。 今回はPlottersの紹介です。PlottersはRustで簡単に図形やグラフを描画するために便利なドローイングライブラリです。 同様にRustで可視化ができるcrateとして、opencv-rustやPlotly.rsなどがありますが、特にPlottersはpure Rustで簡単にインストールして組み込める点や、WebAssembly含めて複数のBackendに拡張してい
1年間の技術トレンドを見通す場であるデジタル見本市のCESが、リアル開催で復活した。新型コロナウイルス感染症のパンデミックを通し、企業と顧客のコミュニケーションにどんな変化が生まれているのか。電通でイノベーション支援を手がける森直樹氏が、3年ぶりの現地取材を通した分析をお届けする。
はじめまして、AI技術開発部 分析グループ の浅見です。 Mobility Technologies（MoT）では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとても強力なツールなのですが、統計処理を入れようとすると、PythonやRなどの別モジュールを構築する必要があり、メンテナンスコストが発生してしまいます。 そんな時のため、BigQuery内で統計処理を完結させるちょっとしたTipsを紹介します。 UDFを最大限活用しましょう！本記事の基本的な発想としては、 BigQueryでは、統計処理を行う関数はそこまで充実していません。例えば、t分布の累積分布関数（CDF）さえ計算できれば、t検定のp値を得ることができるのですが、BigQueryの統計集計関数では
Kaggle のデータ分析コンペ Shopee - Price Match Guarantee で『10位 / 2,426チーム』を獲得しました | MoT Lab (GO Inc. Engineering Blog)
初めまして。MoTのAI技術開発部アルゴリズム第一グループの島越 [1]です。本ブログでは、私が最近ソロで10位を獲得したKaggleのコンペティション「Shopee - Price Match Guarantee」で行った取り組みについてと上位の手法について紹介したいと思います。なお、本記事で使用している画像は特に断りがない限り、上記コンペの画像を使用しております。 1. 本コンペについて まず、今回のコンペがどのようなタスクを解く問題だったのかについてご紹介します。このコンペは、東南アジア最大級のECプラットフォームであるShopeeが開催したもので、データとしてはユーザが登録した商品画像と商品のタイトルが与えられます。また、ラベルとしてはユーザが登録した商品の種別が与えられています。このラベルは、ユーザが登録したものなので、ノイズが多く載っているものになっており、同じ画像や同じタイト
MoT、AI技術開発部の立松です。先日、統計検定準一級(CBT)を受験し合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 はじめにこんにちは！MoT、AI技術開発部の立松です。普段はDRIVE CHARTというサービスにて、データサイエンティストとして分析業務やモデル開発等をしています。先日、統計検定準一級(CBT)を受験し、合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 試験概要「統計検定」とは、統計に関する知識や活用力を評価する全国統一試験です。今回私が受けた準1級は、「実社会の課題に対する適切な手法の活用力」というレベルを目安に設計されています。2021年より、CBT(Computer Based Testing)方式の試験に切り替わっており、都合のよい試験日時に受験
特別連載｜4. JapanTaxi iOSアプリにRIBsアーキテクチャを導入して得られたこと | MoT Lab (GO Inc. Engineering Blog)
※本記事は Mobility Technologies の前身である JapanTaxi 時代に公開していたもので、記事中での会社やサービスに関する記述は公開当時のものです。 この記事は、JapanTaxi Advent Calendar 2018の9日目の記事です。 はじめに2018年3月から9月までの半年間、「JapanTaxi」iOSアプリのUIリニューアルを行いました。積み重なる技術的負債と闘いながら開発を続けてきましたが、これを良い機会とし、iOSアプリの設計も一から見直すことになりました。結果として、MVVMからRIBsへアーキテクチャを変更することに成功しました。この記事では、「JapanTaxi」iOSアプリの設計方針をはじめ、RIBsとは何か、そしてRIBsを採用したことによる変化について紹介します。 設計について2018年3月、iOSチームメンバでアプリの設計について議
はじめまして、AI技術開発部の亀澤です。 AI技術開発部では様々な機械学習モデルの開発に加えて、車載デバイスやクラウド上でDeep neural network (DNN)を使ったリアルタイムな予測を行うための、DNNの高速化や軽量化にも取り組んでいます。 この記事では、エッジデバイスでDNNを動かす上で、高速化、軽量化に効果があるDNNの量子化について次の3点について説明していきます。 量子化について量子化の詳細と分類DNNライブラリの量子化への対応状況TensorFlowPyTorchTVM 量子化についてニューラルネットワークにおける量子化とは、通常、浮動小数点数として扱われる値を、整数と少数のパラメータで表現する手法一般のことを指します。もとの浮動小数点数 xxx と量子化された値 qqq の間の関係は二つの量子化パラメーター（オフセット（バイアス、ゼロ点）offset, スケール
Aurora PostgreSQLアップグレード時のダウンタイムをBlue/Greenデプロイ方式で軽減 | MoT Lab (GO Inc. Engineering Blog)
SREグループの古越です。 SREグループではAurora PostgreSQLのインプレースアップグレードで少し痛い目を見た過去があり、Aurora PostgreSQL 10.x EOS(2023/01/31)を切っ掛けとしてインプレースに変わる安全なアップグレード方法を模索していました。 2022/9頃から検証を始め、論理レプリケーションを使ったBlue/Greenデプロイ方式のアップグレード手順を確立することが出来ました。背景と具体的な手順について紹介していきます。 背景などPostgreSQLは1年に1つ新しいメジャーバージョンがリリースされ、メジャーバージョンごとに初期リリースから5年でEOL(End of Life)を迎えます。 Aurora PostgreSQLは本体のPostgreSQLよりも2ヶ月程度遅れる形でEOS(End of Support)がやってきます。ユーザ
地図を巡るように楽しめる「MOTサテライト2019 ひろがる地図」へ
東京都現代美術館で開催されている「MOTサテライト2019 ひろがる地図」を見てきました。 「MOTサテライト」とは、東京都現代美術館が街へ飛び出し、深川・清澄白河を拠点に、住民・場所・歴史・文化を過去未来現在の視点で掘り起こしていく試みで、休館中に工場跡地や地域拠点を活用して展示が行われていました。 今回の「MOTサテライト2019 ひろがる地図」は、リニューアル･オープンしたばかりの美術館をメイン会場にまちなかでも開催。 そのメイン会場である東京都現代美術館を見てきました。 館内で最初にみれるのは今和泉隆行（地理人）さんの作品。 架空の都市「中村市」を市街地地図で創造した作品。 とにかく驚かされるのは、都市としてのディティールの細かさ。 本当にある土地のようで、これが架空だとは信じられない程のクオリティに驚かされます。 地名や地形はもちろん、地図を眺めているとそこでどのような人が生活を
GitHub Actions で Terraform の CI/CD を構築する | MoT Lab (GO Inc. Engineering Blog)
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。GitHub Actions から OIDC トークンを利用し、サービスアカウントキーなしで GCP に認証した上で Terraform の CI/CD を構築する方法を紹介します。 ※ 対象読者は分析基盤を管理しているデータエンジニア、または Terraform を管理しているエンジニアです はじめに本記事では、なぜ Terraform の CI/CD を構築したのか、まず分析基盤について簡単に説明し、次に分析基盤のうち Terraform で何を管理しているのか説明します。その上で現状抱えていた課題とそれに対する対応案を説明させて頂き、実際に構築に使用した技術要素やコード、運用にあたって気をつけたことについて紹介させて頂きます。 分析基盤に
3つのパネルテーマ 向井毅男氏（以下、向井）：では、さっそく本編に入っていきたいと思います。あらためて、本日はMoTとカウシェでプロダクトマネージャーを務めている総勢4名の方から、それぞれ3つずつアンチパターン、失敗談を共有してもらいながら、いろいろな知見とかをみなさまに共有できればと思っています。 （スライドを示して）本日のパネルテーマは大きく3つあります。1個目、2個目がアンチパターンを理解する上でのいろいろな部分の背景を、みなさまに共有しながら触れていきたいと思っています。主に3個目です。ここがたぶん一番盛り上がると思います。ここに触れていきたいと思っています。 カウシェの軌跡 向井：まずは1個目のパネルテーマです。共に順調に成長をしているサービスですが、これまでいろいろな歴史があったので、そこの部分をみなさんに共有してもらえればと思っています。じゃあ、まずカウシェからお願いします。
はじめまして、バックオフィスシステム第二グループの辻田です。 参画してからもう少しで3ヶ月目を迎えようとしています。主に運用改善系のお仕事をさせていただいていて、インフラとサーバーサイドを触ることが多いです。 今回は、わたしの大好きなNuxt.jsにいま勉強中のクリーンアーキテクチャを当てはめてサンプルを実装してみたので紹介したいと思います。業務で実際に試した内容ではないのですが、今後機会があれば挑戦したいと思っていますし、こんなことしてるメンバーもいるんだなあくらいの温度感で読んでいただければと思います。 使用技術Nuxt.js 2.14.0 TypeScript 4.0.2 SWAPI https://swapi.dev/ Vue3がリリースされたてですが、Nuxtはまだ対応中なので 2.14.0 のバージョンを使用しています。（今回紹介するのはほぼtsファイルなのであまりVueのバー
OptunaとKubeflow Pipelinesを用いた並列ハイパーパラメータチューニング | MoT Lab (GO Inc. Engineering Blog)
はじめに こんにちは。AI技術開発部 MLエンジニアリング第1グループの築山です。 以前、社内でOptunaとKubeflow Pipelines（以下KFP）を用いて並列ハイパーパラメータチューニングを行い、とあるプロダクト（後述する『お客様探索ナビ』の経路推薦システム）のパラメータに適用する機会がありました。 その際は社内向け勉強会のためにスライドをまとめ、以下のツイートとともにSlideShareで公開しており、多少の反響もいただいていました。 https://twitter.com/2kyym/status/1256147262738018304?s=20 そのスライドがOptunaの開発者の方の目に留まり、「テックブログを書いて欲しい」と打診をいただき、今回執筆している次第です。 公開済みスライドと被る部分もありますが、基本的には 今回のユースケースOptunaとKFPの紹介・チ
バックオフィス基盤第2グループの名嘉眞です。私の担当しているプロダクトにカーソルページネーションを実装したので、その経緯と実装内容を記事にしたいと思います。これからカーソルページネーションを実装しようとしている方の参考になれば幸いです。 カーソルページネーションを実装したきっかけカーソルページネーションを実装したきっかけは、1ユースケースでデータ量が大きくなるAPIを追加する必要があったためです。 具体的にいうとある特定の種別の決済情報を蓄積しているマイクロサービスがあり、そのマイクロサービスを利用する管理画面のサービスが存在していて、管理画面でその特定の決済情報を表示したり、CSVダウンロードしたいという機能追加がありました。サービス間の通信はgRPCです。 この要件だけだとオフセットページネーションでも良さそうなのですが、以下のような課題がありました。 ※オフセットページネーションとは
BigQuery Remote Functions (Preview) をデータパイプラインに組み込んでみました | MoT Lab (GO Inc. Engineering Blog)
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。BigQuery Remote Functions (Preview) を利用することのメリットや、導入にあたり工夫した点を紹介します。 ※ 本記事の対象読者は BigQuery を利用してパイプラインを作成している方を対象にしています はじめに本記事では、BigQuery Remote Functions について取り上げ、どのようなメリットがあるのか説明し、実装方法を解説します。次に Preview のプロダクトをパイプラインに導入するにあたり工夫した点を紹介させて頂きます。 ※ 本記事では、Cloud Functions とは何かというような解説はしていません BigQuery Remote Functions とはBigQuery から
この記事はMobility Technologies Advent Calendar 2021の18日目です。 こんにちは、AI技術開発AI研究開発第二グループの劉です。私はドラレコ映像から標識などの物体を見つける物体検出技術を開発しているのですが、その精度を改善していくためにはまず検出エラーを細かく分析することが重要です。本記事では、物体検出のエラー分析に関する論文である”TIDE: A General Toolbox for Identifying Object Detection Errors”を解説すると共に、その著者らが公開しているツールを実際に使ってみた結果をご紹介をしたいと思います。 はじめに本記事では、以下の論文を取り上げます。コンピュータビジョンで最も有名な国際学会の一つであるECCV（European Conference on Computer Vision）で202
AI技術をマッチングプラットフォームに活用するMoT 麻柄翔太郎氏（以下、麻柄）：また1つテーマを変えて、今度は旅行業界やモビリティにおいてテクノロジーを具体的にどう活用していくのか、ちょっとお話をうかがえればと思います。 プロダクトの特性が違うので、またMoTの黒澤さんに先にお聞きしたいと思います。MoTの場合はリアルなものとして車があるので、リアル世界とアプリやWebのオンラインをどうつなぐのか、もけっこう1つのポイントになると思うのですが、このあたり、テクノロジーをどのように活かそうと考えているのか。「このような技術を使ってこういうことを実現しよう」みたいな、このあたりはどのようにお考えでしょうか？ 黒澤隆由氏（以下、黒澤）：これは技術だけの話ではなくて、UI／UXの設計も含めた話ではあるのですが、オフラインとオンラインが密接に連携することで成り立つプロダクトは、当然オフラインの世界
ウイメンズ クリエイティブ ディレクターのマリア・グラツィア・キウリによる春夏 2020 オートクチュール コレクションよりLOOK#220のドレス Photo © Yuriko Takagi パリ装飾芸術美術館での成功に続き、ロンドン、ニューヨーク１と世界を巡回してきた「クリスチャン・ディオール、夢のクチュリエ」展が、2022年12月21日から東京都現代美術館で開催されます。本展はディオールと日本との真摯かつ貴重な絆を称える特別な展覧会となります。 OMA2のパートナーである建築家、重松象平氏が日本文化へのオマージュとしてデザインした新しい空間演出に導かれ、フロランス・ミュラー氏のキュレーションにより再考案されたこの回顧展では、創設者クリスチャン・ディオールが影響を受けた芸術から、彼の庭園に対する愛、豪華な舞踏会の魔法、ディオールのコレクションに最初から影響を与えていた日本の豊かな創造
Cythonによる内製地図ライブラリの経路検索の高速化 | MoT Lab (GO Inc. Engineering Blog)
AI技術開発部アルゴリズムグループの谷本です。「マップマッチ・経路検索などのアルゴリズムを含む内製地図ライブラリ」のメンテナンスを主業務としています。今回はpythonによって実装された内製地図ライブラリ、特に経路探索部分をCythonを使って高速化した事例を紹介します。 経路検索について経路検索は、指定した出発地点と目的地点を結ぶ2地点間の経路の中で「最も走行時間が短い経路」を探索する技術です。この経路検索で求まる経路は「出発地点から目的地点までたどり着くまでの通過する道路の一覧」になります。また、経路検索により「その経路を通過するまでの所要時間」も求まります。経路検索はタクシーアプリ『GO』の予想到着時間の算出に用いられています。 タクシーアプリ『GO』の経路探索は弊社で内製している地図ライブラリを用いて実現しています。 内製地図ライブラリの現状内製地図ライブラリはpythonで実装し
GitHub Actionsを使ったマイクロサービスのCI/CDモジュール管理 | MoT Lab (GO Inc. Engineering Blog)
MoTではマイクロサービスアーキテクチャを採用しており、標準技術スタックにGitHub Actionsを採用しています。本記事では数多くのリポジトリのCI/CDパイプラインを管理していくアプローチを紹介します。 はじめに昨年10月頃にSREグループにjoinした古越です。クラウドインフラの構築、運用とアプリケーションのCI/CD構成などを担当しています。 MoTの中での開発体験向上はSREグループのミッションの一つです。CI/CDについては開発体験とアプリケーションの品質に大きく寄与する要素だと考えています。 MoTのSREグループが構築するサービスのCI/CDにはTravisCIが長く使われていました。最近になりGitHub Actionsを使う方針に切り替えており、現在は移行途中になります。移行については別記事で触れようと思いますが、移行過程でCI/CDの共通化や管理上の課題が幾つか明
物体検出フレームワーク IceVisionの紹介 | MoT Lab (GO Inc. Engineering Blog)
こんにちは、AI技術開発部AI研究開発第二グループの佐々木です。 本記事では、物体検出アルゴリズムを効率的に開発できるフレームワークIceVisionを紹介します。 airctic/icevision はじめにIceVisionは既存の有名物体検出リポジトリを統合して使えるようにしたPyTorch-Lightning/fastaiベースのフレームワークです。 IceVisionは以下のような作業をスピーディーに行いたい方にオススメです ・実務での物体検出アルゴリズム開発における最新手法ベンチマーク ・Kaggle等の物体検出コンペにおけるベース手法の選定 ・論文執筆における既存手法とのベンチマーク 課題意識物体検出は画像認識で最も有名なタスクの一つですが、ホットな研究領域であることから最新手法やその実装の移り変わりは激しく、ディープラーニングのフレームワークが整備された現在も、以下のような
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービス分割点の見つけ方 | MoT Lab (GO Inc. Engineering Blog)
分析基盤へのデータ同期を約40倍早くしてみた | MoT Lab (GO Inc. Engineering Blog)
データサイエンティスト向け性能問題対応の基礎 | MoT Lab (GO Inc. Engineering Blog)
東京都現代美術館（MOT)への旅③『常設展』 - 嵐、ゴルフ、ミステリーの日々２
江戸深川散歩『木場公園～東京都現代美術館MOT③』清澄白河 - 嵐、ゴルフ、ミステリーの日々２
東京都現代美術館（MOT)への旅④『建物編』 - 嵐、ゴルフ、ミステリーの日々２
東京都現代美術館（MOT)への旅⑤『美術館＆木場公園編』 - 嵐、ゴルフ、ミステリーの日々２
東京都現代美術館（MOT)への旅② - 嵐、ゴルフ、ミステリーの日々２
IoTからMoTへ、「モノのメタバース」が始まる カギを握るのは5G
BigQuery で統計処理を完結させる | MoT Lab (GO Inc. Engineering Blog)
統計検定準1級受験体験記 | MoT Lab (GO Inc. Engineering Blog)
深層学習ライブラリと量子化 | MoT Lab (GO Inc. Engineering Blog)
各社で微妙に異なる「MVPの定義」の捉え方 MoT・カウシェの「toB・toCプロダクト」が位置付けるMVP
Nuxt.jsでクリーンアーキテクチャ | MoT Lab (GO Inc. Engineering Blog)
カーソルページネーションを実装した話 | MoT Lab (GO Inc. Engineering Blog)
物体検出のエラー分析ツールTIDE | MoT Lab (GO Inc. Engineering Blog)
PdMの役割は気づきやアイデアの取捨選択に責任を持つこと MoT PM本部長が語る「ミニCEO」に必要な素養
DIOR | DIOR公式｜「クリスチャン・ディオール、 夢のクチュリエ」展を東京都現代美術館（MOT）にて開催
sushitech-real.metro.tokyo.lg.jp
intensive911.com
ldcube.jp
www.techno-edge.net
hyuga-casting.com
zenn.dev/socialplus