FaissをソースコードからビルドしてGPUで利用する
概要 Faissは、Facebook Research (現Meta Research) が開発した近似最近傍探索 (Approximate Nearest Neighbor: ANN) のライブラリです。C++で実装されており、GPUでの実行にも対応しているほか、PythonのWrapperも提供されいます。Pythonパッケージではfaiss-cpuとfaiss-gpuの2種類が存在し、公式ではAnacondaでのインストールを推奨しているのですが、PyPIからもパッケージがインストール可能です。 GPU環境でのFaiss実行を試みたのですが、現在PyPIで提供されているfaiss-gpu==1.7.2では私の環境では正常に動作しませんでした。そのためソースコードからビルドしてインストールしたのでその経緯と、最後にGPU/CPUの簡単なベンチマークを紹介したいと思います。
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
【実録】35歳で医師からデータサイエンティストを目指した理由〜G's Alumni Histories〜Vol.10｜Life-Changing Programming
こんにちは。 本連載は、G's ACADEMYというプログラミングスクールを卒業してしばらくした卒業生たちに、ぶっちゃけプログラミングでどう人生が変わったかをお話していただくインタビューの連載になります。 IT人材の不足が深刻化する今日、世の中にはそれに付け込むかのように怪しげなプログラミングスクールが乱立したり、情報教材まがいのものが溢れています。そんな中、真面目にプログラミングで人生を変えたいと思っている人たちに、あくまで第三者的にプログラミングスクールのリアルをお伝えするべく、私たちは本連載を開始しました。 今回はその第10弾です。データサイエンティストをされている山田光倫（やまだみつとも）さんにお話を伺いました。 Profile 山田 光倫（やまだみつとも） ~2018年 心臓外科医 2019年 G’s ACADEMY TOKYO LABコース 卒業 2020年 株式会社Block
ヨドバシの中の人が初めて語る、ヨドバシ.comを支える内製プライベートクラウドの中身
ヨドバシカメラが運営する国内の代表的なECサイトの1つである「ヨドバシ.com」は、同社が内製するプライベートクラウドによって支えられています。 そのプライベートクラウドはどのように作られ、どのような機能を備えているのかについて、クリエーションラインが主催し10月14日に開催されたオンラインイベント「Actionable Insights Day 2022」でその内幕がはじめて語られました。 この記事では、その内容をダイジェストで紹介します。 はじめて語られるヨドバシ.com を支えるプライベートクラウドの全容 株式会社ヨドバシリテイルデザイン サービスデプロイメント事業部 事業部長 戸田宏司氏。 ヨドバシリテイルデザインの戸田と申します。よろしくお願いいたします。「はじめて語られるヨドバシ.comを支えるプライベートクラウドの全容」というタイトルでお話をさせていただきます。 弊社は「いつ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
