たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
Googleの機械学習のレッスンが無料で受けれて資格が貰える余暇。 ｜ ガジェット通信 GetNews
こんにちは。夏休みの最終日に宿題をやる派のひろゆきです。 ネットで暇つぶしにニュースサイトを見てる人も多いと思うんですが、「新しい知識を得る」ってエンタメなんですよね。 ってことで、ネットには無料でいろいろ覚えられるサイトがあったりするんですが、マサチューセッツ工科大学とか、ハーバード大学とかがやってるedXの機械学習のコースとか試してみたんですが、20分ぐらいで飽きちゃったりして、宝箱を開けたりとか別の事はじめちゃうんですよね。 Machine Learning https://www.edx.org/course/machine-learning-columbiax-csmm-102x-4 んで、スタンフォード大学やコロンビア大学が授業を公開してたりするCourseraに、Googleが提供してる機械学習のコースがあるのですね。 ちなみに、二日前から東京大学もコースを提供しはじめてます
ディープラーニング実践入門 〜 Kerasライブラリで画像認識をはじめよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を
深層学習 を 用いた 異常値検知 手法まとめ 〜 (Denosing) AutoEncoder, LSTM, TDA（Topological Data Analysis) + CNN - Qiita
オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
AI企業へ舵切るヤフー、深層学習スパコン｢kukai｣の驚くべき"コスパ"［直撃インタビュー］
清水亮 / Ryo Shimizu ［経営者、研究者、プログラマー］ and 伊藤 有/Tamotsu Ito ［編集部］ Jul. 26, 2017, 06:00 PM テクノロジー 28,396 ヤフーのスパコン｢kukai｣。スーパーコンピューターのシステムを丸ごと非導電性の特殊な冷却液（フロリナート）に浸して冷却する液浸冷却を採用している。 Yahoo! JAPAN Yahoo! JAPAN（以下、ヤフー）は6月19日、独自のスーパーコンピューター｢kukai（空海）｣でスーパーコンピュータの省エネ性能を競う世界的ベンチマークの1つ｢Green500｣で世界2位になったことを発表した。 このkukai、あまり詳細に語られていない部分も多く、謎が多いスパコンだ。たとえば、日本の産業界ではまだ実用化の例が少ない、スパコンを丸ごと特殊な冷却液（フロリナート）に浸す技術"液浸冷却"を使って
機械学習を用いた異常検知入門
oscセミナー発表資料です。誤字は気にしないでください。 口頭で説明を足したところがあるため、曖昧な説明となっている箇所があったりします、ごめんなさい。Read less
機械学習のことはまだあまり良くわかってないけど、Amazon Machine Learningを使って売上を予測するBOTをつくった - Qiita
機械学習のことはまだあまり良くわかってないけど、Amazon Machine Learningを使って売上を予測するBOTをつくったHubot機械学習ChatworklambdaAmazonMachineLearning とあるECサイトを運用しているのですが、Amazon Machine Learning（以下AmazonML）を使って17時段階の売上金額から、その日の売上を予想するBOTを作ってみました。 （※プライバシー保護の観点から目線をいれております） 処理は heroku（node.js） -> API Gateway -> Lambda -> Amazon Machine Learning -> chatworkへ となっています。 ■AmazonMLの設定 機械学習を使ってみる導入として、AmazonMLは手軽に使えるのでとってもいいですね。 ただ、やっぱりなんも知識がない
DockerでJupyter Notebook環境をお手軽に準備する(TensorflowやGraphvizもあるよ） - Qiita
はじめに ちょっとデータ分析や機械学習をやってみたい、んだけど環境準備が少し面倒だとか、 ハンズオンとかやるんだけど環境セットアップの説明だけで結構時間を使ってしまう、ということがなきにしもあらずかと思います。 Jupyter Notebookは機能的にも素晴らしい環境ですし、Webブラウザがあれば使うことができます。そういう環境はDockerに入れておくと便利で、各自のLocalで起動して使うか、クラウドサーバで起動しておけば、Webブラウザがあれば誰でも使えるのでお手軽です。 既に公開されているDocker Containerもあるのですが、いくつか欲しいものが足りないので追加したものを作ったので共有します。 Jupyter Notebook Docker Container Dockerファイルはここにあります。 https://github.com/mokemokechicken/
AWS News Blog
Join AWS Hybrid Cloud & Edge Day to Learn How to Deploy Your Applications in the Everywhere Cloud In his keynote of AWS re:Invent 2021, Dr. Werner Vogels shared the insight of how “the everywhere cloud” is bringing AWS to new locales through AWS hardware and services and spotlighted it as one of his tech predictions for 2022 and beyond in his blog post. “What we will see in 2022, and even more […]
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT