It takes a lot of energy for machines to learn – here’s why AI is so power-hungry
This month, Google forced out a prominent AI ethics researcher after she voiced frustration with the company for making her withdraw a research paper. The paper pointed out the risks of language-processing artificial intelligence, the type used in Google Search and other text analysis products. Among the risks is the large carbon footprint of developing this kind of AI technology. By some estimate
PyText: A seamless path from NLP research to production – Facebook Research
We introduce PyText1 – a deep learning based NLP modeling framework built on PyTorch. PyText addresses the often-conflicting requirements of enabling rapid experimentation and of serving models at scale. It achieves this by providing simple and extensible interfaces for model components, and by using PyTorch’s capabilities of exporting models for inference via the optimized Caffe2 execution engine
On the Opportunities and Risks of Foundation Models
AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) that are trained on broad data at scale and are adaptable to a wide range of downstream tasks. We call these models foundation models to underscore their critically central yet incomplete character. This report provides a thorough account of the opportunities and risks of foundation models, ranging from their cap
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
AIで顔や広告を自動生成――サイバーエージェントは学習データをどのように集めたか？
AIで顔や広告を自動生成――サイバーエージェントは学習データをどのように集めたか？：“おいしいデータ”で、成果が出るAIモデルを育てる（3）（2/2 ページ） クラウドソーシング活用、アノテーションツールに作業効率を向上させる工夫を追加 しかし、社内にあるデータがつながっても「学習データが足りない」という課題もあった。サイバーエージェントでは、AIモデル開発に必要な教師データを、クラウドソーシングを活用して収集している。毛利氏は、クラウドソーシングサービスを活用した理由について「効率性」「単価」を挙げて説明する。 「当初は社内で人を抱えて学習データの作成に取り組んでいたが、属人化した結果、『アノテーション作業を10万件やっといて』と頼んでも、他タスクが終わるまで順番待ちになり、AI開発が思うように進まないという課題があった。そこでクラウドソーシングサービスを活用することにした。『（人件費＋
GitHub - ludwig-ai/ludwig: Low-code framework for building custom LLMs, neural networks, and other AI models
Ludwig is a low-code framework for building custom AI models like LLMs and other deep neural networks. Key features: 🛠 Build custom models with ease: a declarative YAML configuration file is all you need to train a state-of-the-art LLM on your data. Support for multi-task and multi-modality learning. Comprehensive config validation detects invalid parameter combinations and prevents runtime failu
効率的な教師データ作成(アノテーション)のための研究サーベイ - ABEJA Tech Blog
どうも緒方@conta_です。 みなさんAI頑張ってますか？ きっと昼はGPUサーバーを回して、夜は結果待ちでビールサーバーを回してる人が多いことでしょう。 機械学習を実際のプロダクトに活用する場合、自分が解きたいタスクがそのままオープンなデータセットで解決できることは少ないので、まず最初に課題となるのはデータセット作成です。 実際にカメラやセンサーを取り付けて収集したり、Webからクローリングしてきたり、事業会社であれば自社のデータセットに教師ラベルをつけることで新しいタスクに取り組むことが可能になるでしょう。 よく疑問になるポイントとして、データセットの量と質は、多ければ多いほど良く、高品質であれば高品質であるほど良いのですが教師データを作成するのは一苦労です。 ＊下記アノテーションの量や質について実験した結果がまとまってます tech-blog.abeja.asia もちろん少数デー
高次元科学への誘い:Hiroshi Maruyama's Blog
（注意：長いです。お時間のある時にどうぞ。） 私は「情報技術が私達の社会にどのような影響を与えるか」という問題に興味を持っています。ここでは、最近進歩が著しい深層学習が、科学の営みにどのように影響を与えるかを考えてみたいと思います。「高次元科学」とでも呼ぶべき新しい方法論が現れつつあるのではないか、と思うのです。 １．深層学習と科学 そもそも、この考えに行き着いた背景には、私が統計数理研究所で過ごした5年間がありました。統計数理研究所は大学共同利用機関として、自然科学の様々な研究を推進するための統計的手法を研究しています。ご存知の通り、統計的仮説検定や統計モデリングは、現代の科学における重要な道具立ての一部です。そのような道具立てが、科学の方法論の長い歴史の中でなぜそのような地位を占めるようになってきたか、に興味を持つようになったのです。 きっかけは、情報技術が科学の方法論をどのように変え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Machine & Deep Learning Compendium | Machine & Deep Learning Compendium
AI21 Labs Asks: How Much Does It Cost to Train NLP Models? | Synced
Welcome to Hao Su's homepage
Google AI Introduces 'FLAN': An Instruction-Tuned Generalizable Language (NLP) Model To Perform Zero-Shot Tasks
ML & DL Compendium 2017-2021 (has moved)
About Gluon
GitHub - awslabs/gluonts: Probabilistic time series modeling in Python
UCSD Database Lab
GitHub - mocobeta/building-search-system-book: 「仕事ではじめる検索システム」という本があったなら，という想像の産物です -> 「検索システム ― 実務者のための開発改善ガイドブック」になりました
http://www.vldb.org/pvldb/vol12/p2094-zhu.pdf
ML Platform Meetup: Infra for Contextual Bandits and Reinforcement Learning
Continuum: a platform for cost-aware low-latency continual learning | the morning paper