テキストの多様性を測る評価指標 | AI tech studio
こんにちは。リサーチサイエンティストの村上（＠ichiroex）です。 現在、AI Lab NLPチームで広告文生成の研究に取り組んでいます。 はじめに 近年、GPT-3やT5などの事前学習された大規模言語モデルの登場により、言語生成技術は飛躍的な進歩を遂げています。最近では、Hugging Face社のTransformersを活用して、様々な研究者・団体から事前学習済みモデルが公開されるようになり、我々の研究やプロダクト開発においても言語生成技術がより身近になっています。 生成モデルの研究開発では、生成したテキストを様々な観点で評価することが一般的です [1]。例えば広告文生成では、評価指標の１つとして、商品やサービスの魅力をより豊かな言い回しで伝えるために、生成テキストの多様性が重要視されています。 具体的には以下のように、同じ広告訴求（商品数の豊富さ、送料無料）でも言い回しが異なれ
2021年ノーベル経済学賞の簡単な紹介 | | AI tech studio
2021年度のノーベル経済学賞はDavid Card, Joshua Angrist, Guido Imbensの３名に贈られました。おめでとうございます！ 特にJoshua Angirst氏は東京大学(CREPE)で３日間の集中講義を行った際にAI Labからも参加させていただいたため、非常に親近感がありとても嬉しいです。 プレスリリースのタイトルに「Natural experiments help answer important questions for society」とあることから、因果推論の手法それ自体というよりも、自然実験を社会にとって重要な問いへ適用し、重要な洞察を発見したことへの貢献が考慮されているのだと感じました。 このブログ記事では、受賞した３名の貢献をプレスリリースの要約と共に簡単に解説し、それがデータサイエンティストにとってどんな意味があるのかについて触れたいと
Successive Halvingの性能解析 | | AI tech studio
AI Labの阿部です． つい最近Preferred Networks社から機械学習のハイパーパラメータ最適化フレームワークOptunaが公開されたこともあってハイパーパラメータ最適化が注目を集めていますね！ 機械学習のハイパーパラメータ最適化の代表的な手法といえば，TPE[Bergstra et al., 2011]，SMAC[Hutter et al. 2011]，Hyperband[Li et al., 2018]などが挙げられます． 今回は，HyperbandのアルゴリズムのベースとなっているSuccessive Halving[Jamieson et al., 2015]という手法について解説してみたいと思います． Successive Halvingはハイパーパラメータ最適化を多腕バンディット問題の最適腕識別として考え，より良いハイパーパラメータほど多くの学習時間を割り当てる手
ハイパーパラメーター最適化フレームワークOptunaの実装解説 | | AI tech studio
AI Lab AutoMLチームの芝田です (GitHub: @c-bata)。 ハイパーパラメーター最適化は、機械学習モデルがその性能を発揮するために重要なプロセスの1つです。Pythonのハイパーパラメーター最適化ライブラリとして有名な Optuna [1] は、様々な最適化アルゴリズムに対応しつつも、使いやすく設計的にも優れたソフトウェアです。本記事ではOptunaの内部実装についてソフトウェア的な側面を中心に解説します。 Optunaの内部実装を理解するためには、主要コンポーネントの役割と全体の動作の流れを押さえる必要があります。しかしOptunaの開発は活発で、コード量も多くなり、全体の流れをコードから読み取ることは難しくなってきました。そこで今回Minitunaという小さなプログラムを用意しました。Minitunaには全部で3つのversionがあり、それぞれ100行、200行
小さく始めて大きく育てるMLOps2020 | | AI tech studio
AI Labの岩崎(@chck)です、こんにちは。今日は実験管理、広義ではMLOpsの話をしたいと思います。 MLOpsはもともとDevOpsの派生として生まれた言葉ですが、本稿では本番運用を見据えた機械学習ライフサイクル（実験ログやワークフロー）の管理を指します。 https://www.slideshare.net/databricks/mlflow-infrastructure-for-a-complete-machine-learning-life-cycle 参考記事のJan Teichmann氏の言葉を借りると、 エンジニアがDevOpsによって健全で継続的な開発・運用を実現している一方、 多くのデータサイエンティストは、ローカルでの作業と本番環境に大きなギャップを抱えている クラウド含む本番環境でのモデルのホスティングが考慮されないローカルでの作業 本番のデータボリュームやス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
