連載目次 用語解説 統計学／機械学習におけるmacro-F1（マクロ平均F1）スコアとは、（基本的に）多クラス分類のタスク（問題）に対する評価指標の一つで、クラスごとに計算したF1スコアの平均値を指す。また、micro-F1（マイクロ平均F1）スコアとは、全クラス分をまとめて（＝総計して）計算したF1スコアの値を指す。いずれも0.0（＝0％）～1.0（＝100％）の範囲の値になり、1.0に近づくほどより良い。 macro-F1とmicro-F1の使い分け指針を示しておく。 不均衡データの場合には、macro-F1を使う方がよい。もう一方のmicro-F1スコアの計算方法では、特定のクラスの数に大きな偏りがある場合、適切に評価できない可能性が高いためだ。 micro-F1スコアは、多クラス分類における正解率（Accuracy）と同じ計算結果となる。このため、もう一方のmacro-F1よりもエ

本記事は、AI/ML on AWS Advent Calendar 2022の18日目の記事です。 以前の記事で、TabBERTモデル(IBM論文の付属コード)の環境構築と学習(事前学習、Fine-Tuning)をEC2上で行いました。 動作確認くらいであればこれで問題なかったのですが、いざ本番運用を考えてみると、以下のような問題がありそうでした。 学習中以外の時間にかかるEC2のコスト 推論環境を別途たてることになったときの環境再構築コスト 入出力データの管理の手間 調べてみたところ、Amazon SageMakerというAWSの機械学習用マネジメントサービスを使えばこれらを解決できそうだったので、技術書展で購入した書籍を参考に、勉強がてらSageMakerを触ってみることにしました。 いざ触ってみるとつまづきポイントが多くて心が折れかけたのですが、1週間粘ってようやくJobを成功させる

エムスリーエンジニアリンググループ AI・機械学習チームで機械学習エンジニアをしている農見(@rookzeno) です。 機械学習コンペにたまに参加していて、仕事では主にレコメンド周りを担当しています。 エムスリーのAI・機械学習チームでは技術共有会を毎週で行っています。ここで開発してるプロダクトに使われている技術紹介や論文紹介を行なっています。自分が担当してないプロダクトは知らないことが多いのでドメイン知識や技術共に学ぶことの多い会となってます。 最近、技術共有会の特別企画としてRecsys 2022ワイワイ祭を開催しました。各々が1つのセッションを選び、そのセッション内で気になった論文をいくつか発表する祭です。今回はAI・機械学習チームメンバーが担当したセッションごとに、推し論文の紹介をしていきます。去年のSIGIR'21推し論文を紹介するぜ！と同じ形式です Optimizing pr

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN研究所でHuman-Computer Interaction（HCI）の分野の研究をしている池松です。この記事では、Yahoo! JAPAN研究所と慶應義塾大学、東京工科大学と共同で進めている、スマートフォンの持ち方を推定する手法について解説します。（国際会議 ACM CHI 2022および ACM ISS 2022で発表した研究成果です [1,2]） 持ち方を推定できると何が嬉しい？ 多くのユーザがスマートフォンを片手で持ち、持った手の親指でタッチする操作方法を好むことが知られています [3]。しかし、画面上の位置によっては親指でタッチしにくく、誤って意図しない箇所をタッチしたり、無理してタッ

1. scikit-mobilityとは？ scikit-mobilityは位置情報データを使用して人の動きを解析したり、可視化することができるpythonライブラリです。 公式ドキュメント：https://scikit-mobility.github.io/scikit-mobility/index.html GitHub：https://github.com/scikit-mobility/scikit-mobility 公式ドキュメントは英語しかありませんが結構充実していて、 GitHubにはチュートリアル等も載っているので試してみるのがおすすめです。 scikit-mobilityの主な機能と、チュートリアルについて解説しているQiitaもありますのでこちらも是非参考にしてください。 【Python】位置情報解析ライブラリscikit-mobilityについて① ~scikit-m

1. scikit-mobilityとは？ scikit-mobilityは位置情報データを使用して人の動きを解析したり、可視化することができるpythonライブラリです。 公式ドキュメント：https://scikit-mobility.github.io/scikit-mobility/index.html GitHub：https://github.com/scikit-mobility/scikit-mobility 公式ドキュメントは英語しかありませんが結構充実していて、 GitHubにはチュートリアル等も載っているので試してみるのがおすすめです。 scikit-mobilityの主な機能と、チュートリアルについて解説しているQiitaもありますのでこちらも是非参考にしてください。 【Python】位置情報解析ライブラリscikit-mobilityについて① ~scikit-m

1. scikit-mobilityとは？ scikit-mobilityは位置情報データを使用して人の動きを解析したり、可視化することができるpythonライブラリです。 公式ドキュメント：https://scikit-mobility.github.io/scikit-mobility/index.html GitHub：https://github.com/scikit-mobility/scikit-mobility 公式ドキュメントは英語しかありませんが結構充実していて、 GitHubにはチュートリアル等も載っているので試してみるのがおすすめです。 scikit-mobilityの主な機能と、チュートリアルについて解説しているQiitaもありますのでこちらも是非参考にしてください。 【Python】位置情報解析ライブラリscikit-mobilityについて① ~scikit-m

DeNA / MoT共同のAI技術共有会で発表した、Airflow入門資料です。

この記事は、Merpay Advent Calendar 2022 の17日目の記事です。 こんにちは。メルペイ 機械学習チームでエンジニアリングマネージャーをしているshuukです。 本日は、Machine Learning Platformチーム（以下：ML Platformチーム）をクローズした話をしていこうと思います。 MLの共通基盤という魅力的なアイディア もしあなたが、複数のMLチーム（またはMLシステム）が並行稼働している組織にいる場合、それらの共通部分を括り出した基盤を作り、MLエンジニアはその基盤の上で作業したほうが効率的だと考えたことはないでしょうか。 実際、MLの構成要素は、おおまかには特徴量計算、学習、予測、サービングといったパーツに分解することができ、共通部分も多いです。 新しいMLシステムをスクラッチで開発する苦労を知っているMLエンジニアにとって、社内共通のM

この記事はNuco Advent Calendar 2022の18日目の記事です データ可視化のアンチパターンとは？ そのチャート、分析結果を正しく伝えられてますか？ データの調査・分析タスクはデータサイエンティストの花形とも言える業務ですが、その結果を正しくレポーティングすることは、それらと同等か、もしくはそれ以上に重要なミッションです。 あなたがいかに巧みに、膨大なデータを俯瞰し、切り口を見定め、ビジネスインパクトがあると考えられる統計的特徴を見出したとしても、レポーティング・可視化の仕方が悪ければ、相手に全く伝わらないことが起こりえます。 この記事では、そんな「やってはいけない」データ可視化の方法を紹介していきます。 データサイエンティストだけでなく、あらゆる資料作成者が最低限守るべき可視化の基本になりますので、ぜひチェックしてみてください。 「伝わる可視化」と「伝わらない可視化」

Stable DiffusionやMidjourneyのような画像生成AIは、学習時に使われるデータセットに含まれる画像が著作権を無視して収集されているという問題があり、議論の対象となっています。そんな画像生成AIに抗議するため、あえてディズニーや任天堂などの著作権に厳しいキャラクターの画像を生成して疑問を呈する人が登場したと話題になっています。 Deniz Opal: "Well this has come to a head. …" - vmst·io https://vmst.io/@selzero/109512557990367884 「誰かがこの素晴らしいデザインを盗んでマグカップやTシャツにして売ろうとしていますが、私は一切気にしません。AIモデルのたわ言によると、これらの画像は著作権を超えており、画像はパブリックドメインであるため、法的にはディズニーから何の請求もされないはず

本記事はABEJAアドベントカレンダー2022の17日目の記事です！昨日に引き続き担当の古川です！ 昨日の予告通り生成AIによるAI生成物の著作権と倫理の話です。 生成AIと言っても主に念頭に置いているのは画像生成AIです（議論の発端自体はmimicやMidjourneyです。）。ただ、他のコンテンツを生成するAIにも基本的には同じ理論が当てはまるかと思います。 サマリ 著作権の話 論点整理 生成物の著作権 なぜ著作権を認めたいのか 生成物による著作権侵害 呪文の著作権 AI倫理の話 画風をパクる 仕事の喪失 サマリ やや法律的な専門的な話も含まれるので、結論だけ知りたい人のために、サマリだけ先に。 今主流の乱数やPromptから画像などを作ってくれる生成AIによるAI生成物には著作権が原則として発生しないです。 Promptの呪文の著作権が議論されることがありますが、議論の実益があるのか

本記事はABEJAアドベントカレンダー2022の16日目の記事です！ 本日の担当は、法務・AI倫理関係を担当している古川です。12年ほど弁護士をしていまして、途中で機械学習をやってみたくなり数学から統計から機械学習の勉強をして（PRMLとかカステラ本とか読みました！）、Pythonも勉強をして、ある会社で画像解析AIの実装をしていたのですが、現在は法律・倫理関係業務だけ扱っています。 AI倫理・ガバナンス関係の記事を毎年書いているので、今年もその路線で行きます。テーマは「行く年くる年」。このテーマなら毎年書けますしね。まあ、「くる年」の議論はしませんので、厳密には「行く年」だけで2022年の振り返りでしかないのですが・・・ では、ランキング形式で2022年のAI倫理関係のニュースを振り返ります。ランキング形式が人気らしいのでランキング形式なだけで、別に1位だとか2位という順位に大した意味は

数理最適化 Advent Calendar 2022 の記事です。 何の話かと言うと Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon 上記の書籍の第7章では、次のような問題を取り扱っています。 細かい点は書籍に譲りますが、まず、生データとして次のようなデータが与えられます。 これは、あるショッピングサイトの利用履歴を集計して得られたもので、あるユーザーが同じ商品を閲覧した回数（freq）と、その商品を最後に閲覧したのが何日前か（rcen）の2つの値から、そのユーザーが次にサイトにやってきた時に、再度、その商品を閲覧する確率（prob）を実績ベースで計算したものです。実績ベースのデータなので、ガタガタしたグラフになっていますが、理論的には、 ・freq が大きいほど prob は大きくな

Rユーザーの生産性を高める Google Colaboratory/Kaggle Notebookが生産性を高める ～ノートブックでRを使用する～ 自身のPC上に毎回Rを実行できる環境を作るのは、時に大変な作業です。少しだけ使ってみたい場合やコードと実行結果を簡単に共有したい場合もあります。今回はそんなときに便利な、オンラインでコードを実行できる「Google Colaboratory」と「Kaggle Notebook」というサービスを紹介します。 どちらもコードと実行結果がまとめて表示できるノートブック形式で、かつオンライン上でコードを実行できるサービスです。この2つを使うと主に以下のようなメリットがあります。 環境構築が不要 実行結果とともにコードを共有できる GPUを使用できる Jupyter Notebook[1]など、ノートブックと聞くとPythonが思い浮かぶと思います。しか

この記事はKDDI Engineer&Designer Advent Calendar 2022の16日目の記事です。 はじめに はじめまして、KDDI株式会社の@kazuki_yです。 KDDIではデータサイエンティストのエキスパートとして、お客様向けサービスのデータ分析支援やAI・データ利活用の全社方針策定などの業務を行っております。 コンペ経歴は約2年半でKaggle MasterとSIGNATE Masterの称号を持っています。 本記事では、機械学習初心者がKaggleにどう取り組んで、どのようにKaggle Masterになったのか、Kaggleに取り組んで良かった点を振り返っていきたいと思います。 世の中では度々Kaggleは役に立たない論が出てきますが、私としては昇進もして、賞金も獲得して、技術力も得て、更には自信もついたので超役に立つと思います！本記事が参加への一助になれ

はじめに 2022年11月2日、GoogleはAI技術に特化したイベント「AI@ ’22」を開催しました。同イベントの収録動画はYouTubeのGoogle Researchチャンネルにアップされ、発表された内容はUS版Google公式ブログ記事にまとめられています。この記事では、こうした資料にもとづいて同イベントで語られた自然言語処理、クリエイティブAI、そして気候変動に対処するAIについて、関連記事や論文も参照してレポートします。 アフリカ諸言語をサポート AI＠で発表された成果のひとつ目は、音声認識をサポートする言語数が400を超えたことでした。この400というサポート数は、Metaが2022年7月に発表した200の言語の翻訳をサポートした言語モデル「NLLB-200」の倍に相当します。Googleのアフリカでの活動を報じるGoogleアフリカブログの記事によると新たに音声入力がサポ

AI開発団体のOpenAIが、テキストや画像を数字に変換するEmbedding(埋め込み)モデル「text-embedding-ada-002」を発表しました。text-embedding-ada-002は従来のモデルよりも大幅に機能が向上し、コストパフォーマンスも高くなり、より使いやすくなっているとのことです。 New and Improved Embedding Model https://openai.com/blog/new-and-improved-embedding-model/ Embeddings - OpenAI API https://beta.openai.com/docs/guides/embeddings アルゴリズムがテキストや画像を認識するためには、テキストや画像を数値のデータに変換する必要があります。埋め込みは、テキストや画像を何らかのベクトルに変換する工程

コンビニエンスストア業界でAI＝人工知能を活用する動きが広がっています。店の運営へのアドバイスや売れ行きの予測などを人にかわって助けます。 コンビニ大手のファミリーマートは、AIが商品の発注や売り場作りなど店の運営についてアドバイスを行う新たな業務支援システムを導入します。 店長がタブレット端末の画面に現れる人型のAIと音声で対話をすると、来店客数や商品の売れ行きのデータなどを瞬時に示します。 さらに、AIはふだんのやり取りなどから店長の特性を学習します。例えば、事業の拡大に意欲的な店長には、競争意欲を促すために地域での売り上げ順位を伝えます。 また、新商品の発注を忘れがちな店長には、おすすめの商品を提示してアドバイスを行います。 会社では、来年度末までに全国およそ5000店に導入する計画で、中村弘之店舗業務企画本部長は「店長の気付かないところまでAIがカバーすることで、売り上げ増加への効

「AI自動音声でお伝えしています」 ある朝のNHK「おはよう日本」の画面。ニュース映像の右上に、こんな文字が表示されれていて驚いた。音声に違和感がなく、人間のアナウンサーの声だとばかり思っていたからだ。 意識してよく聞けば、イントネーションや“間”がやや不自然だが、流し聞きしているだけでは分からないレベルだ。 場面がスタジオに転換すると、人間のアナウンサーが2人写った。アナウンサーがそこにいるのに、AIがニュースを読んでいたのだ。 「おはよう日本」だけではない。NHKは、平日午後のニュース、ラジオ、Webのニュース番組の一部などでAIによるアナウンスを活用している。 AIアナウンスはどのように作られたのか？　人間のアナがいるのに、なぜわざわざ、AIにニュースを読んでもらうのか？　NHKに聞いた。 放送時間ぴったりにニュースが読めるAI AIアナウンスの音声は、NHKが開発した技術だ。気象情

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for

Stable diffusionから派生した画像生成AI「stablediffusion-infinity」と「Waifu Diffusion」違いはどこ？　使い方も紹介：派生AIの使用技術もざっくり解説（1/2 ページ） 画像生成AI「Stable diffusion」の公開後、これを基にした画像生成AIが多数発表されている。Stable diffusionの派生AI、「stablediffusion-infinity」「Waifu Diffusion」の2つを紹介する。 Stable diffusionと、画像生成AI 「Stable diffusion」（ステーブル・ディフュージョン）が2022年の8月に公開され、生成したい画像をテキストで表現して入力するだけで、簡単に画像を生成することができるようになりました。このStable diffusionについては、連載「誰もが知っておくべ

妻が遠い世界に旅立って来年で10年を迎えます。筆者は妻が遺した歌声をもとに、歌唱合成でデュエットしたりするのをライフワークとしているので、声そのものは新たな「思い出」を作ることができるのですが、映像についてはそうはいきません。 今年の3月に、古いAppleのデジカメから救い上げた写真が奇跡的に1枚増えたくらいで、残った数百枚の写真、数十本の動画をAIで高精細にしたりとやっていました。これができるのもすごいことです。

こちらは名画、「真珠の耳飾りの少女」。 これが…… （DALL-E公式サイトより引用） こう。 「あれ？元々はこんな感じだったっけ？」と、思わず騙されてしまいそうなクオリティだが 実はこの絵、「真珠の耳飾りの少女」の外側をＡＩが勝手に広げた画像なのだという。 ↑音無しなので安心してご覧くださいませ。（DALL-E公式サイトより引用） これは広げている動画。 「真珠の耳飾りの少女」の誰も見た事のない「外側」を、ＡＩが思うまま自由に絵描いていっている。 単にＡＩが新しい画像を生成するのではなく、「元ある画像から、外を予測して生成する」という拡張性が、従来のお絵かきＡＩとは違っていてかなり面白い。 （DALL-E公式サイトより引用） この画像の外側を広げてくれる「DALL-E2」というＡＩ、筆者もさっそく使おうとしたが、使用には少しお金がかかるらしい。 その為、見たところ他の使用者は「名画」や「

入力した文章(プロンプト)に沿って画像を生成してくれるAI「Stable Diffusion」は、モデルデータが一般公開されていることから多くの人にカスタマイズを施されています。そんなStable Diffusionのモデルを調整して、文章を入力するだけで楽曲を生成してくれるAI「Riffusion」が開発されました。 Riffusion https://www.riffusion.com/ Riffusionの開発チームは、誰でも簡単にRiffusionを利用できるようにしたウェブアプリを公開しています。ウェブアプリにアクセスすると、画面右側に「post-teen pop talent show winner(賞を勝ち取った10代のアーティスト)」というプロンプトが表示されます。楽曲を再生するには、画面右上の再生ボタンをクリックすればOK。 再生ボタンをクリックすると、画面左側の図形が上

これは 画像生成AI Advent Calendar 2022 16日目の記事です。 2022年7月末頃、AIによるテキストからの画像生成が一気に広がって以降、あまりに急速な変化が日々続いています。こうした激動の中でも、日本ではアニメ調のイラスト生成への注目が強すぎて、AIの可能性や破壊力、未来などの話題が少なく感じています。 そこでAIがもたらしうる未来や応用などを考え、特に身近な人々へ向けて、わかりやすく紹介することにしました。AIの専門的な研究者ではなくSFのような未来予想ですがご容赦ください。 なおこの記事は、挿絵も含め全体をCC0 1.0で公開します。最大限自由な利用が可能で、転載や加工や販売も自由に行なえます。CC0として利用しやすいよう、引用や転載も含んでいません。 また挿絵は、解説用もお飾り用もすべて、素のStable Diffusionのみで生成しています。キャプションと

人間との高度な対話が可能なチャットAI「ChatGPT」を駆使することで、マッチングアプリの「Tinder」で女性と出会うことに成功したという事例が報告されています。 Tinder users are using ChatGPT to message matches | Mashable https://mashable.com/article/chatgpt-tinder-tiktok マッチングアプリでAIを利用するという試みはこれまでにも存在していました。プログラマーはマッチングアプリでの出会いをゲームに見立て、AIを用いて一度に何百人ものユーザーにメッセージを送信するなど、さまざまな試みを行ってきたそうです。こういった試みの最新版が、ChatGPTを使うというもの。 ChatGPTを使用してTinderで出会うことができたと報告したひとりが、@ekoastoicというTikTokユ

この記事は、ベストセラーとなった『the four GAFA 四騎士が創り変えた世界』の著者で、ニューヨーク大学スターン経営大学院の経営学者であるスコット・ギャロウェイによる連載「デジタル経済の先にあるもの」です。月に2回お届けしています。 最近、ITは失敗の文脈ばかりで語られる。技術がいかに私たちを失敗させたか。もっと冷静に評価するなら、人間がいかに技術を失敗させているか。SNSは子供時代を台無しにする可能性を秘め、暗号通貨は何十億ドルものお金を消失させている。 しかし、SNSを荒廃させ、暗号通貨に資産をつぎ込んでいるのは、図体だけ大きく成長した子供たちである。その問題点は？　技術は脇役に徹するべきなのに、前面に出てきている。質問を求める解答、本末転倒だ。 毎年、IT業界に新たな技術がお目見えする。ウェアラブル、モバイル、3Dプリント、ブロックチェーン、Web 3.0、そしてメタバース。

内容紹介 身近なデータをPythonで分析できるようになるための知識を、最短コースで身に付けられる本です。Pythonのホントの基本から、データ分析に必要なPythonライブラリの使い方、データ分析の実践例までを一気に学べます。プログラミングの経験がない方もこの1冊を読めば、実際のデータ分析を始められます。 ベストセラーの「最短コースでわかる ディープラーニングの数学」「Pythonで儲かるAIをつくる」などを執筆した著者が送るデータ分析＆AI書籍の第4弾。いつもの平易な解説で、初学者も安心して学べます。 本書は次のような方に最適です。 （1）プログラミング言語自体を知らないが、データ分析のためにこれから勉強したいという方 （2）Pythonのプログラミングは理解しているが、pandasなどの分析用ライブラリがわからないのでAI書籍の実習コードが読めない方 （3）データ分析の全体像がつかめ