AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は「確率・確率分布」について学びました。今回のテーマである「ベイズの定理」は、そのもう少し高度な内容といえます。ぜひ、前回記事も併せてお読みください。 ベイズってどんな人？ トーマス・ベイズ（Thomas Bayes）は1702～1761年に実在したイギリスの人物です。彼の肩書は異色で、牧師でありながら数学者でもあります。そんな彼は「神の存在を方程式で説明できる」と主張したそうです。ベイズは牧師として活動する傍ら研究を重ね、後に解説する「ベイズの定理」を含む「ベイズ理論」を考案したという偉業を成しています。 ところが、その偉業はベイズの死後である1764年にRプライス（生命保険の創始者の一人）によって発見されました。その後、偉大な物理学者

みなさん、こんにちは。 こちらは「ABEJAアドベントカレンダー2020」の23日目の記事です。 はじめに 私は、弁護士として法律事務所に所属しつつ、ABEJAで法務のサポートなどをしています。 また、JDLAのE資格を取得したので、機械学習エンジニアを名乗って少しだけエンジニア的な活動をしたりもしています。 仕事柄、AIと法律の話をすることが多いのですが、その際に私がよく質問されるのが、 ①　所有権とか著作権とか特許権とか、権利がいろいろあってAIとの関係で何が問題になるかよくわからない ②　データの利用が法的にOK／NGってどういう観点から検討してるのかよくわからない ③　AI開発の委託・受託のときのモデルの権利問題がよくわからない といったものです。 そこで今日は、この3つの問題をできるだけわかりやすく、一気に解説してしまおう！という記事を書きました。 経産省の「AI・データの利用に

この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 ---------------------   個人的2020年総まとめと所感  --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき

こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ

平素は株式会社ライブドアのサービスを ご利用いただきありがとうございます。 提言型ニュースサイト「BLOGOS」は、 2022年5月31日をもちまして、 サービスの提供を終了いたしました。 一部のオリジナル記事につきましては、 livedoorニュース内の 「BLOGOSの記事一覧」からご覧いただけます。 長らくご利用いただき、ありがとうございました。 サービス終了に関するお問い合わせは、 下記までお願いいたします。 お問い合わせ

先にトレーニングデータ(train.csv)をデータセットに追加しておきます。 モデルのトレーニング 先ほど追加したデータを使ってトレーニングを行います。BQMLならSQLで簡単にトレーニングも実施できますね。 使うモデルはXGBoostでいこうと思います。（ちなみに最初はAutoML Tablesを使う予定でしたが、オンライン予測はまだ対応していませんでした） CREATE OR REPLACE MODEL Titanic.xgboost_model OPTIONS( MODEL_TYPE='boosted_tree_classifier', INPUT_LABEL_COLS=["Survived"] ) AS SELECT * EXCEPT(PassengerId, Name, Ticket, Fare, Cabin) FROM `Titanic.train` モデルのエクスポート モ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でYahoo!ショッピングやPayPayモールのおすすめ機能（レコメンドシステム）の開発を担当している正沢です。 この記事では、別々に作られた複数の機械学習のバッチジョブ管理システムをApache Airflow（以降、Airflowと記載します）に集約して、運用負荷を低減した事例を簡単なシステム構成とともに紹介したいと思います。 ※ レコメンドシステムの開発ではプライバシーポリシーの範囲内で取得したデータを用いて行っています Yahoo!ショッピングのレコメンドとは？ Yahoo!ショッピングやPayPayモールには、ユーザーがなにか商品を見ている時に、他にも興味を持ってもらえそうな商品を推薦するレ

追記：マリオの全ステージクリアを目指します！(2021/12/30) 深層強化学習で学習したAIマリオで全ステージクリアを目指すプロジェクトをGitHub Pagesで立ち上げました！参加者募集中です！ 詳細は以下参照ください 深層強化学習のPyTorchチュートリアルが日本語訳されて…ない！ PyTorch勉強中の人にとって助けになるのが公式のチュートリアルです。そんな公式チュートリアル @sugulu_Ogawa_ISID さんが日本語訳して公開してくださっています。 今、深層強化学習に興味津々丸なので、早速確認してみました。 すると… ない！ PyTorchのチュートリアル、マリオをプレイするものあって、めっちゃ面白そうなんですよね。というわけで、訳される前のPyTorchの深層強化学習のマリオチュートリアルをやってみました。 ちなみに、PyTorchチュートリアル（日本語翻訳版）の

研究開発部の浅野です。普段は画像やヘルスケアデータを扱うことが多いのですが、最近シフトスケジューリング問題に興味をもって学び始めたので、その内容を少しご紹介したいと思います。シフトスケジューリング問題とは、人員の配置基準や働く人の希望、能力、相性、業務負荷などを加味しながらある一定期間(1ヶ月など)の勤務シフト表を作成する問題です。看護師のナーススケジューリングが有名ですが、保育士のシフト作成も多くの園長先生が頭を悩ませていることの一つです。今回はこの問題を最適化問題としてモデル化・定式化して実際に解いてみたいと思います。 最適化問題は、制約条件を満たす解の中で、目的関数を最小（最大）にする解を求めるもので、次のように定義されます。 \begin{align} minimize \quad &f(x): &目的関数\\ subject \; to \\ &g(x)>= 0: &不等式制約条

フルカラーで実践的 昨日、朝倉書店さんと筆者の@drillerさんから『Pythonインタラクティブ・データビジュアライゼーション入門』をご恵投いただいた。 サブタイトルは「Plotly/Dashによるデータ可視化とWebアプリ構築」であり、データ分析から図示まで1人で何役もこなせるPythonの強みを体現したような本である。 www.asakura.co.jp Pythonでグラフを描画するにはMatplotlibがデファクトスタンダードであるが、動的に描画したりWeb上で扱えるようにするにはJavaScriptの力が必要であった。 オライリージャパンさんにも『PythonとJavaScriptではじめるデータビジュアライゼーション』という本もあったように、データ分析の能力と描画する能力の両方が必要であった。 『Pythonインタラクティブ・データビジュアライゼーション入門』はデータ分析

※この投稿は米国時間 2020 年 12 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Apache Hadoop と Apache Spark は、分散ストレージとデータ処理のための確立された標準フレームワークです。Google Cloud のフルマネージド クラウド サービスである Dataproc を Apache Spark および Apache Hadoop クラスタの実行に使用することで、データ サイエンティストとデータ エンジニアがこれらのフレームワークを簡単に使用して、コストを節約できます。機械学習モデルを構築する場合は、Apache Spark を使用したデータの前処理に Dataproc を使用できます。また、同じ Spark クラスタを使用して、ノートブックを機械学習用に強化できます。Google は機械学習用クラスタを構成する時間

人工知能企業の「DeepMind」が、新たに「ルールの知識がゼロでも囲碁・将棋・チェス・Atariの勝ち方を自分で学んでいくことができるAI」を発表しました。「MuZero」と名付けられたAIは、「自分で考えるAI」への大きな一歩だとみられています。 Mastering Atari, Go, chess and shogi by planning with a learned model | Nature https://www.nature.com/articles/s41586-020-03051-4 MuZero: Mastering Go, chess, shogi and Atari without rules | DeepMind https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atar

東京都市大学は、人工知能（AI）が作った曲を、音楽大学の学生が手直しすることで、人間にとって心地よい楽曲を制作することができたと12月22日に発表した。AIが人間の創作意欲を引き上げる効果も確認したという。今後は、一般の人もAIを使って作曲できるよう研究を進めていく。 実験では、既存の楽曲を50曲用意。シンガーソングライターの白井大輔さんと洗足学園音楽大学の学生の協力を得て、楽曲をAIで混ぜ、新しい曲を作る実験をした。 音大生がある状況を思い浮かべ、それに合う楽曲を2、3曲選び、それらをAIが混合して作曲。感情を持たないAIは、評価を気にせず既存の楽曲をもとに作曲できるが、全てをAIに任せた場合は、音大生やミュージシャンによる評価が低い「イマイチ」の曲が多く生成された。AIが作った曲を、学生が音楽理論に基づいて修正することで、人の感性に訴える曲も作ることができたという。 また、参加者へのイ

「Kaggleのチュートリアル」の第５版をKindleで公開しました。 公開から５日間限定で、無料公開を行っていますので、是非ダウンロードください。 Kaggleのチュートリアル第５版 作者:カレーちゃん発売日: 2020/12/22メディア: Kindle版 この記事はKaggle Advent Calendar 2020 - Qiitaの25日目の記事として書いています。 Kaggleとは Kaggleは、はじめるのが、少しだけ難しい Kaggleのチュートリアル目次 第４版から更新したところ もらった感想など 参考サイト Kaggleのチュートリアルの第１版から第４版 （販売は終了しています） この本を読んだ後の学び方など その他、思ったこと ここ数年の国内でのKaggleの盛り上がり kindle direct publishing（KDP） 簡単ですぐに公開できた Kaggleと

Googleは自社の科学者らに対し、人工知能（AI）技術がより「肯定的」に見えるように研究論文を執筆するよう求めていたと、Reutersが米国時間12月23日に報じた。顔の解析や、人種、性別、支持政党などの問題を扱う前に、Googleの法務、ポリシー、および広報チームに相談し、「慎重な扱いが必要な論題」の審査を依頼することを研究者らに求める、新しい査読手続きが設けられていたとされる。 Reutersによると、このポリシーに関する社内ウェブページの1つには、「技術が進歩し、社外環境がますます複雑になるにつれて、害がなさそうなプロジェクトが、倫理、評判、規制、または法律に関する問題を引き起こす状況につながるケースが増えている」と書かれている。 Reutersが確認した社内のやり取りによると、「肯定的な論調になるように細心の注意を払う」よう求められたGoogleの論文執筆者もいたという。 今回の

Kaggle「MoA」で4位入賞、Masterの称号を獲得しました kaggle_moa_prediction はじめに 先日、Kaggle主催のMechanisms of Action (MoA) Prediction（※）に参加しました。チームメンバーは、エムスリー株式会社 堀江氏、そして 当社所属のデータサイエンティストである、羽鳥、阿内、佐々木、小畑の5名です。 本コンペティションは医薬品の作用機序予測がテーマであり、世界中から4,373チームのデータサイエンティストが参加しました。 我々のチームは全チーム中4位の成績を収め、$5,000の賞金と、Kaggle Masterの称号を獲得しました。 ※ Kaggleは、世界最大のデータサイエンスコンペティションのプラットフォームで、世界中から15万人以上のデータサイエンティストが技術を競い合います。Kaggle Masterの称号を獲

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Amazon Web Services（AWS）の「Amazon SageMaker」は機械学習のデプロイに用いられるツール群だ。導入企業は増え続けており、AWSのSageMaker担当幹部によれば、機械学習のエキスパートの間でもSageMakerは不可欠なツールになりつつあるという。 「機械学習のエキスパートもSageMakerに移行しつつある。インフラを自社で管理する必要がなく、生産性が桁違いに高まるからだ」と、AWSの機械学習担当バイスプレジデント兼ゼネラルマネージャーのBratin Saha氏は述べる。 Saha氏はAWSの年次カンファレンス「re:Invent」の第3週に米ZDNetの取材に応じた。今回の「re:Invent」

オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください！ もう2020年も終わりますね。いかがお過ごしでしょうか。私は今年を積極的にアウトプットしていく年にしていたので、深層学習の論文を可能な限り読みました(それでも略読含めて150本程度だと思いますが...)。僭越ながら、今年2020年に読んだ論文たちの中から独断と偏見に基づいて面白かった論文を10個ランキング形式にてまとめます。2020年に読んだ論文なので必ずしも2020年に発表された論文とは限りません。完全なるオレオレランキングなので画像系多めです。簡単な説明に加え論文、解説記事、実装へのリンクをそれぞれに載せましたので興味ある論文があれば是非読んでみてください！それでは第10位から早速見ていきましょう！ 【第10位】: "M

Pythonでは他の言語における配列と同等なデータ構造はリストとして実装されている。ここでは、本連載でこれまでに紹介してきたリスト（配列）の使い方をコード例を主体にまとめる。詳しい解説はコード例に続けて紹介しているリンクを参照してほしい。 リストを初期化する # リスト（配列）の初期化：角かっこ「[]」で囲み、要素をカンマ「,」区切りで並べる empty_list = []  # 空のリスト print(empty_list)  # [] int_list = [0, 1, 2]  # 整数リスト（整数配列） print(int_list)  # [0, 1, 2] mylist = [0, 'abc', 1, 'def']  # リスト（配列）には任意の型の要素を格納できる print(mylist)  # [0, 'abc', 1, 'def'] # リスト（配列）の初期化：list関