自然言語処理（NLP）に革命を起こした手法「Transformer」の利用領域がさらに拡大する ディープラーニング以外の機械学習関連技術に対する認知と利用が広がる AI／機械学習の倫理問題はさらに大きくなり、データとプライバシーの規制が強化される MLOpsはさらに成長し、採用する企業が増えていく エッジAIが普及し、エッジデバイスでの機械学習関連処理が当たり前になる それでは早速、1つ目から順に紹介していこう。なお、番号順は優先度／可能性順というわけではなく、単に書いた順である。 1. 自然言語処理（NLP）に革命を起こした「Transformer」の利用領域がさらに拡大する 昨年2019年は「自然言語処理（NLP）がさらに躍進し、活用事例が増えていく」と予測したが、まさに2020年はNLPの年だったと誰もが実感しているのではないだろうか。その躍進の根源となる技術がTransformer

From right to left: an Intel-based 16-inch MacBook Pro, M1-powered 13-inch MacBook Pro, M1 13-inch MacBook Air. I watched the keynote and saw the graphs, the battery life, the instant wake. And they got me. I started to think, how could one of these new M1-powered MacBooks make their way into my life? Of course, I didn’t need one but I kept wondering what story could I tell myself to justify purch

※この投稿は米国時間 2020 年 12 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Dataproc は、Apache Spark クラスタ、Presto クラスタ、Apache Hadoop クラスタなどのオープンソースを簡単かつコスト効率よく実行できるようにする、高速で使いやすいフルマネージド クラウド サービスです。本日、Dataproc Hub を一般提供し、機械学習の初期化アクションをリリースしました。Spark による水平スケーリングが可能なコンピューティングにより、データ サイエンティストが、IT で制御されたオープンソース ノートブック ベースの機械学習を簡単に使用できるようになります。 Dataproc で機械学習を運用する企業のお客様は、IT とデータ サイエンティストのロールを分離する必要があります。また、IT 管理者は Dat

AIの課題は「ルールを見つける」ことAIは自らルールを発見できるのか？ / Credit:Depositphotos圧倒的な学習能力と計算能力を有するAIでも、人間の知性には遠く及びません。 実際、チェスや囲碁、将棋などで人間に勝利するAIでさえ、前提つまりルールは人間が教えてあげなければいけません。 つまり人間のように、「ルールブックを読まなくても、なんとなくルールを把握していく」ことはできないのです。 そしてこの問題はゲームAIだけでなく、すべてのAIが次の段階に進むための大きな課題でもあります。 仮にAIが「環境や状態から特定のルールを見つけ出して、最善の決定ができる」のであれば、人間以上の学習能力と計算能力を生かして、ある意味人間を超えることができるでしょう。 では、AIは「ルールを発見する」という課題を達成できるのでしょうか？ 答えはYesです。 なぜなら人工知能企業DeepMi

DataHax株式会社（東京都渋谷区）はAI（機械学習）を利用したナンバープレート認識システムの"AutoCode"の車体検出/車体カウント機能をリリースしサービスを開始しました。 ■ 概要 AI（機械学習）を用いて動画や画像からナンバープレートの認識をし、文字読み取り、テキスト化するシステム"AutoCode"の車体検出/車体カウント機能をリリースしました。機能の一部追加のリリースとなり引き続き開発を進めています。 ※利用していただける企業を引き続き募集しており下記メールアドレス、またはホームページからご連絡ください。 ■ 背景 車体検出/車体カウント機能に対してお問い合わせを多数いただき、ナンバープレート認識システムに追加して車体の検出と車体カウントする機能を追加しました。この機能は交通量調査やマーケティングの効果検証に利用できます。複数の車線、進行方向にも対応しています。 任意の位置

コミュニケーションサービスを手がけるLINEには「AIカンパニー」と呼ばれる人工知能（AI）技術を実用化する部門がある。この部門が11月25日、今後の研究開発の方向性と目指すゴールを「R&Dビジョン」として発表した。私はLINEの技術顧問としてこのR&Dビジョンの策定に関わった。その意義を説明したい。R&Dビジョンは今後5年間、AIがどのように発展すべきかを4つの技術コンセプトで示した。その4

2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列

本記事は「求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020」の17日目の記事です。空いていた枠に後日投稿しました。 Azure Machine Learning という機械学習周りの広い範囲をカバーするサービスがあります。Azure Machine Learning はデータセット管理からモデルの開発、実験の管理、モデルの管理、デプロイまで、機械学習モデルの開発に必要なほぼほぼ全ての工程をこなすことができるサービスですが、本記事ではAzure Machine Learning の機能の一部、実験管理とモデル管理部分をインターネットに接続可能な任意の Python 開発環境と組み合わせる方法を検証しつつ紹介します。 ただし、Azure Machine Learning の機能を素の状態では使用しません。最も広く使

本記事は東京学芸大学 櫨山研究室 Advent Calendar 2020の25日目の記事になります． はじめに 本記事ではB'z，Mr.Children，椎名林檎，BUMP OF CHICKEN，RADWIMPS，YUIの歌詞情報を機械学習で分類します． 単純に言うと6値のテキスト分類です． 歌詞データのスクレイピング方法，機械学習モデルの構築・評価，モデルの予測結果にLIMEによる説明について記述しています． 使用するデータの収集 スクレイピングを使って利用する歌詞データを集めます． 手順を図に示すと以下のようになります． 対象とするアーティストと曲の選択 今回は独断と偏見でB'z，Mr.Children，椎名林檎，BUMP OF CHICKEN，RADWIMPS，YUIを対象とします． それぞれから20曲ずつ合計120曲分の歌詞データを収集します． 対象とする曲をリストアップすると以

人工知能(AI)及び機械学習分野の国際学会「NeurIPS」が、会議に提出される論文の必要要件として、「理論が与える広範の影響についての記述」を追加しました。 The NeurIPS 2020 broader impacts experiment « Statistical Modeling, Causal Inference, and Social Science https://statmodeling.stat.columbia.edu/2020/12/21/the-neurips-2020-broader-impacts-experiment/ コンピューター科学者が作成したものが与える潜在的な影響について、それが良い結果であれ悪い結果であれ、バランスの取れた議論が必要だとされています。理論が与える倫理的な側面などについて議論する方法は以前から検討されてきましたが、「理論が社会に与

初めに 皆さん初めましてmosyoryです。 画像処理に興味はあるがどうやってやるのかわからない、そんな方もいるのではないでしょうか。 本記事ではWindows・Macの環境でPythonとOpenCVを使ってちょっとした画像処理の方法を紹介したいと思います。関数等の詳細な解説は行っていないので予めご了承ください。 初めに OpenCVとは OpenCVのインストール Windows Mac pipでインストールできない 基本操作 読み込み 表示 保存 画像処理 色空間の変換 二値化処理 輪郭検出 輪郭描画 終わりに 参考サイト OpenCVとは OpenCV(Open Source Computer Vision Library)とはオープンソースコンピュータ・ビジョン・ライブラリです。 画像処理や汎用的な数学処理、機械学習に関するアルゴリズムが多数含まれています。 C+、Python、

2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。 手法　音声を直接変換しようとすると、利用者の音声データが必要になってしまいます。そこで、音声を直接変換するのをやめて、①音声を構成する要素である音素と音高に分解し、②音素と音高を目標の声（ゆかりさん）に再合成することを考えました。 ①は、音素の抽出に音声認識とOpenJTalkとJuliusを、音高の抽出にWORLDを用いれば簡単に実現できます。そのため、②さえ実現できれば、利用者の声のデータを用意することなく、誰でもゆかりさんの声に変換すること

「誰でも」「高品質に」ゆかりさんの声になれる声変換技術を作りました。また一歩、結月ゆかりになるという夢に近づけた気がします。～Q&A～Q. 生放送で使える？A. 現状だと声変換に数十秒かかるので難しいです。生放送用途だとリアルタイムYukarinがおすすめです。sm35735482Q. ゆかりねっととの違いは？A. テキスト以外の情報も利用するので、笑ったり怒ったりできます。Q. 公開予定は？A. 声変換システムの配布予定はありませんが、技術解説はブログにて公開しています。また、声変換にご興味ありましたら、ツイッターなどでご連絡いただけるととても嬉しいです。-----------------------------------・ツイッターhttps://twitter.com/hiho_karuta・技術解説ブログhttps://blog.hiroshiba.jp/everybod

はじめまして、ますみです！ 本記事のターゲットと概要は以下の通りです。 ターゲット / Target 機械学習に携わる研究者 機械学習を用いたソフトウェアに従事する方々（エンジニア / デザイナー / プロマネ / マーケター / セールス / コンサル / 経営者など） 概要 / Abstract 機械学習をAzureというクラウドサービス上で実行 / 運用していく場合に知っておくべき知識の紹介。 ※ 求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020 の23日目の記事です。 また、本記事の作者（私）はAzure Fundamentalの資格を取得しているものの（証明書）、まだまだ学び足りないことがたくさんあります。そのため、もしも「こういうサービスもあるよ！」や「こういうメリットとデメリットもあるよ！」などの

機械学習の初心者がpythonで...シリーズの第二弾です。 前回の記事『機械学習の初心者がpythonで競馬予測モデルを作ってみた』では、競馬を題材にして、簡単な学習モデルを構築する過程をまとめてみました。 今回は実践編ということで、2020年の総決算である有馬記念の予想を実際にしてみたいと思います。アドベントカレンダーの大トリを担当ということもあり、ちょうどタイミング的にもピッタリ？ですね！ ※ 環境構築は前回の記事を参照してください 有馬記念とは？ 中央競馬のGI競走の一つで、ファン投票によって出走馬が選出され、別名グランプリとも言われる1年を締めくくるビッグレースです。 レース概要はこちらです。 開催日：2020/12/27 (日) 競馬場：中山競馬場 コース：芝2500m 小回りの中山競馬場の長距離レースということで、個人的には紛れが起きやすいレースだと感じています。実際に、3着

異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev

- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。 できてた 『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし🎃 (@vaaaaanquish) 2020年12月26日 学習済みモデルをダウンロードし、WebAssemblyで形態素解析、機械学習モデルによる判定を全てブラウザ上で処理する。 この記事は、そこに至るまでメモ。 - はじめに - - 技術的な概要 - - データの収集 - - 技術的な構成 - - モデル周りの話 - - おわりに - - 技術的な概要 - 何が面白いのか簡易図 なんか適当な図学習済みの機械学習モデルをダウンロードして、手元のブラウザ上で動くjavascriptだけで、テキストの処理や判定をすると

人工知能（AI）が人間のものと区別ができないほど巧みな文章を生成したり、コミュニケーションロボットが大きな支障なく会話を進めたりするのが当たり前になってきた。コンピューターで言葉を扱う自然言語処理技術がこの数年で急進展したためだ。言語というあいまいで揺らぎの大きい情報を機械が上手に扱えるようになってきた。自然言語処理の応用範囲も広がり、社会や産業のDX（デジタルトランスフォーメーション）のカギを

株式会社ZMPは、2020年8月17日より受注開始した、NVIDIA Jetson Xavier搭載、ROSによる開発が可能な自動運転/AI技術開発用ロボットカー「RoboCar1/10X」の出荷を同年12月8日より開始したことを発表した。 同社のRoboCar 1/10シリーズは、自動車の1/10スケールの車両に外界センサとして単眼カメラ、前後にLiDARを搭載し、加速度・ジャイロセンサ、エンコーダにより車両の挙動や走行距離の把握ができる。また、各種センサ情報の取得、速度・操舵角制御、通信などのライブラリを用意。これらを用いて自由にアプリケーション開発が可能。コンパクトな自動運転開発用プラットフォームとして2009年の発売開始以来、自動車/部品メーカ、大学研究教育機関において、自動運転の研究・開発や人材教育研修など様々な用途で活用されている。 今回最新機種となる、GPU搭載、NVIDIA

1～2ヶ月ぐらいかけてNumPyの基礎～実装力をつけるための本を書きました。問題演習形式で221問収録してあります。 着想 以前この本を書いたのですが、ディープラーニングに行く前のNumPyでつまずいている方が結構多かったのです。例えば「np.meanのaxisってどうするの？」や「shapeが何だかわからない」というケース。そこをどうにかケアしようというのが今回の目的です。 NumPyの問題演習は昔からありまして、100 numpy exercisesが有名です。昔初心者の頃自分もやったことがあります。最初の方は良いのですが、あとの方が「これイマイチ何に使うんだろう」という疑問があったのです。今振り返ってみても「NumPyの問題としてはよくても、そこまで実践的ではないな」と多少不満点はありました。「それならもう自分で作ってしまおう」ということで本を書きました。 大事にしたところ 本書を書