機械学習システムの信頼性を数値化する論文「 What’s your ML test score? A rubric for ML production systems」 2020-04-19 NIPS206 にて開催された Reliable Machine Learning in the Wild - NIPS 2016 Workshop (2016) という、現実世界でどうやって信頼性の高い機械学習に取り組んでいくかについてのワークショップがある。 ここで Google から発表された What’s your ML test score? A rubric for ML production systems がとても面白く、身になるものが多かったのでメモがてら抄訳を残しておく。 PDFSlide発表動画もワークショップページにて公開されています。change logs2021-04-25

TIS、自然言語処理で企業名認識を行うための辞書「JCLdic」を無償公開企業名のカバレッジ範囲が高い辞書で、自然言語処理など多様なシーンでの活用を目指す TISインテックグループのTIS株式会社（本社：東京都新宿区、代表取締役会長兼社長：桑野 徹、以下：TIS）は、自然言語処理で企業名認識を行うための辞書「JCLdic」（日本会社名辞書）を無償公開し、辞書を生成するコードをオープンソースソフトウェア（OSS）として公開することを発表します。 ・「JCLdic」公開ページ：https://github.com/chakki-works/Japanese-Company-Lexicon （利用は上記のページからダウンロード） 「JCLdic」は800万以上の企業名を収録している企業名辞書です。国税庁が公開している法人情報(2019年12月27日まで)の商号に対して、別名生成手法を適用してTI

Authors: Joe Spisak (Facebook), Aditya Bindal (AWS), Kiuk Chung (Facebook), Mike Stefaniak (AWS) As PyTorch is used more and more in production environments, we’ve continued to see the need to provide better tools and platforms for the community to scale up training and deploy models efficiently. Today, we are excited to introduce TorchServe (Experimental), a new open-source model serving library

【小ネタ】[Amazon SageMaker] 既存のモデルを使用した増分学習をJupyter Notebookでやってみました 1 はじめに CX事業本部の平内（SIN）です Amazon SageMaker（以下、SageMaker）では、既存のモデルを元に学習を開始する増分学習がサポートされており、ここDevelopers.IOでも既に紹介されています。 上記は、コンソールから物体検出の増分学習の要領が、紹介されていますが、これを、単に、Jupyter Notebookでやってみた記録です。 Jupyter Notebookには、物体検出の増分学習のサンプルとして、Amazon SageMaker Object Detection Incremental Trainingがあり、データ形式がRecordIOとなっていますが、今回試したのは、JSON形式のデータセットです。 参考:

概要 low-codeで、機械学習ができるライブラリのPyCaretがついに、v1.0になりました。 機械学習モデルの 可視化 が便利なので、モデルの可視化 に着目し、まとめてみます。 ソースを確認すると、部分的に内部でYellowbrick@HP（Yellowbrick@qiita）を利用しているようです。 なお、QiitaでもPyCaretタグの下記で取り上げられています。 最速でPyCaretを使ってみた 機械学習を自動化するライブラリ『PyCaret』入門 やること 列挙してみると下記の通りですが、pycaretの自動化により数行で実行できます。 ①データ（クレジットカードのデフォルト）をロード ②前処理 ③モデル比較（アルゴリズム間の性能比較） ④パラメータチューニング ⑤モデルの可視化（★ここがメインなので、冒頭でここを説明★） やってみる（⑤モデルの可視化） 手順上は １番最

新しめの機能を中心に知っているとドヤ顔できるかもしれないpythonの文法を紹介します。 1. 代入式 python3.8より追加された新しい構文です。新しいものを知っているって良いですよね。 代入式は :=という構文で書き、条件式と代入文を同時に使用可能です。 例えば以下のような良くある条件式は text = 'Hello New Expression!!' text_length = len(text) if text_length > 10: print(f"String is too long!!({text_length} length, expected <= 10)") :=を使用して以下のよう短縮して書くことが可能です。 if (text_length := len(text)) > 10:の部分で代入と条件式の両方の役割を果たしていることが分かります。 text = 'H

ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で

用語「ソフトプラス関数」について説明。途中から右肩上がりになる滑らかな曲線で、「0」～「∞」の間の値（入力値が0以下なら「0」に近い数値、0より上なら「入力値と同じ値」に近い数値）を返す、ニューラルネットワークの活性化関数を指す。 連載目次 用語解説 AI／機械学習のニューラルネットワークにおけるソフトプラス関数（Softplus関数）とは、あらゆる入力値を0.0～∞という正の数値に変換して出力する関数である。 図1を見ると分かるように、ReLUという活性化関数にやや似ており、途中から右肩上がりになる。ただし、関数への入力値が0付近では、出力値が0にはならない点が異なるので注意してほしい。ソフトプラス関数では、入力値が-3.0以下など小さくなればなるほど出力値が0に近づいていき、入力値が3.0以上など大きくなればなるほど出力値が入力値と同じ値に近づいていくのが特徴的だ。

Amazon Web Services（AWS）は2020年4月21日（米国時間）、Facebookと協力し、PyTorchプロジェクトでモデルサーバライブラリを開発したと発表した。トヨタグループで自動運転関連の技術開発を行うToyota Research Institute Advanced Development（TRI-AD）は、これを採用しているという。 一方、PyTorchプロジェクトは、最新リリースのPyTorch 1.5に、これを実験的機能として組み込んだと発表している。 PyTorchは、Facebookが開発をリードしてきたオープンソースソフトウェア（OSS）の機械学習ライブラリ。GitHubにおける説明によると、TorchServeの目的は、同ライブラリの本番利用における次のような課題を解決することだという。 PyTorchモデルをホストする高性能なWebサーバコンポー

エッジAIを加速する「Jetson」、次モデルは「Nano Next」と「Orin」に：GTC Digital（1/2 ページ） NVIDIAは「GTC Digital」の講演で組み込みAI開発プラットフォーム「NVIDIA Jetson」を紹介した。AIコンピュータの他、各種SDK、NVIDIAのパートナー企業の解説を行った。 NVIDIAは2020年3月22～26日に米国サンノゼで開催予定だったユーザーイベント「GTC（GPU Technology Conference） 2020」に替えて、新型コロナウイルス感染症（COVID-19）の感染拡大に対応した完全オンラインイベント「GTC Digtal」を開催している。GTC Digtalでは、同年3月下旬から4月23日までの約1カ月間でさまざまな講演がオンラインで無料で見られるようになっている。 本稿では、これらの中から、IoT（モノの

AWSで機械学習を行うときに、役に立つサービスを紹介します！ なお当記事の読者として、以下の知識がある方を想定しています。 ・ EC2、S3及びRDSといったAWSの基本的な機能 ・ 機械学習のおおまかな流れについて ・ Jupyter notebookとは？ この記事では、特に使用頻度の多い「SageMaker」「Athena」「Glue」の三つのサービスについて、それぞれの特徴と使用場面をざっくり理解していただけたらと思います！ AWSで機械学習を行うメリット ライブラリを標準装備しているため、環境設定を行う必要がない 学習に時間がかかる場合でも、インスタンスの性能を引き上げることで高速化が可能 既にAWSを使っていて、S3などのストレージに学習データがある場合、処理がスムーズ データベースや学習の実装、デプロイまでを一貫してAWS上で行うことができる ローカルマシンではなく、AWS上

from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import torch from torch import nn iris = load_iris() X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target) X_train = torch.from_numpy(X_train).float() y_train = torch.tensor([[float(x)] for x in y_train]) X_test = torch.from_numpy(X_test).float() y_test = torch.tensor([[float(x)] for x

※この投稿は米国時間 2020 年 4 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習はかつては専門の研究者の領域で、ソリューションの構築には複雑なモデルや独自のコードが必要でした。しかし、Cloud AutoML によって機械学習はこれまでになく身近なものになりました。モデルの構築プロセスを自動化することで、ユーザーは最小限の機械学習の専門知識（しかも最小限の時間）で高性能のモデルを作成できます。 ただし、多くの AutoML チュートリアルや入門ガイドでは、適切に整理されたデータセットがすでに用意されていることを前提としています。とはいえ実際には、データを前処理して特徴量エンジニアリングを行うために必要な手順は、モデルの構築と同じくらい複雑になることもあります。この投稿では、実際の元データからトレーニングされたモデルに至るまでどのような道のり

The streaming world continues its transformation into the new cable bundle. Disney and Warner Bros. Discovery recently announced that they’ll be launching a bundle this…

本記事の目的 機械学習の推論web APIの典型的な構成を紹介します。必ずしもWEBの知識や機械学習の知識はなくても読める内容だと思います。（実装例は除く） 紹介する構成は、業務でいくつかの機械学習モデルの推論web APIをたてた経験からきていますが、あくまでも個人的見解なので、こっちのほうがいいよーってのがあればコメントで教えていただけると幸いです。 実装例ではweb frameworkは非同期処理の扱いやすさ、実装のシンプルさの観点からFastAPIを使います。 目次 機械学習の推論web APIの構成 実装例 1. 機械学習の推論web APIの構成 本記事では、2つのパターンを紹介します。 注) まず、共通部分の説明をします。機械学習の知見が必要なのは基本的に共通部分だけです。もし、機械学習に詳しくない or webに詳しくない場合は、共通部分と後述の部分で役割を分担できるので、

はじめに AWS認定 機械学習 - 専門知識にスコア849点で合格しました。勉強期間は約1ヶ月でした。 私が実践した勉強方法を共有しますので、これから受験する方の参考になれば幸いです。 私とAWSと機械学習 AWS歴は約4年です。 機械学習を業務で扱ったことはありません。機械学習系のAWSサービスで言うとAmazon PersonalizeとAmazon Forecastのハンズオンセミナーに参加したことがあるくらいです。 元々の機械学習に関する知識もほぼ皆無でした。絞り出すとしたら、以下くらいです。 教師あり学習と教師なし学習というものがあるらしい 最近は強化学習というものも注目されているらしい がっつり学習しようとすると高性能なマシンが必要になるらしい こんな感じの人が以下の勉強方法で約1ヶ月勉強したら合格できたと思ってください。 私が実践した勉強方法を共有します。基本的に上から順番に

1. スタディメーターの説明 スタディメーターは簡単に説明すると、スマートフォンで算数の問題を写真に撮ると、AIが問題の内容を分析してその問題のヒントを提示してくれるアプリです。 このアプリの最大の特徴としては、それ専用の問題集が別で存在するというのではなく、どんな問題集や教科書でも写真を撮るだけでAIが家庭教師のように解き方を解説してくれるところにあります。 実際の動作はサービスリンクもしくはYouTube動画でご確認ください。 現在、サポート範囲は小学1年生から小学6年生の範囲まで対応していますが、今後は中学・高校の数学へも対応できるように準備を進めています。 昨年（2019年12月）には「イノベーションストリームKANSAI」にも出展した際には、会場の中でも大きな注目を集めました。その開発者である箕輪さんがどのような思いでこのアプリを開発したのかについていくつかお話を伺ってみました。

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

4/21 にリリースされた Node.js v14 の主な変更点を紹介します。 この記事では Changelog の Notable Change から一部を簡単に紹介します。 github.com TL;DR V8 が 8.1 になりOptional chining や Nullish coalescing が使えるようになった fs.promises が 'fs/promises' でロード可能になった ES Modules の警告が表示されなくなった 目次 TL;DR 目次 deps: update V8 to 8.1 JavaScript Optional chaining Nullish coalescing Intl.DisplayNames パフォーマンス fs: add fs/promises alias module module: remove experimental

baobab, cheese, gdm3, gnome-bluetooth, gnome-characters, gnome-font-viewer, gnome-logs, totem adwaita-icon-theme, eog, evince, evolution-data-server, file-roller, gcr, gedit, gnome-calculator, gnome-calendar, gnome-control-center, gnome-desktop3-data, gnome-disk-utility, gnome-getting-started-docs, gnome-initial-setup, gnome-keyring, gnome-mahjongg, gnome-menus, gnome-mines, gnome-online-accounts,

皆さんはPythonの強みを最大限に発揮できているでしょうか。翔泳社から発売した『Pythonトリック』は、その強みの数々をTIPS集としてまとめた1冊です。今回は本書から、コードのエラーを自動的に検出しプログラムの信頼性を高められる機能「アサーション」について抜粋して紹介します。 本記事は『Pythonトリック』の「CHAPTER 2　よりクリーンなPythonのためのパターン」から抜粋したものです。掲載にあたり一部を編集しています。 2.1　アサーションによる安全対策 本当に役立つ言語の機能が案外に注目されないことがあります。どういうわけか、これに該当するのがPythonの組み込みのassert文です。 ここでは、Pythonでのアサーションの使い方をざっと紹介します。アサーションを使ってPythonプログラムでエラーを自動的に検出する方法がわかるでしょう。このようにすると、プログラム