Tiny four-bit computers are now all you need to train AI 4ビットで深層学習、 IBMが「小さなAI」考案 最近の人工知能（AI）の研究で主流となっている大規模モデルの訓練では、膨大な計算機リソースや電力が必要となる。IBMは、AIモデルのパフォーマンスを大きく落とすことなく、4ビットでAIを訓練できる方法を発表した。 by Karen Hao2020.12.17 144 45 9 25 深層学習（ディープラーニング）は、エネルギー効率が悪く、大量のエネルギーを消費する。莫大な量のデータと豊富な計算力のリソースを必要とし、電力消費が爆発的に増える。ここ数年間、全体的な研究動向がこの問題を悪化させてきた。数十億個のデータを使って数日間訓練する巨大な規模のモデルが流行しており、この傾向は当分の間、廃れることがないだろう。 新しい方向性を急

エイシングは新たなエッジAIアルゴリズム「MST」を開発した。これまでに発表した「DBT」や「SARF」などと比べて使用するメモリを大幅に削減できるため、フラッシュメモリやSRAMの容量がKBレベルの小型マイコンにも実装できる。 エイシングは2020年12月15日、新たなエッジAI（人工知能）アルゴリズム「MST（Memory Saving Tree）」を開発したと発表した。エイシングがこれまでに発表した「DBT（Deep Binary Tree）」や「SARF（Self Adaptive Random Forest）」などのエッジAIアルゴリズムと比べて使用するメモリを大幅に削減できるため、フラッシュメモリやSRAMの容量がKBレベルの小型マイコンにも実装でき、エッジAIの処理速度や精度も従来アルゴリズムと同等とする。MSTは2021年1月から提供を開始する予定だ。 同社は、AI技術とし

Stan, PyStanとは Stanとは、C++をベースに実装された確率的プログラミング言語です。NUTSアルゴリズム (HMCを発展させたもの) を用いて、様々なベイズ推定を行うことができます。特徴として以下のようなものが挙げられます。 統計モデルの記述が簡単 HMCなのでサンプリングが高速 さまざまな確率分布を利用可能 PyStanはStanをPythonから扱うためのインターフェースを提供するパッケージです。Stanの文法に従ってモデルを記述し、コード実行時にモデルをコンパイルします。 PyStan: The Python Interface to Stan PySTanのインストール pipでインストール可能です。トレースプロットの描画のために arviz もインストールしておくと良いです。

類似のオンラインツールの多くは、写真の処理にフォーカスしています。私たちは、以下のようなあらゆるタイプの画像を処理できるように、AIバックグラウンドリムーバーをトレーニングしました: ロゴ、イラスト、レタリング、シグネチャー、その他のグラフィックに対応。 </br></br> オンラインでのバックグラウンド除去ツールの幅広いイメージ編集能力をお試しください。画像の背景を透明にして、白やその他の単色を加えたり、写真画像を背景に追加することもできます。カットアウトを手動で編集することができます。

「深層学習はその原理的な背景はよくわからない」，「深層学習は計算機の力でぶん殴ってる」，「深層学習は数理的な側面があまり整備されていない」…こういう話をみなさま一度は耳にした事があるのではないでしょうか？ こういう課題感に対して，ここ数年で深層学習の理論的な研究への注目度が上がっている気がします．今回は，深層学習を支える（かもしれない）ここ数年で特に注目を浴びた理論について紹介します． はじめに Advent Calendarな皆様，こんにちはこんばんはおはようございます．クロステック開発部に所属している田中と申します．昨年度は先進技術研究所でAdvent Calendarをひっそりと書いていましたが，先進技術研究所とサービスイノベーション部と5Gイノベーション推進室を跨いだ組織再編があり，クロステック開発部に異動となりまして，今年はR&Dの3部署（クロステック開発部・サービスイノベーショ

GNNは、グラフデータを操作するよう設計されており、ディープニューラルネットワークを使用してグラフの構造とその機能に関する情報を自動的に組み合わせ、正確な予測を生成する機械学習モデルを構築することで、リンク予測、不正検出、知識グラフの完成、製品の推奨といった問題に対して、最先端のパフォーマンスを実現する。 今回、提供を開始したAmazon Neptune MLは、グラフデータに最適な機械学習モデルを選択してトレーニングするという手間のかかる作業を自動化し、Neptune APIとクエリを使用してグラフ上の機械学習へのアクセスを可能にする。 Deep Graph Library（DGL）を使用しており、グラフデータでのGNNモデルの開発と適用を容易にし、新たなツールや機械学習テクノロジーを習得することなく、数時間で機械学習を作成、トレーニング、適用できるようになる。 グラフアプリケーションの

「Kaggle Advent Calendar」 の20日目の記事です。 1年前に始めたニューズレター「Weekly Kaggle News」が1周年を迎えました。日本語で、Kaggleをはじめとするデータ分析コンペティションに関する話題を取り扱っています。週次で毎週金曜日に更新しており、12月18日の号で第53回の配信となりました。 www.getrevue.co 購読者数は、ありがたいことに着実に増加しています。下図の赤は購読者数、青はユニークな開封数です。第53回を配信した数時間後に執筆している関係で、この回の開封数は少なめに出ていると予想されます。メール上で閲覧する以外に、ウェブ上で直接閲覧する手段もあります。最近のウェブ上でのページビューは300〜400程度で、合計すると1000人程度の方がご覧になっているようです。 第26回辺りで大きく伸びているのは、次の記事で取り上げられた影

Nature Architects オープンオフィス第 4 回

Jupyter Notebookで作成した.ipynbファイルを、別のコードからそのままインポートしたいことがありました。そこで、.ipynbファイルをimportするコードを試作してみます。 .ipynbファイルをインポートするためのライブラリは、すでにあるのでしょうか。既存なら、そちらを使っていきたい所、標準で.ipynbファイルも.pyと同様にインポートして使えるようになると、いいですね。 ↓ 他の方法: JupyterNotebookでipynbを超かんたんにimport 公式の方法 Importing Jupyter Notebooks as Modules 使い方 後段に記載の「.ipynbファイルをimportする.pyコード」章のコードを「ipynb_import_lib.py」の名前のファイルに保存しておいて、 同じフォルダにある「sample_lib.ipynb」ファイ

距離を近づけろ！Pytorch Metric Learningで始めるDeep Metric LearningPython機械学習データ分析PyTorchMetricLearning NTTドコモ R&D 控え室のアドベントカレンダー12日目の記事です． こんにちは． NTTドコモの5年目社員の石井です． 普段の業務ではPytorchをよく扱っているのですが，2020年はPytorch界隈のエコシステムにおける発展が著しかったと感じています． この記事ではいくつかあるエコシステムのうちの1つである Pytorch Metric Learning を紹介しながら2020年を締めていこうと思います． 本記事で扱う内容 今年は皆様にとっても変化の大きい1年だったと思います． 私も自宅でYouTubeで好きなアーティストのMVを見る機会が増えて，様々な映像作品やイラストといったデザインに魅力を感じ

[1] 本サイトでは、「PyTorch 公式チュートリアル（英語版 version 1.8.0）」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 （本サイトのライセンスはこちらとなります） [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次（table of contents） 日本語解説へ [1] テンソル（T

AWS Open Source Blog Deploy fast.ai-trained PyTorch model in TorchServe and host in Amazon SageMaker inference endpoint Over the past few years, fast.ai has become one of the most cutting-edge, open source, deep learning frameworks and the go-to choice for many machine learning use cases based on PyTorch. It has not only democratized deep learning and made it approachable to general audiences, but

変分オートエンコーダーを題材に、確率的プログラミング言語Pyroと生成モデルのツールPixyzについて紹介します。 目次PyroとPixyzPyTorchユーザーが気になる点畳み込みを使った変分オートエンコーダーによるMNIST学習Pyroを使ったVAEの実装Pixyzを使ったVAEの実装終わりに PyroとPixyz確率モデリングを行うためのプログラミングツールとして、確率的プログラミング言語（Probabilistic Programming Language, PPL）があります。Pythonを使ったPPLにはPyMCやPyStan、TensorFlow Probabilityなどがありますが、Uber社がPyTorchをバックエンドにしたPPLであるPyroをリリースしています。Pyroは柔軟で汎用的な確率モデリングのためのツールを目指しており、観測データの確率分布をモデリングする

はじめに 2年ほど前，私はGANというものに出会って感銘を受け，Qiitaで『SushiGAN 〜人工知能は寿司を握れるか？〜』というちょっと釣りっぽいタイトルの記事を書きました．中身はChainerのexampleにあったDCGANの実装を寿司の画像で学習させてみるというもので，下のようなモード崩壊気味の寿司画像を作って満足していました． あれから2年あまりが経ち，画像生成の技術は驚くべき発展を遂げました1．StyleGAN，そしてStyleGAN2が登場し，すぐには見分けがつかないほどの品質で1024x1024の人の顔の画像が生成できるようになりました [1]．そのインパクトは凄まじく，"This Person Does Not Exist"を皮切りに，GANで生成したリアルな偽物のサンプルをランダムに表示するWebサイトがちょっとした流行になりました．いくつか例を挙げると，次のような

こんにちは、データエンジニアの@masaki925 です。 この記事はMLOps Advent Calendar 2020 の19 日目の記事です。 MLOps には、その成熟度に応じて3つのレベルがあると言われています。 MLOps レベル 0: 手動プロセス MLOps レベル 1: ML パイプラインの自動化 MLOps レベル 2: CI / CD パイプラインの自動化 私の所属するチームでは現在ここのレベルを上げるべく取り組んでいますが、その中でデータサイエンティスト(以下、DS) とデータエンジニア(以下、Dev) の協業って難しいよな〜と思う事例があったので紹介したいと思います。 想定読者は以下のような方です。 これからMLOps を始めようとしている方 既存プロジェクトがあり、ML 等を使ってエンハンスしていきたいと考えている方 異文化協業に興味がある方 ML ワークフロー

この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp

R&D チームの奥村（@izariuo440）です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt

身分偽造での大学受験が問題になったタレント仝卓。顔が入れ替えられる前のドラマ宣伝用写真。 ウェイボーより 現在中国で放映中のドラマで、仝卓という若手タレントが演じていた役がすべてディープフェイクで別の役者に差し替えられていることが話題になっている。 ドラマの名は『了不起的儿科医生（Healer Of Children）』。小児科の医者たちが子供たちの命を守るために、最前線で力を尽くす様子が描かれた医療ドラマだ。 人気俳優が出演し、医療現場のリアルな描写でも話題になっている。また、ドラマの撮影では東京ロケも敢行されていたという。ところが、そのドラマのキャストに名を連ねていた、仝卓という若手タレントに不祥事が発生した。 政府幹部の親のコネを使い、虚偽の身分で大学受験 中国メディア「南方都市報」によると、今年5月、仝卓はファンに向けておこなった自身のライブストリーミングのなかで、大学受験の際に身

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

このページについて LightGBMで学習して、そのパラメタグリッドサーチをGridSearchCV(sklearn)でという状況が多いかと思います。 どの評価関数であれば、ライブラリ標準で共通で利用できるのかをまとめてみようと思います。 下記を書いたあとに、気になって調べ始めたので内容は重複します。（スミマセン） 途中で力尽き、今回は回帰だけでまとめています。 比較一覧 評価関数 GridSearchCVでの指定方法 lightGBMでの指定方法 メモ

この記事はエムスリーAdvent Calendar 2020 20日目の記事です。 エンジニアリンググループ AI・機械学習チームの李です。弊社では記事に対して疾患薬剤などのタグを付与するシステムGaussと、記事についたタグとユーザーのPV情報を利用してユーザーに興味のあるタグを紐づけるシステムMaxwellが存在します。Maxwellで使う特徴量を増やしたいというモチベーションがあるのですが、１つ考えられるのは記事についたタグに対して感情分析の結果を追加で利用することです。そこで、感情分析タスクをBERTで解く論文「Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence」 (Sun et al., 2019) を弊社のサービスで提供される医療記事に適用してみました。 各

さて、今回は題名の件について報告申し上げる次第である。 この度、自身はNational University of SingaporeのMaster of Computing（通称MComp）学科より入学オファーを頂き、2021年の1月から、正規の修士課程の生徒として学ぶ事になった。当初は現在の仕事は継続しながらパートタイム学生として修了する事を目指していたが、諸々あって会社を辞める事にした事もあり、いっその事であるし1年間位の間学生に専念して集中的に学ぶ事にした。 PythonとSQLを独学で学び始めて足掛け５年、大学院の最初の出願から足掛け３年で３度目の出願、直近２年に渡るGraduate Certificateによる社会人聴講クラスでの大学潜り込みによる外堀埋めの準備期間、と言った長期に渡る「中年からの文系からの海外大学院を利用した理転」の試みが、（卒業しないといけないのだが）まずは

JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

NVIDIA は訓練済みモデルを公開している NVIDIA は最新のモデルの実装や、訓練済みモデルを公開しています。 カタログページ では、DeepLearning に限らず docker のコンテナなど分野問わず研究成果を公開していて見ていて楽しいです。 また、github の NVlabs では、実装が置いてあったりします。 今回は、この中から面白そうなもので、訓練済みモデルをダウンロードできるものを使って遊んでみたいと思います。 使うモデル NVlabs の中の FUNIT というものを使って遊びたいと思います。 pix2pix のような Image-to-Image Translation のモデルのようです。 犬を別の動物に変えるような画像を生成したりしています。 訓練では動物の顔を別の動物の顔に変換するような訓練をしていますが、自分の顔の画像を入力して自分の顔を別の動物に変えて

はじめに この記事のターゲットは「文書要約やりたいけど、ゼロからサーベイするのはちょっとしんどい・・・」という人です。おそらく未来の自分ですね。これさえ読めば、2021年以降のサーベイだけでもランドスケープがぼんやりわかるぞってなるように書きました。 記事は全3部の構成です。第一部では時系列順に文書要約というタスクの歴史を辿っていきます。第二部では、第一部でぱらぱらと出てきた知識を体系的にまとめます。最後に第三部において、実際に要約モデルを動かしてみたいと思います。手を動かさないと理解するのは難しいので。 それでは、まずは文書要約の歴史を追いかけてみましょう。 第1部 文書要約の歴史 前ニューラル時代 (2000以前〜2014) → 抽象型要約の登場 (2015) → 抽象型要約の発展 （2016〜2018） → BERTの登場、そして抽出型要約の再流行 (2019) → BERTを超えた

暗号資産（仮想通貨）交換業者のbitFlyerは、顧客の暗号資産を狙ったサイバー攻撃に対抗する新たな防御対策を導入した。攻撃者のわなにbitFlyer側からあえて飛び込むことで攻撃者の情報をいち早く入手し、攻撃を遮断する「積極的防御」が特徴だ。 対策は2019年10月ごろから運用し、2020年7月にはbitFlyerの顧客を狙って発生した現実の攻撃に適用した。攻撃者の攻撃開始から約2時間で攻撃者のアクセスを完全に封じ込め、顧客資産が奪われる被害をゼロに抑える成果を上げたという。 bitFlyerが導入した対策は、攻撃者が正規を装った偽サイトを立ち上げ顧客情報を詐取して不正ログインに使う、いわゆるフィッシング攻撃を想定している。2段階認証も突破するような新手の攻撃に対応できる。 手法を開発したインフラ／セキュリティ運用部の松岡晋矢部長は「攻撃者からのアクセスがWebサイトで完結する攻撃手法な

ホーム 実装 【エッジAI】MITがまた何かすごいのを作ったようです。有名AI学会のNeurIPSで発表した内容を解説（コード・動画あり） 【エッジAI】MITがまた何かすごいのを作ったようです。有名AI学会のNeurIPSで発表した内容を解説（コード・動画あり） 2020/12/18 実装 AIDB Research

はじめに この記事は2020年のRevCommアドベントカレンダー20日目の記事です。 19日目は@metal-presidentさんの「モバイルチームの成長とKMM導入に向けて」でした。 11月に株式会社RevCommに入社した@rhoboroです。 前職では主にGCP x Pythonで、現職では主にAWS x Pythonで日々業務を行なっています。 RevCommでは広島県の尾道からフルリモートワークで働いているので、そういった働き方にもし興味があればこちらの記事もご覧ください。 それでは、本題に入ります。 PythonのAST(抽象構文木)とは？ この記事は、PythonのAST(抽象構文木、Astract Syntax Tree)に触れたことのない方を対象にしたASTの入門記事です。 そもそもASTとは何なのか、ASTを理解すると何ができるのかを中心に紹介していきます。 さっそ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはお久しぶりです。Web標準黒帯（ヤフー内のスキル任命制度）の岡部和昌（@kzms2）と申します。 今回の記事はありがちな「たくさんの良さげなCSSのプロパティなどを羅列してひたすらまとめる」だけではなく以下の考えのもと、まとめた記事です。 岡部が「使うケースがある・覚えておくべき」と感じたオススメできる、または有用と判断したCSS 可能な限り2020年からブラウザに実装された、またはこれから実装されるCSS 比較的新しいまたはあまり使われている印象がないCSS 実際のコードや挙動、対応ブラウザを掲載 自分目線でみたコメントや使えそうな場面をできる限り丁寧に説明 つまり2020年に実装されたものを中心に、有益でオススメでき