深層学習特化型のスーパーコンピュータ「kukai」で判定モデルを実行 今回の対策強化に当たって導入した判定モデルには、1100万件のコメントデータなどを学習させた。実際に1週間分のコメントデータを使って、今回導入した判定モデルと、従来の「機械学習を用いた自然言語処理による判定モデル（AI）」を比較したところ、違反コメントの検知数が約2.2倍に向上したという。 関連記事 機械学習／統計学／データサイエンスの無償gacco動画、全まとめ【2022年秋版】 2022年3月末の最新状況に合わせて改訂。はじめてのAIから、機械学習、深層学習、自然言語処理、統計学、社会人のためのデータサイエンス（実用知識）、大学生のためのデータサイエンス（理論知識）まで、全28個の講義内容を紹介。本稿独自に考察した、学習者対象やお勧めの学習方法についても示す。 「インターネット」で勝てなかった日本が、「深層学習」で勝

どの書き方を採用すべきか 公式チュートリアルでは、「初心者向け」と「エキスパート向け」という2つのクイックスタートが用意されており、これは前掲の図における（1）と（4）に該当する。本連載ではそれに合わせて、初心者は（1）、初中級者以上は（4）をお勧めとしている。 （4）や（5）のSubclassing（サブクラス化）モデルは、「Pythonを使ってコーディングしている」感がより強まる。それに伴い、どうしてもコード量が飛躍的に増えがちである。しかしこれは、（1）や（2）のSequentialモデルだとメソッド内に隠蔽（いんぺい）されていた学習処理を細かく制御したり、柔軟なカスタマイズができたりするというメリットの裏返しでもある。 どの書き方にもメリット／デメリットはあるので、まずは使える書き方や、気に入った書き方から始めてみるのもよいだろう。特にKerasに慣れている人の中には、「（4）／（

Posted by Ann Yuan and Andrey Vakunov, Software Engineers at Google Today we’re excited to release two new packages: facemesh and handpose for tracking key landmarks on faces and hands respectively. This release has been a collaborative effort between the MediaPipe and TensorFlow.js teams within Google Research. Try the demos live in your browserThe facemesh package finds facial boundaries and lan

r 成長率 成長率は、一人の人がほかの人に感染させる割合です。 これは論文中の中国での数値をベースにして以下のように設定しました。 r = 0.3 l 隔離率 隔離率は、感染者が隔離される割合です。 これは論文中の中国での数値をベースにして以下のように設定しました。 l = 0.1(2020/2/28まで) l = 0.5(2020/2/29から) 発症率 f2(t)　感染から発症への推移確率 これは論文には記載されていませんでした。 感染しても発症しない人が7-8割はいるというニュースを聞いています。 また発症するまでに長くても14日ということから、以下のように設定しました。 f2(t) = 0.2/14 × t (t < 14) f2(t) = 0.2 (t >= 14) 入院率 f4(t)　感染から入院への推移確率 感染して入院した割合は、まったく分かりません。 そのため発症した人の

iOS×機械学習といえばCore ML。既製のCore MLモデルを扱うのは非常に簡単なのですが、 TensorFlowやKeras等の機械学習ツールで作成した独自モデルをCore MLモデルに変換したい モデルサイズを小さくしたい 複数サイズの入力をサポートしたい オンデバイスで更新できるようにしたい 等々、つまり 自分でCore MLモデルをつくりたい・カスタマイズしたい場合にはCore ML Tools（coremltools）を使いこなすことが不可欠 です。 が、こんなに重要なツールなのに意外にも情報が少なく、日本語情報どころか英語の公式ドキュメントすら全然網羅的ではありません。 というわけで自分で勉強しつつ書いた本がこちらです1。 Core ML Toolsの利用方法を実践形式でさまざまなモデルをつくりながら学んでいきます。最初はわずか2行のコードで変換することからはじめてCor

「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築 Kubeflow開発チームは、Kubeflow 1.0の正式リリースを発表しました。 Today, Kubeflow 1.0 has been released. Check out this deep-dive to learn the core set of applications included in the open-source release, and the advantages of using it on Anthos for the enterprise → https://t.co/XV0HPvsWX9 pic.twitter.com/O2s5tpzFLz — Google Cloud Platform

1.目的 機械学習をやってみたいと思った場合、scikit-learn等を使えば誰でも比較的手軽に実装できるようになってきています。 但し、仕事で成果を出そうとしたり、より自分のレベルを上げていくためには 「背景はよくわからないけど何かこの結果になりました」の説明では明らかに弱いことが分かると思います。 この記事では、２～３で「理論はいいからまずはscikit-learn使ってみる」こと、４以降で「その背景を数学から理解する」２つを目的としています。 ※私は文系私立出身なので、数学に長けていません。可能な範囲で数学が苦手な方にもわかりやすいように説明するよう心がけました。 ※線形単回帰Verでも同様の記事を投稿していますので、併せてお読みいただけますと幸いです。 【機械学習】線形単回帰をscikit-learnと数学の両方から理解する ※2020.7.26　4.ロジスティック回帰を数学から

Mike Krieger, one of the co-founders of Instagram and, more recently, the co-founder of personalized news app Artifact (which TechCrunch corporate parent Yahoo recently acquired), is joining Anthropic as the…

日々、目まぐるしく進化、発展を遂げるAI（人工知能）業界。さまざまな企業が新しいサービスを開始したり、実験に取り組んだりしている。 そこで本稿ではLedge.aiで取り上げた、これだけは知っておくべきAIに関する最新ニュースをお届けする。AIの活用事例はもちろん、新たな実証実験にまつわる話など、本稿を読んでおけばAIの動向が見えてくるはずだ。 認知症診断にAI活用、10分程度の会話で機能障害や重症度を判定 共和薬品工業株式会社と株式会社FRONTEOは3月2日、事業提携に関わる基本合意書の締結を発表した。この提携は、認知症診断支援システムに関わるものだ。 今回発表された認知症診断支援システムは、患者と医師との5～10分程度の会話から、認知機能障害の有無や重症度を判定。患者と医者、双方の負担を軽減し、認知症の早期発見を目指すものだ。 LINEがAI人材200人規模まで拡大、技術の早期実用化が

テレビや新聞、インターネットなどでAI・人工知能という言葉を目にしたり耳にしたりする機会が多くなりました。そのため、多くの方にとってAIという言葉は聞き馴染みのあるものになっているのではないでしょうか。また、「AIを詳しく理解しているわけではないけど、大まかには理解できている」という方も多いかと思います。 そんな、私たちにとって身近な存在となりつつあるAIですが、具体的にどのような場面で利用され、どのような役割を果たしているのでしょうか。今回は、私たちの生活に寄り添うAIの利用例について詳しく解説していきますので、ぜひ参考にしてみてください。 AIについて詳しく知りたい方は以下の記事もご覧ください。 AI・人工知能とは？定義・歴史・種類・仕組みから事例まで徹底解説 最新のAI利用例を学ぶ そもそもAI・人工知能って何？ AI・人工知能がどのようなものか、何となくイメージできている方は多いか

商品を選んでもらう要素として、その商品のパッケージデザインは非常に重要だ。しかし、ソーシャルネットワークの普及などによって、インターネットにはさまざまなデザイン情報があふれている。これにともない、客ごとにデザインに対する好みが多様化している。 そこで、株式会社Cogent Labs（コージェントラボ）とアサヒグループホールディングス株式会社は3月9日、最新のトレンドを反映しつつ独創的な飲料パッケージを自動生成する「AIクリエーターシステム」を共同で開発したと発表。このシステムは2020年4月をめどに試験運用する。ちなみに、アサヒグループは「スーパードライ」「三ツ矢サイダー」「ウィルキンソン タンサン」などを取り扱っている。 経験や勘に頼らずに素早く優れたデザインを自動生成 AIクリエーターシステムは、インプットされた画像素材やコンセプトから多数のデザイン案を作り出す「デザイン生成システム」

TensorFlow Quantum (TFQ) is a Python framework for hybrid quantum-classical machine learning that is primarily focused on modeling quantum data. TFQ is an application framework developed to allow quantum algorithms researchers and machine learning applications researchers to explore computing workflows that leverage Google’s quantum computing offerings, all from within TensorFlow. Quantum computin

GPU別ディープラーニング性能ベンチマークで使用したソフトウェア 検証に使用したハードウェア構成は記事末尾に記載しておりますので、別途ご確認ください。 ResNet50(FP32) GPU別ディープラーニング性能ベンチマーク：ResNet50(FP32) まずはResNet50(FP32)でベンチマークをとってみました。 GPUの性能向上に合わせてスコアが順当に上がっています。また、GPUを2枚搭載する場合は処理性能が約1.8倍となりました。 一方でCPU はCore i9-10980XEにてベンチマークの計測を行いましたが、Core i9-10980XE よりも安価なGeForce RTX 2080 Tiの足元にも及びませんでした。だからと言ってCPUの性能は軽視して良い訳ではなく、学習前処理等ではCPUの性能も必要となり、ディープラーニングの学習に必要な全体の工程の一部の時間短縮に貢献

マイクロソフト、「Azure Cosmos DB」がずっと無料で使える「Free Tier」を発表。地球規模の分散データベースを最大5GBまで マイクロソフトは、分散NoSQLデータベース「Azure Cosmos DB」が期限なく無料で使える「Free Tier」を発表しました。 Activate Free Tier on a new #azurecosmosdb account to get 400 RU/s throughput and 5 GBs storage free each month, for the life of your account. What will you build? #appdev #nosql https://t.co/BmfoWyYcbW — Azure Cosmos DB (@AzureCosmosDB) March 7, 2020 Azure

NOTE: As of April 13, 2024, the Coronavirus Tracker is no longer being updated due to the unfeasibility of providing statistically valid global totals, as the majority of countries have now stopped reporting. However, historical data remain accessible. Worldometer delivered the most accurate and timely global statistics to users and institutions around the world at a time when this was extremely c

対数グラフは、目盛りごとに値が倍々で増えていくグラフ値の大きなデータによって値の小さなデータがつぶれてしまうのを防げる様々なオーダー（桁数）のデータをざっくりと確認・比較したいときに便利 対数グラフ超概要対数グラフは倍々グラフだ！対数グラフは目盛りごとに値が倍々で増えていくグラフです。 最も使用頻度の高い常用対数グラフを例に説明します。普通の目盛りと対数目盛りを比較してみましょう。 普通の目盛りは一定距離ごとに数が10ずつ増えていますが、対数目盛りは一定距離ごとに数が10倍ずつ増えています。ちょうど目盛りを「一、十、百、千、万…」と読んでいくイメージですね。 対数グラフの種類対数目盛りがx軸・y軸のどちらかに付いているものを片対数グラフ、両方に付いているものを両対数グラフといいます。 対数軸は何だか目盛りが偏っていて、読み方がよく分かりませんね…。詳しい読み方は後で説明するので、今は細か

Google launches TensorFlow Quantum, a machine learning framework for training quantum models Join us in returning to NYC on June 5th to collaborate with executive leaders in exploring comprehensive methods for auditing AI models regarding bias, performance, and ethical compliance across diverse organizations. Find out how you can attend here. Google today announced the launch of TensorFlow Quantum

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

Apple has warned at least six Indian politicians and other members of political parties and two journalists of their iPhones being targets of state-sponsored attacks, these people said Tuesday. Shashi

(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見

Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 目次 目次 はじめに 通常のclassとdataclassの比較 dataclassの良いところ データを格納する箱であることを明確にできる。 クラス定義を短くかける 型情報を書くことでデータ構造が見やすくなる。 Printしたときに、そのままオブジェクトの中身を表示できる。 asdict関数でdictに変換できる。(Dictから簡単にJSONにも変換できる) Dict(JSON)からdataclassを作ることもできる Frozen引数を使うことで、簡単にイミュータブルにもできる。 データが作られたときに、自動後処理機能を追加することができる。 dataclassの残念なところ コレクションの初期化 参考資料 MyEnigma Supporters はじめに C++ユーザやJ

こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。仕事でもプライベートでも機械学習で色々やってます。 今回は時系列データの前処理（ラグ特徴量）について勉強したので、備忘録も兼ねて本記事を書きます。 時系列データとは 時系列について、Wikipediaでは以下のように説明しています。 時系列（じけいれつ、英: time series）とは、ある現象の時間的な変化を、連続的に（または一定間隔をおいて不連続に）観測して得られた値の系列（一連の値）のこと。 引用元：Wikipedia より直観的な説明をすると、データを可視化したとき横軸が時間なら、そのデータは時系列データといえます。 上図の縦軸が加速度センサの計測値、横軸が時間です。つまり、これも時系列データです。

AIを使って映像から通行量(歩行者量)を調査するソフトを作ったけど、最初は解析精度が低くて使い物にならず、いろいろ苦労してカウントの精度を上げた話です。車両の映像解析をした時にも苦労しましたが、歩行者は車両より小さい上バラバラの方向に移動するので、まったく別の苦労がありました。解析結果のムービーはこちら。映像解析は面白い＆奥深いですねえ。 サマリー ・歩行者量を正しくカウントするための要件 ・物体検出の手法と学習モデルの選定 ・軌跡の描画機能によるノイズの発見と除去 ・トラッキング方法の検証と機能追加 ・正しいカウントを実現するための機能追加 ・まとめ 歩行者量を正しくカウントするための要件 以前、車両の通行量を映像解析し際にトラッキングしたり、速度を出したりしててそれなりの結果が出せたので、「歩行者も楽勝では？」と考えてソフトを開発しましたがとんでもなく苦労しました。 そもそも「映像から

ディープラーニングでの、データとニューラルネットワークが大規模化していくにしたがって、トレーニングで利用するハードウェアにはスペックの高いものが求められる。 モデルのトレーニングに特化したGPUの利用がベストだとしても、そのコストがボトルネックになることがあるだろう。 こうしたなか、ライス大学の研究者が汎用的なCPUでも高速なトレーニングが可能なことを示した。研究者が開発したアルゴリズム「SLIDE（Sub-LInear Deep learning Engine）」は、従来のフレームワークとは全く別のアプローチでのトレーニングを実行する。 ・GPUによるトレーニングの3.5倍速を実現GPUは、CPUと比べて多くのコアを搭載可能。その演算処理性能の高さから、ディープラーニングにとってなくてはならない存在だ。 AIの進化はGPUの進化とともにあるといっても過言ではなく、なかでもNVIDIA V

Rice University computer scientists have overcome a major obstacle in the burgeoning artificial intelligence industry by showing it is possible to speed up deep learning technology without specialized acceleration hardware like graphics processing units (GPUs). Rice University's Anshumali Shrivastava led a team that demonstrated how to implement deep learning technology without specialized acceler

[2020/03/12更新] 後続の記事へのリンクを追加 【概要】 混合分布（混合モデル）はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです これから数回にわたって、混合分布を使って遊んでみます 第1弾では、混合分布の中でもよく使われるガウス混合分布を構成する「ガウス分布」のパラメータ推論をやってみます 【目次】 はじめに ガウス分布 ガウス分布のパラメータ推論 1次元ガウス分布 多次元(2次元)ガウス分布 ということで実際のnotebook まとめ 参考文献 はじめに 機械学習や統計の問題では、手元にあるデータを解釈して応用しようとしますね。 この時、明に暗になんらかの「確率モデル」を仮定しているはずです。 確率モデルの中でも、混合分布（混合モデル）は、複数の確率モデルの組み合わせとして定義されており、複雑なデータ構造を表現できます。 応用としても、クラ

＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心

重みの初期値の重要性 ニューラルネットワークの学習においては、Optimizerに従って重みが最適化される。その際、学習を始める前に重みの初期値を設定しなければいけない。 実は、重みの初期値はニューラルネットワークの精度に大きく関わってくる。 例えば、SGD(確率的勾配法)では、初期値の位置によっては極小値で停滞してしまい、最小値にたどり着くことができないことがある。 精度だけでなく、学習の速度にも大きく関わってくる。 重みの初期値によって発生する問題 では、重みの初期値はどのように設定すればいいのか？ 重みの値が大きくなってしまうと、過学習が起きやすくなってしまうため、重みはできるだけ小さくしようと考える。ならば重みの初期値も小さくしようと考えるのは自然であろう。 では、重みの初期値を0にしたらどうだろう。 これは学習を悪化させてしまう。0にすることが問題というより、重みを均一することが