Tesla investors, still digesting a 43% drop in share price since the beginning of the year, are gearing up for what will likely be unimpressive financial results for the first quarter and a shift in

【読売新聞】　ＮＥＣは、国内外の大規模農園の作業を支援する人工知能（ＡＩ）の開発に乗り出した。今年６月からは小麦で実証実験を始めており、衛星写真や土壌センサー、農機で集めたデータを分析。肥料のまき方や収穫時期を細かく調整し、収穫量の

人工知能（AI）の活用に規制をかける動きが世界で強まっている。AIは意図せぬ結論を出したり、その理由が説明できなかったりすることが少なくないためで、欧州連合（EU）が2021年4月に公表した規制案では厳格な利用条件を設け、違反企業には罰金を科す。企業は規制強化に対応し、判断理由を提示できる「説明可能なAI（XAI）」の開発を急いでいる。企業はAIの活用で約束される自動化や効率化の恩恵を得ようとし

買い物の途中、AIが自分に合った商品をレコメンドしてくれるサービスがぞくぞくと増えている。意外と自分の好みや適した商品というのは自分自身ではわからないものだ。また、最近では商品の種類が多いため、どれを選べばいいか迷うこともある。そんなときにも便利なのが、レコメンドだ。日頃の実店舗でのショッピングをさらに楽しめる3つのサービスを紹介する。 AIが商品をレコメンド！ショッピングがさらに楽しめる3つのサービス 1.今の気分に合った日本酒をAIがレコメンド！日本酒ソムリエ AI「KAORIUM for Sake」 2021年12月8日（水）まで、紀ノ国屋 渋谷スクランブルスクエア店に、今日の気分にぴったりの日本酒をレコメンドしてくれるAIシステム「KAORIUM for Sake」が設置されている。 これは、SCENTMATIC（セントマティック）と紀ノ國屋がタッグを組んで行っている実証実験で、今

この記事はKaggle Advent Calendar 2021の4日目の記事です． はじめに この記事ではテーブルデータコンペティションにおいて，主に数値データ，カテゴリデータをもとに特徴量を作成する方法をまとめました．発展的な内容というより，初めてコンペに参加する方でも使える汎用的な特徴量エンジニアリングを紹介します． 特徴量エンジニアリング！...そのまえに モデルについて 特徴量エンジニアリングはモデルによって処理が変わることがあります． 例えば勾配ブースティング決定木(GBDT)といった決定木はスケーリングする必要がなく，またLightGBMなどは欠損値をそのまま扱うことができます．一方でニューラルネットワーク(NN)や線形回帰モデルはスケーリングおよび欠損値補完をする必要があります． このこと以外にも，決定木は各特徴量間で差や比率を表現することが苦手であるために明示的に作る必要

はじめに 何をしたのか NormalizeNumexpと呼ばれる数量表現や時間表現の抽出・正規化を行うOSSの実装をすべてPythonで実装しました。 Python3.7～3.10で動きます。 GitHub：https://github.com/tkscode/pyNormalizeNumExp PyPI：https://pypi.org/project/pynormalizenumexp/ 何が嬉しいのか Pythonで使う際にpipコマンドで一発でインストールできるようになりました。 本家はC++で実装されており、Pythonで利用する場合は 依存ライブラリであるuxとpficommonをインストールする 本家のNormalizeNumexpをインストールする SWIGによるPythonバインディングをインストールする といった手順を踏みますが コードが古いため1.～2.でエラーが頻発

■イベント 
：【SenseTime Japan × Sansan】画像処理勉強会 https://sansan.connpass.com/event/230636/ ■登壇概要 タイトル：深層学習時代の文字認識とその周辺 発表者： 
技術本部 DSOC R&D研究員 　宮本 優一 ▼Twitter https://twitter.com/SansanRandD

データのバイアス（偏り、偏見）に対する保険が必要だ。特にAIにデータを提供する機械学習には欠かせない。機械学習の誤差は、データ内のある要素が他の要素よりも高く重み付けされ、非常に強く現れる場合に発生する。 英国のスタートアップ企業SynthesizedのDataOpsプラットフォームは、データにあるバイアスを見つける手段を提供する。このバイアスが軽減されれば、例えば保険の見積もり、賠償請求、保険の掛け金が公平になる可能性がある。 オープンソースのPythonライブラリ iStock.com/designer491 Synthesizedはデータのバイアスを識別および計測するオープンソースのPythonライブラリ「FairLens」を発表した。 Synthesizedのデニス・ボロビコフ氏（共同創設者でCTO：最高技術責任者）は、データサイエンスモデルの多くのデータには年齢や人種、性別などの

機械学習を学び、実験できる無料サービス「Amazon SageMaker Studio Lab」プレビュー版が発表：「JupyterLab」ベースのノートブック開発環境でAWSリソースを利用 AWSはJupyterノートブックを使用して機械学習を学び、実験できる無料サービス「Amazon SageMaker Studio Lab」のプレビュー版を発表した。クレジットカード番号は不要であり、AWSアカウントすら必要ない。

こんにちは！森田です。 先日のSivasubramanian KeynoteでAmazon SageMaker Studio Labが発表されました。 この記事では、Sagemaker Studio Labに登録して、機械学習を無料で学ぶ方法をご紹介します。 Amazon SageMaker Studio Labとは Amazon SageMaker Studio Labとは、AWSが提供する無料の機械学習実行環境となっております。 （AWSが提供していますが、AWSアカウントは必要ではありません。） もちろん無料ですので多少の実行制限はありますが、機械学習を学び、実験する程度では問題ない環境が整っております。 初めて機械学習を学ぶ際には、実行環境構築の敷居が高くなってしまいがちですが、このSageMaker Studio Labであればそんな問題も解決され、誰でも簡単に機械学習を始めれそ

実際に使ってみる VertexAIのチュートリアルで使用されているデータを利用して表形式のデータの機械学習を行います。 使用するのは、銀行のマーケティングデータです。 銀行の顧客が年齢、収入、職業などから定期預金を購入するかどうか予測するのが機械学習モデルの目的です。 今回の場合にはプログラミングを行うことなく全てのワークフローを実施することができます。 *)「4.機械学習モデルの学習」を実行すると1時間以上計算にかかります。数千円ほど課金されますのでご注意ください😭 0.準備 まずGCPのナビゲーションメニューから「Vertex AI」の「ダッシュボード」を選択します。 Vertex AIのダッシュボード画面に遷移します。 1.データの収集 ダッシュボードの「トレーニングデータを準備する」の「データセットを作成」をクリックします。 データセット画面に遷移します。 「データセット名」に任

1.2 なぜDeep Metric Learningにしたか 改善前のモデルでも特徴量を頑張って作れば解決できないことはないとは思います。「地名、ジャンル等に引っ張られて、拠点名指定を無視してしまう」パターンでは、クエリを解釈するロジックを入れ、地名だということを理解して地名部分のみを拠点の住所とマッチングさせて、それ以外を拠点名にマッチングさせて、という具合で特徴量を作れば正解できる可能性があると思います。しかし、これは一例で全体的に精度を上げるにはさまざまなケースを人が考慮して特徴量を作っていく必要があるので大変です。 そこで、学習データ（クエリと正解拠点のペア）が大量にあることを生かして、DNN（Deep Neural Network）がよしなに学習してくれるのに期待しました。また、プロダクト化することを考えると遅くとも数百ミリ秒以内で応答する必要があるので、クエリと拠点側をそれぞれ

オープンソースライセンスで提供される命令セットアーキテクチャの「RISC-V」の標準化団体であるRISC-V Internationalが、新たにRISC-Vのベクトル仕様とハイパーバイザー仕様、スカラー暗号化機能について40個の拡張仕様を含む15個の新仕様を承認したと発表しました。今回承認された新仕様は、人工知能(AI)・機械学習・モノのインターネット(IoT)・自動運転車・データセンター向けのアプリケーション開発者に新たな可能性をもたらすと述べられています。 RISC-V International Ratifies 15 New Specifications, Opening Up New Possibilities for RISC-V Designs - RISC-V International https://riscv.org/announcements/2021/12/ri

機械学習システムの開発・運用を担うエンジニアの視点からの話です ※社内LT用につくったもの

皆様メリークリスマス！ふぁむたろうです。 記事遅れてしまいすみませんでした 自分はここ1年くらいのコンペでは脳死で wandb（Weights & Bias） を使って実験管理をしていたのですが、1年の節目ということで他のツール（サービス）も見てみようと思い記事にしました。 （余談ですが wandb の読み方は「Weights & Bias」でも「ワンディービー」でも「ダブリューアンドビー」でも良いっぽいです） 特に業務上で使う場合 pricing 等も気をつけなきゃいけないため、この記事ではそこらへんにも触れていければと思います。 とはいえ昨今の実験管理ツールはたくさんあるので、今回は以下の5つに絞って比較してみます。 （pytorch lightning に標準装備されているもの） TensorBoard MLflow Neptune.ai Weights & Biases Comet

はじめに TDU_データ科学・機械学習研究室Advent Calendar 5日目 記事書ききれてないです．すみません，もう少し解説加えたものを近日中にアップします!! 普段僕はComputer Visionの研究をしています． 研究ではCNNを用いて伝統文様の解析をしています．昨今の深層学習ではGPUを利用することがほぼマストで．かくいう僕も研究では研究室のGPUマシンを利用しています．リモート(大学のGPU)マシンでの画像関係の実験は難しいです．具体的に言うと，画像は大量にあるので生データを逐一見るのは難しい． そこで，僕は普段GPUマシン上に利用している実験環境について語ります． パラメータ管理: hydra ログ(Accuracy, loss, GPUモニタリング)管理: wandb 画像の管理 sshfs streamlit(オリジナルアプリ) データ管理 csv管理 dvc(D

『Python3年生 機械学習のしくみ 体験してわかる！会話でまなべる！』は、プログラミング初心者のための入門書シリーズ「Python1年生」の最新刊です。 本書はライブラリが豊富なPythonで機械学習を体験できる内容で、「機械学習って？　何ができる？」というレベルの方が仕組みや要点を学ぶことができます。機械学習や人工知能の触りは『Python 1年生 体験してわかる！会話でまなべる！プログラミングのしくみ』でも解説しています。 また、機械学習に関連するデータ収集は『Python2年生 スクレイピングのしくみ』、データ分析は『Python2年生 データ分析のしくみ』で解説しており、合わせて読むことで理解が深まりますが、本書自体は前提知識がなくても楽しめるようになっています。 とにかくやさしくわかりやすく解説した入門書として、学び始めのエンジニアだけでなく、学生や非IT職でプログラミングに