シティズンデータサイエンスラボは「データサイエンスを全ての人に」を掲げる株式会社データビークル(https://www.dtvcl.com/)が運営する公式noteです。 「拡張アナリティクス」という言葉を耳にすることが増えてきました。ガートナー ジャパン株式会社 (以下 ガートナー) は、今年の6月10~12日に開催した「ガートナー データ&アナリティクス サミット 2019」(出典:ガートナー データ&アナリティクス サミット 2019 https://gartner-em.jp/data/)において、2019年のデータ/アナリティクス・テクノロジ・トレンドのトップ10について言及しました。それらのうち最初に彼らが言及したのが「拡張アナリティクス」という聞き慣れない言葉です。ではこの拡張アナリティクスとは一体何なのでしょうか? データの収集・加工作業が 多くのデータサイエンティストの時
報道発表資料 2019年9月2日 日本電信電話株式会社 暗号化したままディープラーニングの標準的な学習処理ができる秘密計算技術を世界で初めて実現 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:澤田純、以下NTT)は、データを暗号化したまま一度も元データに戻さずに、ソフトマックス関数*1やAdam(adaptive moment estimation)*2と呼ばれる最適化処理を含む標準的なディープラーニングの学習処理を行う技術を、世界で初めて実現しました。 通常、データを利活用するためには、通信時や保管時に暗号化していたとしても、処理を行う際には元データに戻して処理する必要があります。このことは、データ所有者からすると情報漏洩のリスクを感じることから、企業秘密や個人のプライバシーに関わるデータの利活用に抵抗感を持つユーザや組織が少なくありません。特に所有者から他者、または同一組
人工知能(AI)を使って何かできないのか――。官民を挙げてデジタルトランスフォーメーション(DX)推進の機運が高まる中、こうしたAI活用の要請を経営層から受けているIT部門は少なくない。AIの中でも過去のデータからパターンを見つけ出す「機械学習」は特に注目されている。 一方で「予測の精度が上がらない」「そもそも機械学習に向かないプロジェクトだった」といった理由から、PoC(概念実証)だけで機械学習の活用が終わってしまうケースもある。そうした事態に陥らないように三菱ケミカルホールディングス(HD)が考案したのが「機械学習プロジェクトキャンバス」だ。 「当社が直近の約2年間で手掛けた数十件の機械学習プロジェクト経験を基に、失敗しないために何をどう定義すべきかをまとめた」と、機械学習プロジェクトキャンバスを考案した三菱ケミカルHDの磯村哲デジタルトランスフォーメーションGr チーフコンサルタント
XAI(Explainable AI:説明可能なAI)/解釈可能性(Interpretability)とは?:AI・機械学習の用語辞典 用語「説明可能なAI」および「解釈性」について説明。推定結果に至るプロセスを人間が説明できるようになっている機械学習モデル(=AI本体)のこと、あるいはその技術・研究分野を指す。 連載目次 用語解説 説明可能なAI(人工知能)(Explainable AI:XAI)とは、言葉通り、予測結果や推定結果に至るプロセスが人間によって説明可能になっている機械学習のモデル(つまりAIの本体)のこと、あるいはそれに関する技術や研究分野のことを指す。ちなみに「XAI」は、米国のDARPA(Defense Advanced Research Projects Agency:国防高等研究計画局)が主導する研究プロジェクトが発端で、社会的に広く使われるようになった用語である。
Kaggle Advent Calendar 13日目の投稿です。 初めまして、Lain(@lain_m21)と申します。Qiita初投稿です! 今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。 先に結論からまとめておくと、 ローカルPCよりクラウドの計算資源をうまく使おう AWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ 今後のクラウドの環境構築をスムーズにするためにdockerを使おう といった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう!というのが趣旨になります。 一応順を追って説明しま
XGBoostの凄さに最近気がついたので、もうちょっと詳しく知りたいと思って以下の論文を読みました。 XGBoost: A Scalable Tree Boosting System せっかくなので、簡単にまとめてみたいと思います。。。と思っていたら結構な量になってしいました。 何か間違い等がありましたらコメントをしていただくか、@kefism へ連絡をしてくださると嬉しいです。 XGBoostとは 基本的に内部で行われていることは決定木を複数個作るということです。しかし、その作り方に特徴があります。 ここで記号を定義しておきましょう。 説明変数を次元として、目的変数を、とします。ここではデータの数です。またデータに対する予測値をとします。 まず決定木を1つ構築します。するとその決定木を使用して予測ができるようになります。1つ目の決定木から得られるデータに対する予測値をとしましょう。このと
東芝と大学共同利用機関法人 情報・システム研究機構 統計数理研究所(以下、統数研)は2019年8月2日、収集した製造データに多くの欠損値が含まれていても、品質低下や歩留まりなどの要因を高い精度で特定する機械学習アルゴリズム「HMLasso」(Least absolute shrinkage and selection operator with High Missing rate)を開発したと発表した。両者によると、最先端アルゴリズム「CoCoLasso」(Convex Conditioned Lasso)と比べて、推定誤差を約41%削減できたとしている。 東芝と統数研が開発したアルゴリズムの特徴は、大きく次の3つ。
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
自称“AI(人工知能)ベンチャーで働きながら、情報発信するマスクマン”こと、マスクド・アナライズさんが、AIをめぐる現状について、たっぷりの愛情とちょっぴり刺激的な毒を織り交ぜてお伝えします。お問い合わせのメールは info@maskedanl.com まで。Twitter:@maskedanl (編集:ITmedia村上) ツールベンダーの「タダ働き問題」 しかし、本当にこれで良いのでしょうか。筆者は大企業をはじめとするユーザー企業に呼ばれる立場として、ふに落ちない点がありました。 そもそもユーザー企業は自分で調べたり、手を動かしたりはしません。電話一本でベンダーの担当者を呼んで説明やデモをさせたり、分からないことは全部調べさせたりしますが、この時点でベンダー側は「提案」という名のタダ働きになっています。 そのようなユーザー企業は業務改善のために何をすべきか自分で判断できないので、取引先
TOP > Article Theme > AI(人工知能)ニュース > 30日のデータ統合作業を1時間で。NECが多様なデータの意味推定が可能な独自AI技術を開発 Photo by Mika Baumeister on Unsplash NECは、多種多様なデータの本質的な意味をAIで推定する「データ意味理解技術」を開発したと発表した。従来、専門家が膨大な時間をかけて行っていた分野や業種の異なる複数の表データの統合作業を、高速・高品質に自動化するもの。 多様なデータ統合に膨大な時間がかかっていた近年、データ流通基盤や情報銀行など、データを部門間、企業間、業界間で共有、統合することで、横断的な分析を行う取り組みが活発化している。 保有者の異なるデータを横断的に分析するには、表名や列名が統一されていない多様なデータを結合することが必要だ。 作業者、企業、業界毎の違いから表名/列名には大きな表
NEC は、熟練者の過去の行動履歴データから、その卓越した認知・判断に基づく意図を意思決定モデルとして学習し、高度なスキルが要求される業務を大幅に効率化するAI技術を開発しました。本技術を、属人的な業務の意思決定プロセスに適用することにより、業務負荷を大幅に軽減することができ、業務スピードの大幅な向上が可能となります。 本技術は、逆強化学習(注1)のフレームワークをNEC独自のアルゴリズムで拡張し、従来、技術者が行っていた意思決定モデルの構築を自動化します。人手では定式化が困難な意思決定問題に対して、熟練者の過去の行動履歴データから意思決定モデルを作成することで、熟練者と同等の判断を迅速かつ自律的に導き出します。本技術は、主に以下の領域に対して適用が可能です。
関連キーワード ビッグデータ | データ分析 《クリックで拡大》 ビッグデータ分析がカスタマーサービスの世界で勢力を広げている。こうした動きが広がるにつれ、これまでのプロセスは破綻し、経営陣は考え方を改めざるを得なくなっている。 McDonald'sは最先端テクノロジーのテストベッドとして最初に思い浮かぶ商業施設ではないかもしれない。だがここ数年、ファストフード業界はデジタルカスタマーサービスに真剣に取り組んでいる。同社は2019年3月に、イスラエルのテルアビブ発のビッグデータ分析ツールベンダーDynamic Yieldの買収を発表した。この買収は、McDonald'sにはファストフード業界でカスタマーサービス分析の先陣を切る意向があることを示している。 併せて読みたいお薦め記事 顧客満足度を高めるためのデータ活用 メルカリ流「分析の組織と文化」はこうして作られる 人工知能(AI)が顧客満
While all of Wesley Chan’s success has been well-documented over the years, his personal journey…not so much. Chan spoke to TechCrunch about the ways his life impacts how he invests in startups.
最近、AI(人工知能)を使ったシステムやサービスで「自然言語処理」という言葉を目にすることが増えてきました。「第3次AIブーム」と言われてから月日が経過したAIですが、これまでは囲碁や将棋などのゲーム、車の自動運転、さらには画像・映像から何かを見つけ出す、判別するといった話が目立っていたように思います。 言語に関しては、ブーム当初は短文の自動応答であるBOT(ボット)で「AIが差別発言をした」といったことや女子高生AI「りんな」などが注目されました。 1. 自然言語処理とは? AIの利用がある程度進み、成果の有無はさまざまなケースがありますが、次なるデータとして関心を集める「言語」を処理する機械学習技術の発展もあり、「自然言語処理」に注目が集まってきています。 数多くあるAI関連技術の中でも、身近なのに応用範囲が広く、使い方が多様なのが自然言語処理に関する技術ではないでしょうか。自然言語と
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます DataRobot Japanは7月23日、顧客企業のAI(人工知能)活用を支援するサービス「AIサクセスプログラム」の提供を8月1日に開始すると発表した。これまで提供してきた機械学習の自動化プラットフォームに加えて、グローバルや日本で培ってきたAI活用の知識や情報を体系化していく。 具体的には、AI活用の状況を3つの種類に分け、それぞれに最適なプランを作成・実行していく。各分類に応じて、AI活用の潜在ニーズを発見するワークショップや実運用化のサポート、社内事例共有会、エグゼクティブセミナーなどのプログラムを用意する。チーフデータサイエンティストのシバタアキラ氏によると、テーマ創出からモデルの構築と検証、ビジネス適用までのステージを1年
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く