PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
機械学習やビッグデータを扱うデータサイエンティストの年収や使用言語などを赤裸々にするデータ
By Carlos Muza 企業や研究者がデータを投稿し、世界中のアナリストやデータサイエンティストが予測モデリングや分析手法を競い合う、というプラットフォームの「Kaggle」が、2017年時点での機械学習やデータサイエンスに携わる人々がどのようなツールを使っているのかや、どれくらいの給料を得ているのかを如実に示すデータを公開しています。 The State of ML and Data Science 2017 | Kaggle https://www.kaggle.com/surveys/2017 Kaggleが自サイトに登録するユーザーに向けて、データサイエンスと機械学習の利用状況を正確に把握するための調査を行いました。調査では1万6000件を超える回答を得られたそうで、世界中のデータサイエンティストやアナリスト、機械学習を用いるデベロッパーなどから、赤裸々な情報を入手しています
ビッグデータ分析技術とモデル検査技術を競うコンテストがそれぞれ開催 オンラインで参加できるソフトウェア開発技術のコンテスト
ビッグデータ分析とモデル検査をそれぞれテーマとした、2つのソフトウェア開発技術のコンテスト「トップエスイーコンテスト2017」が3月に開催される。いずれのコンテストもオンラインで、全国どこからでも参加することができる。社会人はもちろん学生も参加できるため、春休み期間の腕試しにも向いている。2つのコンテストではそれぞれ入賞および学生奨励賞が設けられ、副賞はいずれもApple Watch Series 2となっている。 国立情報学研究所で社会人エンジニア向けの教育プログラムを展開する「トップエスイー」は、社会人や学生を問わずオンラインで参加できる2つのコンテストを3月に実施する。 「BiPCon: ビックデータプログラミングコンテスト」は、ビックデータを高速に処理する能力を競うもので、与えられた生のビッグデータセットに対して指定された結果を抽出する分散処理プログラムを作成して、得られた結果を回
高次元ベクトルデータ検索技術「NGT」の性能と使い方の紹介
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
東大 松尾豊 氏が解説、「子どものAI」が起こす破壊的イノベーション
今、AIは第3次ブームを迎えています――。「グローバルビジネスハブ東京オープニングイベント」に登壇した松尾氏は冒頭でこう切り出した。 第1次AIブームは1950年代中期で、初めて「人工知能」という言葉が世の中に登場した時期だ。続く第二次は198年代初頭で、コンピュータによる知識処理が可能になった時である。 そして現在、第3次AIブームが起こっている。このブームをけん引しているのは「ディープラーニング（深層学習）」であると松尾氏は説く。 ディープラーニングにより、画像認識や音声認識の精度が各段に向上した。かねてから機械学習において「認識の精度」を向上させることは、大きな課題であった。そこには、「素性の設計（Feature engineering）」があったからだ。 「素性」とは、機械学習の入力に使う変数や対象の特徴を表す特徴量であり、どのような素性でモデルを設計するかは人間が行っていた。つま
国内外のトップランカーが語るデータマイニングコンペの勝ち方～PyData.Tokyo Meetup #6、7イベントレポート
こんにちは、PyData.Tokyoオーガナイザーのシバタです。ボストンに向かう飛行機の中でこの記事を書き始めました。私事ですが、昨年12月よりDataRobot,Inc（下記「データロボット社」）という会社で働き始めました。今回は昨年10月に行われたPyData.Tokyo Meetup #6と今年2月に行われたPyData.Tokyo Meetup #7でのデータマイニングコンペをテーマに行った勉強会の様子をお伝えしたいと思っています。実はデータロボット社は多数のコンペ入賞者が働いていることで知られており、2つの勉強会に非常に関連の深い会社です。 DataRobot,Inc PyData.Tokyo Meetup #6 PyData.Tokyo Meetup #7 PyDataではこれまで機械学習や深層学習などデータ分析関連技術をテーマ別に扱ってきましたが、今回のテーマは、技術というよ
【デブサミ2016】18-B-4レポート ビッグデータをリアルタイムに処理する基盤はSparkとKafkaの組み合わせで構築せよ
最近、話題のビッグデータ。これから注目のIoT、Fintech、Health Techではもちろん、セキュリティ、ゲーム、広告（アドテク）の分野でも、ビッグデータを扱うことが欠かせない。ビッグデータの解析を行うため、多くの起業ではApache Hadoopを用いたビッグデータの解析基盤を構築してきた。しかしこの従来の方法では、大量データをリアルタイムに処理することが難しい、という問題があった。ではより大量のデータをリアルタイムに解析するにはどんな基盤を構築すればいいのか。日本アイ・ビー・エム アナリティクス事業部 テクニカルリードの田中裕一氏がApache SparkとApache Kafkaを組み合わせて実現するリアルタイム処理基盤の概要とその活用例について紹介した。 日本アイ・ビー・エム アナリティクス事業部 テクニカルリード 田中裕一氏 講演資料：乗り遅れるな！KafkaとSpark
スカスカのデータから知見を見出す救世主？--「スパースモデリング」とは何か
ビッグデータという甘い幻想 データを使うプロ野球監督であった野村克也氏は、「野村ID野球」と称して、野球という競技内での自身の経験だけでなく、そのシーズン内での各選手やポジションごとに分析したデータを利用し、チームを勝利に導く方法論で一世をなびかせた。それまでに蓄積された膨大な経験を無駄にしない姿勢が見て取れる。選手やチーム、試合内容に向けてちょっと釘を刺す「つぶやき」も彼の本質を見抜く鋭い観察眼を伺わせる。 データをとりまく環境も変わりつつある。新しいソフトウェアをインストールするたび、新しいソーシャルメディアネットワークサービスに登録するたび、「情報の送信を許可しますか」という問いかけが繰り返される。取得された情報からサービスの不具合を察知するだけでなく顧客の動向・趣向を調査することで次なる戦略を立てるためだ。 「ビッグデータ」というキーワードが登場してから時代は変わり、取得したデータ
第 50 回：新しくなった Power BI（2.0）の自習書を作成しました！ - SQLQuality
松本美穂のコラム 松本美穂が執筆するコラムです。 イベントの参加レポートや耳寄り情報などを中心に、毎月1、2回の更新を予定しております。お仕事の合間にご覧ください。 Microsoft Power BI の自習書を執筆＆作成しました！ 日本マイクロソフトさんの下記のページで公開されていますので、ぜひご覧ください。 https://www.microsoft.com/ja-jp/server-cloud/Solutions-BI-Data-Analytics.aspx ページの右下の「Power BI 自習書」の「Word 版ダウンロード」または「PDF 版ダウンロード」でダウンロードすることができます。 Word 版は 230MB とちょっと巨大ですが、PDF 版なら 40MB のサイズです。 Power BI 自習書 全275ページの大作となっております。 自画自賛ながら、この一冊で P
Facebook、AIハードウェアをオープンソース化--NVIDIAと提携
Facebookは米国時間12月10日、同社の人工知能（AI）ハードウェアをオープンソース化する計画を発表した。 FacebookのエンジニアであるKevin Lee氏とSerkan Piantino氏は10日付けのブログ投稿で、ゼロから構築されたオープンソース化対象のAIハードウェアは、市販製品よりも効率的で多用途に適用可能であることを強調した。これは、Open Compute Project（OCP）規格に基づくデータセンター内でサーバが稼働できるためだという。 「多くの高性能コンピューティングシステムは、特殊な冷却構造などの独自インフラが動作に必要となるが、われわれはこれらの新しいサーバを熱性能と電力効率の面で最適化し、われわれ独自のフリーエアー冷却を採用したOCP規格準拠のデータセンターでも稼働できるようにした」とLee氏とPiantino氏は説明した。 「Big Sur」という開
IoT推進ラボ、企業マッチング企画＆ビッグデータ分析コンテストを開催へ
経済産業省と総務省が設立した「IoT推進コンソーシアム」下の組織の1つである、ビジネスモデルの創出や規制改革などの検討をする「先進的モデル事業推進ワーキンググループ（IoT推進ラボ）」は、10月に明かした取り組みを本格的に始める。 マッチングイベント 企業間のマッチングイベントを2016年1月下旬に都内で開催する。第1回のテーマは「観光」と「製造（スマート工場）」。近く、参加希望者からのメールでの応募受付を開始する。応募と参加は無料、応募締め切りは12月28日を予定している。 イベントの目的は、（1）国が実施する実証事業、フィージビリティスタディ（事業化調査）に接続する事業の創出、（2）その社会実装を促進すること――の2点。参加資格は、IoT推進ラボの会員であり、実証事業に関連する事業（アイデア）、保有するサービスや製品、技術などのシーズまたはニーズを保持している企業、団体、自治体、個人。
人工知能はビジネスをどう変えるか 「ヒト・モノ・カネ」から「ヒト・データ・キカイ」へ | DHBR最新号から｜DIAMOND ハーバード・ビジネス・レビュー
急速に実用化が進み出した人工知能。今後、人の仕事が機械に奪われるかのような議論も多いが、そもそも「知的作業」とは何か。そして人が得意な作業と機械が得意な作業を分類して考えないと、議論は錯綜したままである。一方で、ビッグデータの登場と情報処理技術の急速な発展により、人工知能が今後のビジネス環境に歴史的な変曲点をもたらすのは間違いない。人がやるべき仕事が決定的に変わる世界では、価値の概念も変わる。人工知能がもたらすビジネスへの影響を、脳科学とデータ分析に造詣が深い筆者が語る。『DIAMOND ハーバード・ビジネス・レビュー』11月号より、抜粋してお届けする。 歴史的変曲点をもたらす3つの変化 2015年5月28日、深層学習（ディープラーニング）を搭載した、世界で初めて大規模で展開するサービスGoogleフォトがリリースされた。このアプリは、スマートフォンなどに保存された写真データを、自動で分
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
TechCrunch | Startup and Technology News
The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…
ビッグデータ＋人工知能と人間の幸福感がビジネスの業績を向上させる | 【レポート】データドリブン・マーケティング&ADフォーラム
マーケティングキーワードとして近年注目を集め続けている「ビッグデータ」。しかし、大量のデータを集めたはいいが、それをどうビジネスに繋げていけばいいのか、困っている企業は多いのではないだろうか。10年間の研究の末に日立製作所がたどり着いたのは、ビッグデータと人工知能との組み合わせによって、従業員の幸福感を高める方策を導きだし、ビジネスの業績を向上させる手法だった。 「儲からないのは当たり前」、間違いだらけのビッグデータ活用 「ビッグデータで儲ける3つの原則～人工知能・人間・ハピネス～」と題し、データドリブン・マーケティング＆ADフォーラムの基調講演で登壇した日立製作所 中央研究所 主管研究長の矢野和男氏は、10年前から先行してビッグデータやウェアラブルデバイスにとり組んできた実績を元に、データをマネーに換える原則について、事例を交えながら説明した。 すでにビッグデータという言葉は一般的になっ
Overview
BeakerX is a collection of kernels and extensions to the Jupyter interactive computing environment. It provides JVM support, Spark cluster support, polyglot programming, interactive plots, tables, forms, publishing, and more. BeakerX supports: Groovy, Scala, Clojure, Kotlin, Java, and SQL, including many magics; Widgets for time-series plotting, tables, forms, and more (there are Python and JavaSc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PhysioNet
Home
deepanalytics.jp
Financial Services
