東大、AI・データサイエンスの基礎教材を無償公開 豊富なスライドで学べる
東京大学数理数理・情報教育研究センターは6月8日、数理・データサイエンス・AIリテラシーに関する基礎教材を、Webサイトで無償公開した。AIやデータが重要視されている社会背景から、数学の基礎、データの読み方や表現、AIの構築・運用の基礎知識などを、豊富なスライドで学べる。 政府の「AI戦略2019」に対応した「数理・データサイエンス・AIモデルカリキュラム」に準拠。同カリキュラムが定める192のキーワードをすべて網羅した。高等専門学校・大学向けだが、ライセンス条件の範囲内で再配布や改変ができるクリエイティブ・コモンズライセンス「表示-非営利-継承」（CC BY-NC-SA）で配布されており、非営利なら個人でも使える。 この教材を活用したワークショップなどを、東京大学が幹事を務める、データサイエンスに教育強化を目的としした「数理・データ債イエンス・AI教育拠点強化コンソーシアム」を通じて行う
解像度を上げると「データ分析」はもっと幸せになる 現役データサイエンティストが教える、データ分析の4つの要素
データサイエンティストは、ビジネスチームや上司から、さまざまなデータ分析を依頼されます。本来自分がやりたかったデータ分析と、ちょっと違うという不一致はありませんか？ こうした不一致は、データ分析というものが抽象的で、人によって期待値が違うからです。 では、どのように分析すればよいか。その考え方を、Wantedly社の松村優也氏が語ります。 データ分析に求めるものは、人によって違う 松村優也氏：「データ分析の解像度を上げたい」というタイトルで発表します。よろしくお願いします。 まず自己紹介です。松村優也と申します。Wantedlyという会社の推薦チーム（レコメンデーションチーム）で、データサイエンティストとチームリードをやっています。情報検索の分野と機械学習に興味があります。本日が2020年での初登壇になります。 まずはみなさん、データ分析はうまくいっていますか？ 自信を持って「私はデータ分
Googleが機械学習用のデータセットをインターネット上から検索可能な「Dataset Search」を正式公開
機械学習でアルゴリズムを構築する上で重要なのが「データセット」です。アルゴリズムの精度を上げるためにはより多くのデータと時間が求められますが、十分に大規模なデータセットを集めたり探したりするのは機械学習を行う上で特に苦労するポイント。そんなデータセットをオンライン上から検索できる「Dataset Search」の正式版をGoogleが公開しました。 Dataset Search https://datasetsearch.research.google.com/ Discovering millions of datasets on the web https://blog.google/products/search/discovering-millions-datasets-web/ Dataset Searchにアクセスするとこんな感じ。 データセットを検索するには、入力欄に検索した
データサイエンティストの素養は「獣神サンダー・ライガー選手」に学べ
本記事では詳細まで言及しませんが、データサイエンティストには統計、数学、プログラミング以外にもクラウドやSQLなど幅広い技術と知識が求められます。データサイエンティストは従来と異なる職業のため、同じIT業界でもキャリアプランが存在しません。将来にわたって活躍できるデータサイエンティスト像としては、ビジネスシーンを含めて幅広い問題を解決できる人材が考えられます。 そんな理想のデータサイエンティストになるためには、どうすればいいでしょうか？ 学習面では、文系・理系と区別せずに「文理融合」し、既存の枠に収まらない知識が必要です。産業界でも、業種や職種を越えた「共創」や「コラボレーション」といった横断的な連携が求められています。 例えば、素材開発において昆虫の構造や仕組みを参考にする事例がありますが、両者の組み合わせが役立つと考えた人はどれだけいるでしょう。データサイエンスは、テクノロジーマニアの
2019年版：データサイエンティスト・機械学習エンジニアのスキル要件、そして期待されるバックグラウンドについて - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。 正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。 というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。 その一方で、かつては主にwebマーケティング業界
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
年収180％アップも 「データサイエンティスト」注目される理由 専門家が”必要なスキル”解説 (1/4) - ITmedia NEWS
年収180％アップも 「データサイエンティスト」注目される理由 専門家が”必要なスキル”解説：注目されるAI人材（前編）（1/4 ページ） AIやIoTがトレンドになり、大規模データを分析できる「データサイエンティスト」に注目が集まっている。そもそも、データサイエンティストとは何をする人で、どんなスキルが求められるのか。 AI（人工知能）やIoTがトレンドになり、企業内で大量のデータを収集できるようになったことで、高度なデータ分析力を持つデータサイエンティストに注目が集まっている。しかし、日本企業がデータサイエンティストやデータサイエンスを重視し始めたのはここ数年の話だ。 「数年前からビッグデータというワードはありましたが、日本ではデータサイエンティストはそこまで注目されていなかった印象です。私が就職先を探していた2013年ごろは、データサイエンティストを募集する日本企業はほとんどありませ
メルカリのデータサイエンティストの取り組みを大公開! Drink Meetupを開催しました
メルカリのデータサイエンティストの取り組みを大公開! Drink Meetupを開催しました AI Author: kuropanther プロダクトの分析全般を担当している@hikaruです。 日々、メルカリのプロダクト改善のPDCAを定量分析の面からサポートしております。 以前、メルカリのデータサイエンティストが日々どのようなツールを使って分析をしているのかをお伝えしました。 tech.mercari.com このエントリーでは、メルカリの分析チームの活動をもっと知ってもらうために、先日メルカリで行われた「Drink Meetup with Mercari (BI/ML)」の様子をお伝えしようと思います。 mercari.connpass.com ちなみに、ご存じない方もいると思うので説明しておくと、Drink Meetup with Mercari はメルカリの各チームがどのように働
どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない
どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない：開発現場に“データ文化”を浸透させる「データ基盤」大解剖（3）（1/2 ページ） 「ゼクシィ縁結び・恋結び」の開発現場において、筆者が実際に行ったことを題材として、「データ基盤」の構築事例を紹介する連載。今回は、「データ基盤」の開発プロセスについてお伝えします。 「使われるデータ基盤」を構築するために筆者が取り組んだ試行錯誤を紹介する本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』。前回はデータパイプラインを支える基盤システム設計について解説しました。第3回となる今回は開発プロセスについてお伝えします。 なお、技術要素としてはPythonやBigQuery、ツールとしてGitHubやJIRAを扱いますが、他の手段でも代替可能な内容です。細部にとらわれずにご自身の担当する業務や組織に当てはめながら
データサイエンスだらけの桃太郎 - oscillographの日記
昔々あるところに分析からの示唆出しが趣味のおじいさんと特徴量生成が得意なおばあさんがいました。 おじいさんはオンプレサーバーへ定時確認に、おばあさんはクラウドサーバーへ重要指標のモニタリングに行くと、フルマネージドなデータベースから外れ値の桃群が現れました。 「こんな桃群は見たことがない。gzip圧縮してローカルで中身を見てみよう」 持ち帰った桃群をローカルで解凍してみると、中からメモリに乗り切らないサイズの赤ん坊が出てきました。 赤ん坊はExcelで開けなかったので、おじいさんとおばあさんはBig Queryで分析しました。 二人はこの赤ん坊を 「桃.gzから生まれたので桃太郎と名付けるのが妥当だろう。」 と考えて桃太郎と名付けました。 桃太郎はPRML片手にPythonでプログラミングをしながらすくすく育ち、立派なデータサイエンティストになりました。 成長がサチった桃太郎はある日おじい
データサイエンティストを目指して勉強した1年間まとめ - Qiita
はじめに 本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン（あるべき/ありたい姿）を明確にしてから始まる データ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません（必要なデータが集められない等）が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明
Pythonでの数値計算ライブラリNumPy徹底入門
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
ひとりでデータ分析ガチ勉 Advent Calendar 2017 - Adventar
ほけきよが自ブログprocrasist内で、 データ分析のお勉強します。 使う言語 python 触れる内容 データ分析の話全般(論文/記事などを参考に)。特に↓のジャンル 時系列分析/統計 Metrics learning, 表現学習 その他機械学習/Deep Learning その他面白トピック pythonライブラリの勉強。ワンランク上の分析技術を身につけるために numpy,pandas,scikit-learnについて総ざらい 機械学習系ライブラリを使ってみる keras, pytorch, prophet, statmodels, ...etc... 実際にデータ分析 スクレイピング・クローリング周りの技術 ブログのデータを用いて オープンデータを用いて がんばる 上記の何割書けるかわかりませんが、できる限り書こうと思います。間違っているところなどあったら、コメントください。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グローバル消費インテリジェンス寄附講座コンテンツ 公開ページ
データ分析コンテストの
勝者解答から学ぶ