タグ

データ分析に関するmemouse35のブックマーク (6)

  • リテラシーレベルeラーニング教材・講義動画配信 | 数理・データサイエンス・AI教育強化拠点コンソーシアム

    リテラシーレベルモデルカリキュラム対応教材 利用条件とアンケート 東京大学と記載のあるスライド教材の利用についてはこちら(一部スライドは冒頭の利用条件をご参照ください)。 東京大学と記載のある講義動画の利用条件は、各動画の冒頭をご参照ください。 滋賀大学と記載のある教材の利用条件はCC BY-NC-SAです。 九州大学と記載のある教材の利用条件はCC BYです。 筑波大学と記載のある教材の利用条件についてはこちら 北海道医療大学と記載のある教材の利用条件はCC BYです。 東京都市大学と記載のある教材の利用条件についてはこちら 教材のアンケートはこちら モデルカリキュラムと対応する講義動画・スライド 1. 社会におけるデータ・AI利活用 2. データリテラシー 3. データ・AI利活用における留意事項 4. オプション 1. 社会におけるデータ・AI利活用 1-1. 社会で起きている変化

    memouse35
    memouse35 2020/07/14
    あとで読…める量ではないなこれは
  • データサイエンティストを目指して勉強した1年間まとめ - Qiita

    はじめに 記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン(あるべき/ありたい姿)を明確にしてから始まる データ分析で最も重要になるのが、ビジョン(あるべき/ありたい姿)の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません(必要なデータが集められない等)が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明

    データサイエンティストを目指して勉強した1年間まとめ - Qiita
  • ExcelでPowerQueryを使ってデータ収集分析 - Qiita

    はじめに Excelにデータを集めようとするとき、数式とVBAを駆使して行う方法が一般的です。 キーを使って複数のデータを結合するときには、Accessなども用いられます。 ですが、データが増えてくると下記のような課題が発生してきます。 収集に必要な手順が増え、数式やVBAが複雑化する データ収集に長い時間がかかる サイズが巨大化して格納しきれなくなる これらの課題を解消するツールとして PowerQuery を紹介します。 PowerQueryとは 2016年に公開されたMicrosoft製のデータ分析Excelアドインであり、Excel2010以降に対応しています。 ファイル・DBWebサービス等からデータを読み込み、変換・加工してExcelのシートに出力できます。 VBAのマクロの記録と同じように、画面上で操作するとクエリ(読み込み手順の定義)が生成されます。 複雑な加工をしない

    ExcelでPowerQueryを使ってデータ収集分析 - Qiita
  • データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ

    追記(2017年7月) こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数=下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト()募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

    データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
  • 開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD

    システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPython技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ

    開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
  • 整然データとは何か|Colorless Green Ideas

    整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

    整然データとは何か|Colorless Green Ideas
  • 1