慶應義塾大学 機械学習基礎02 コーディング[Journal club] GRIT: Faster and Better Image Captioning Transformer Using Dual Visual Features
データ分析の基礎 - Qiita
1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の
総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Gordon Johnson from Pixabay) TL;DR 今年の6月に僕自身がデータサイエンティストに転じて10年という節目の年を迎え、10月でDavenportの「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説から10周年になるのを機に、この10年間のデータサイエンティストという職業の変遷を振り返ることにしました。 6月の回顧録記事でも書いた通り、僕がデータサイエンティストの仕事に就いてから今年で10年になります。最近も同じかどうかは分かりませんが、古くから「10年ひと昔」という常套句がある通りで個人的には大きな節目の年だと感じています。 一方で、今年の10月にはあまりにも有名な「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説が出てから10周年を迎え、後述するようにDavenportは「今もデータサイエンティ
「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め
ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ（時系列データ）に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet
データサイエンスを学び、休職中でも年収1,000万超で転職 副業や転職前に知っておきたい、高評価のポイント
年間2,200名以上の社会人が受講する、データサイエンスを学ぶビジネススクール「datamix」。同スクールを運営する、株式会社データミックスのオンライントークイベント「データサイエンス業界の転職と副業の“今”」に、同社の立川裕之氏と福山耀平氏が登壇。データサイエンスを学んで独立した立川氏と、転職支援や副業の紹介を行っている福山氏が、データサイエンス業界の働き方について解説します。後編では、転職・副業における最大の強みや、転職の成功事例のパターンなどを紹介しています。 取締役に近いポジションなら、年収3,000万円以上も 福山耀平氏（以下、福山）：ちょうど昨日、ある大手の損保企業の担当者と話していたら、データサイエンティストのチームの統括ができて、経営層としゃべれる人材を募集されていました。これはもちろんチームを率いた経験など、難易度は高くなるんですけど、取締役に近いポジションの仕事です。
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
Hiroshi Takahashi
Skip to the content. 機械学習の研究者を目指す人へ 機械学習の研究を行うためには、プログラミングや数学などの前提知識から、サーベイの方法や資料・論文の作成方法まで、幅広い知識が必要になります。本レポジトリは、学生や新社会人を対象に、機械学習の研究を行うにあたって必要になる知識や、それらを学ぶための書籍やWebサイトをまとめたものです。 目次 プログラミングの準備 Pythonを勉強しよう 分かりやすいコードを書けるようになろう 数学の準備 最適化数学を学ぼう 基本的なアルゴリズムとその実践 機械学習の全体像を学ぼう 基本的なアルゴリズムを学ぼう 深層学習の基礎を学ぼう scikit-learnやPyTorchのチュートリアルをやってみよう サーベイの方法 国際会議論文を読もう Google Scholarを活用しよう arXivをチェックしよう スライドの作り方 論文の
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
無料の統計学講座が開講、多変量データの解析法を学べる | Ledge.ai
画像は『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では2021年1月14日から、日本統計学会と日本行動計量学会の協力のもとに作成した「統計学Ⅲ:多変量データ解析法」が開講される。受講料は無料。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 実際のデータは複数個の測定項目からなる多変量データであることが多く、そのようなデータの統計解析手法の学習は、統計手法の現実問題への応用で極めて重要なものと言える。本講座では、多変量解析法を実際のデータに適用する際の注意点や実際の応用例を中心に学習できる。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 講師は、横浜市立大学データサイエンス学部教授の岩崎学氏、大阪大学大学院人間科学研究科
総務省、社会人のためのデータサイエンス入門を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
グーグル、機械学習エンジニア認定資格を提供開始 模擬試験が無料に | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら｜次郎花｜note
こんにちは、次郎花です☆ タイトル長い（笑）...ぱ、パクリなんかじゃないですよっ！ はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト／データサイエンティスト（以下、DA/DS）のブームもそろそろバブルがはじける頃かと想像していますが（もうはじけてる？）、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って？まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で
なるべく数式を使わない！滋賀大学の無料データサイエンス講座が開講 | Ledge.ai
画像は『滋賀大学「大学生のためのデータサイエンス（Ⅱ）」講座PV～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では11月16日から、滋賀大学データサイエンス学部による「なるべく数式を使わない」という方針で構成した「大学生のためのデータサイエンス（Ⅱ）」が開講される。受講料は無料。 本講座では、機械学習の諸手法とその応用について説明する。まず「機械学習とは何か？」という説明から始め、その後に機械学習の応用事例を紹介。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学べるとしている。 次に、分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介する。最後に、近年、発展の著しいニューラルネットワークについても説明してくれる。また、本講座は、機械学習の分野のなかでも教
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
「天気の子」興行収入127憶円を408万ツイートで予測・説明する。1/3｜マーケティング・アナリスト/小川 貴史/(株）秤代表
CEを用いて「天気の子」の単語を含むツイートを集計したところ、408万強のツイートがありました。 2軸の折れ線グラフにしました。販売数は土日や祝日（お盆など）で急上昇する周期を描きながら緩やかな右肩下がりで少しずつ減少しています。2か月近く販売数を維持しています。対してツイート数は同様のトレンド（右肩下がり）で緩やかに減少していますが、土日や祝日の急上昇はありません。 ツイート数を使って販売数を予測・説明するために回帰分析という、統計解析ではオーソドックスな手法を使います。 方程式を導く回帰分析 回帰分析とは、Y=aX+b という方程式を導き、説明変数Xによって、目的変数Yの変動をどれくらい説明できるのか？Xが1増えるとYがいくつ増えるか？などを把握できる手法です。Excelでできます。Xを複数用いることもできます。 天気の子のツイートが1増えると映画館の販売数がいくつ増えるのか？その関係
「データ分析をやるならRとPythonのどちらを使うべき？」への個人的な回答 - 渋谷駅前で働くデータサイエンティストのブログ
(Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見（特にPythonは本業ではない）なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/developer_quant/status/1566417479727222784
東京大学や滋賀大学らの無料学習コンテンツまとめたサイト、Python R データサイエンスなど充実 | Ledge.ai
