【データサイエンティスト入門編】探索的データ解析（EDA）の基礎操作をPythonを使ってやってみよう
機械学習エンジニアやデータサイエンティストが、一番最初に行う作業をご存知でしょうか？会社や組織から課題を与えられた場合、最初に行うのが「探索的データ解析」と呼ばれる作業です。 探索的データ解析、英語ではExplanatory Data Analysis（略してEDA）とは、データの特徴を探求し、構造を理解することを目的としたデータサイエンスの最初の一歩です。 探索的データ解析は機械学習のタスクの一番最初のフェーズで、まずはデータに触れてみて、データを視覚化したり、データのパターンを探したり、特徴量やターゲットの関係性/相関性を感じるとるのが目的です。 より高度な機械学習のモデルの構築をしたり、難解な問題を解決する際には、特徴量エンジニアリング（英語でFeature Engineering）を必要することが多々あり、その際に深いデータの知識と理解が求められます。 問題を解決する前に、どのよう
Ubuntu 18.04 で、NVIDIAのリポジトリを利用してtensorflow-gpu環境を構築するシンプルな方法
Home » GPU » Ubuntu 18.04 で、NVIDIAのリポジトリを利用してtensorflow-gpu環境を構築するシンプルな方法 2021/12/19追記: より新しく確実な方法を書きましたので、そちらをご参照ください。これはもう古いです。こちら(Ubuntu 20.04 / 18.04 環境で CUDA 10.2, FSL 6.0.5, Tensorflow, PyTorch をセットアップする方法)になります。CUDA 10.2 ですが、他のバージョンにも容易に応用できる方法です。 Ubuntu 18.04で、ディープラーニング環境を構築したいと考えました。 いろいろネットの情報を得てトライしてみたのですが、苦戦しました。 しかし、トライしているうちに、いくつか大事なことがわかってきました。 ポイントは、以下のとおりです。 グラフィックボードのドライバーによって使える
Ubuntu 18.04 でCUDA, Cudnn, Tensorflow GPU のインストール - CodeLabo
今までで、一番環境構築に躓いたかもしれません。 テンション上がった日に何を考えたのかGeForce GTX 1060を購入し、デープラーニングを始めようと思ってしまったのが運の尽き。 UbuntuのバージョンやCUDA, Cudnnのバージョン、Tensorflowのバージョンに悩まされ、環境構築だけで何日かければ気が済むのか。 「お前達はまだ門の前にすら立てちゃいない」とは正にこのことです。 ってわけで、苦痛に耐え抜いた末にたどり着いた、環境構築手順をまとめておこうと思います。 TensorFlow GPUの環境構築でとっても大事なこと ハマった場所です。 というより、誰か教えてくれればこんなに苦労しなかったのに。。。って思ったことです。 まず、とにかく大事なのはそれぞれのバージョンです。 特に大事なのがCUDA, Cudnn, Tensorflowのバージョンの対応関係です。 以下のサ
ubuntu18.04でTensorFlow-gpuを動かす - Qiita
ubuntu18.04でTensorFlow-gpuを動かすまでの環境構築記事です。 まっさらな環境で導入した際の手順なので、会社や学校、個人で新しく機械学習環境を作る方に役立つ記事だと思います。 それでは、Nvidia driver, CUDA, cuDNN, Anaconda, TensorFlow-gpuを順に導入していきます。 ##実施環境 Ubuntu 18.04 LTS 日本語 Remix NVIDIA Geforce GTX 1050Ti ##Ubuntuのインストール 割愛しますが、参考リンクを載せておきます。 参考：[/homeを残して、Ubuntu 16.04LTS をクリーンインストールする] (https://qiita.com/hkuno/items/52ef4a300262a51f982e) 公式インストーラー：Ubuntu 18.04 LTS 日本語 Remi
CUDA Toolkit Archive
Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production drivers appropriate for your hardware configuration. Latest Release CUDA Toolkit 12.6.0 (August 2024), Versioned Online Documentation Archived
Ubuntu18.04にRTX 2080のドライバーをインストールする - Qiita
記事作成段階(2018-10-14)ではaptでインストールできるnVidiaのドライバーはRTX2080に対応していないため，nVidiaの公式サイトから.runファイルをダウンロードし，インストールする． この記事の作成にあたって以下の記事をもとに作成しました．ありがとうございました． nvidiaのdriverをインストール(ubuntu) また，Ubuntu18.04ではnVidia Driverを容易にインストールできる方法もあるようなので下記の記事も参照されたし． 開発メモ その114 Ubuntu 18.04でNvidia Driverをインストールする 環境 OS : Ubuntu 18.04 CPU : intel Core i7 8700K GPU : GEFORCE RTX 2080 GPU Driver: Linux x64 (AMD64/EM64T) Displa
開発メモ その114 Ubuntu 18.04でNvidia Driverをインストールする · A certain engineer "COMPLEX"
# デバイスの認識を確認 $ ubuntu-drivers devices == /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 == modalias : pci:v000010DEd00001B80sv00001028sd00003366bc03sc00i00 vendor : NVIDIA Corporation model : GP104 [GeForce GTX 1080] driver : nvidia-driver-390 - distro non-free recommended driver : xserver-xorg-video-nouveau - distro free builtin # 自動でインストール $ sudo ubuntu-drivers autoinstall # 再起動 $ sudo reboot
Python, pandas, seabornでヒートマップを作成 | note.nkmk.me
Pythonのビジュアライゼーションライブラリseabornを使うと、二次元データを可視化するヒートマップが簡単に作成できる。 seaborn.heatmap()関数を使う。 seaborn.heatmap — seaborn 0.8.1 documentation pandasは必須ではないが、二次元データとしてpandas.DataFrameを用いると行名・列名がそのままx軸・y軸のラベルとして表示されて便利。 ここでは、以下の内容について説明する。 seaborn.heatmap()関数の基本的な使い方 オブジェクトとして操作 seaborn.heatmap()関数の主な引数 数値を表示: 引数annot カラーバー表示・非表示: 引数cbar 正方形で表示: 引数square 最大値、最小値、中央値を指定: 引数vmax, vmin, center 色（カラーマップ）を指定: 引数
サービス開発でぶつかってきた壁と、そのとき助けてくれた本 - クックパッド開発者ブログ
こんにちは、開発ディレクターの五味です。クックパッドにレシピを投稿してくれるユーザーのための機能やサービスを開発する「投稿開発部」に在籍しております。 投稿開発部は、2018年1月に前身となる部からメンバーを一新して発足した部署です。自分たちで1から戦略を作るため、強い実感を持ってユーザーを理解することを信条に、資料を読んだり前任者に聞いたりするだけではなく、実際にユーザーとたくさん話し、たくさんレシピを投稿し、ユーザーのことをたくさん考えてきました。 この記事では、その中でぶつかった課題を解決するために取り入れた書籍や、それをうまく業務に取り入れるために行っている工夫を紹介します。 サービス開発にはさまざまな壁が現れる ユーザーと事業目標に真摯に向き合うほど、サービス開発にはたくさんの壁が現れます。私たちも例外ではなく、部の発足以降、以下のような壁に激突してきました。 「ユーザー課題の見
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlow1.10.1をUbuntu18.04 + CUDA9.2 + cuDNN 7.2.1上で動かす - Qiita
CUDA Toolkit 10.1 update1 Archive
Upgrade or uninstall cuda to allow apt-get to work
Installation — HoloViews v1.19.1