はじめに 簡単に機械学習ができる、PythonのAutoMLライブラリである 「PyCaret」 について紹介いたします。 初めてのqiita投稿なので、温かい目で読んでいただけると嬉しいです。 機械学習は開発に時間がかかったり、専門的で難しいと感じる方もいると思いますが、AutoML を利用することで、効率よく機械学習を行うことができます。 AutoML とは、データの前処理やモデルの作成を自動化し、少ないコードで行うことができる仕組みです。 その一つに PyCaret というPythonベースのライブラリがあります。 PyCaret は以下のような方におすすめだと思います。 時間や手間をかけず機械学習をしたい方 「機械学習の勉強をしたいけれど、実装とか難しそう」と不安を抱えている方 PyCaret とは PyCaret は、PythonのAutoMLライブラリです。OSSで、MITライ

こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で

さまざまなデータを地理空間情報として重畳する上で有用なPythonのライブラリであるGeoPandas。前編ではGeoPandasを用いたデータの描画方法など基礎的な扱い方を紹介し、後編では衛星データと組み合わせて解析結果を可視化する方法を紹介します。 Pythonで地理空間情報を行う場合、GeoPandasの使い方を覚えておくととても便利です。 例えば、都道府県別の気象データを持っていたとします。そのテーブルデータ(csv)には地理情報と言えば、都道府県の名称くらいしかありません。このような場合、これを日本地図の上に重畳して可視化することはできません。 しかし、このデータに地図上に描画できる情報を与えることさえできれば、好きなデータを地図の上に重ねることができます。このようなことをしたい場合に、GeoPandasの使い方を知っておけば助けになります。 今回は、簡単な例を通じて、GeoPa

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker

最新情報 (2022-06-15 時点) エヌビディアの佐々木です。 2020 年 6 月にこの記事を書いて以来、Windows Insider Preview や NVIDIA ドライバの新しいビルドが出たタイミングなどで記事を更新してきましたが、あちこちに注釈が増えて読みづらくなってきたので、今後はこの「最新情報」セクションに新しい情報を集約しようと思います。あと、更新履歴は記事末尾へ送りました。 私が動作を確認したバージョン Windows のビルド: 22621.1 (Windows 11 バージョン 22H2) NVIDIA ドライバ: 512.95 nvidia-smi コマンドの GPU-Util 欄が "N/A" になってしまう問題は解決！ 実行した NGC コンテナイメージ nvcr.io/nvidia/tensorflow:22.05-tf2-py3 Docker De

すごいタイミングですごい本が出たもんだ。 本日はKubernetes Advent Calendar 2020 その1 向けのエントリー。 本当はCF for k8sの記事を書くつもりだったのだけど、先週盛り上がりまくったDockershimのDeprecated話の後ですごーく良い本が出てきたので、これは紹介せねばということで急遽内容を変更。 jaco.udcp.info CF for k8sの話も途中まで書いちゃっているのでまた日を改めて公開する。 あの神資料が本になったよ ということで今日の話題はこちら。 イラストでわかるDockerとKubernetes Software Design plus 作者:徳永 航平発売日: 2020/12/05メディア: Kindle版 今ではDockerやKubernetesに関する本もだいぶ出揃い、使い方を学ぶのには困らなくなってきた。それに、基

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

GPU別ディープラーニング性能ベンチマークで使用したソフトウェア 検証に使用したハードウェア構成は記事末尾に記載しておりますので、別途ご確認ください。 ResNet50(FP32) GPU別ディープラーニング性能ベンチマーク：ResNet50(FP32) まずはResNet50(FP32)でベンチマークをとってみました。 GPUの性能向上に合わせてスコアが順当に上がっています。また、GPUを2枚搭載する場合は処理性能が約1.8倍となりました。 一方でCPU はCore i9-10980XEにてベンチマークの計測を行いましたが、Core i9-10980XE よりも安価なGeForce RTX 2080 Tiの足元にも及びませんでした。だからと言ってCPUの性能は軽視して良い訳ではなく、学習前処理等ではCPUの性能も必要となり、ディープラーニングの学習に必要な全体の工程の一部の時間短縮に貢献

はじめに インストールすればすぐに書けて動かせるのが魅力のPythonですが、 実際に業務などでキチンと書こうと思ったら Pythonのバージョン管理ツール パッケージマネージャー エディター(IDE) リンター フォーマッター 型チェッカー くらいは最低限用意する必要があります。 しかしこの界隈、怒涛の勢いで日々新しいものがリリースされていて一概に「これがベストプラクティス」を提示するのが難しいんですよね。そこで今回は上記それぞれのツールについて「こんなものがあるよ」というのをご紹介したいと思います。 TLDR バージョン/パッケージ管理はpyenv + Pipenvがスタンダードだった時代は終わった VS CodeかVimを使うなら型解析にPyrightを導入するとよい テンプレートを用意しました 1. バージョン/パッケージマネージャー プロジェクトごとに異なるPythonのバージョ

はじめまして。 先週競プロに入門した初心者です。 今はpythonを使っています。 出来ればC++に頼ることなく競プロで良い結果を出したい！ ということでpythonのままスコアを上げる方法を考えました。 例えばC++では こんな感じで高速化をする人が多いです。 要するに、頻繁に使う記述を簡略化しておくって感じですかね。 前からこういうおまじない的な慣習があることは知っていました。 が、これのpythonバージョンはpythonで競プロをやっているのに知りません。 そこで、pythonの競プロ強者の慣習を学んでいこうと思い、この記事を書きました。 同じような方にも参考になれば幸いです。 はじめにしたこと 強い人の提出コードを読みました。 やっぱりC++競プロと同じようなおまじないがあったので解読していこうと思います。 (とある強そうな人から引用しています) 実際のコード 実際のコードを順に

はじめに 新しいサービスにはじめて触れるとき、どうやって学べば良いかが分からずに困ることってありませんか？ 特にパブリッククラウドは、サービス数が非常に多い上にアップデートが早いため、キャッチアップするのが大変ですよね。 本記事では、Microsoft Azure を学びたいと思っている方を対象に、オススメの学習方法についてまとめていきます。 想定読者 本記事が以下の皆様の Azure 学習の一助になれば幸いです。 これから Azure を学ぼうと思っている方 既に Azure を使っており、もっと学びたい方 AWS (Amazon Web Services) 経験者の方で Azure に興味がある方 GCP (Google Cloud Platform) 経験者の方で Azure に興味がある方 主要な学習リソースの概要 色々な学習リソースがありますが、Azure 公式ドキュメント と

はじめに 皆さんPythonでプログラミングしてますか？ Pythonの基本的な文法はある程度理解したけど、もう一歩詳しくなりたい、という方のために、中級的なテクニックや書き方について解説します。 この記事をマスターすれば、あなたも明日からPython中級者になれるかも？ では、始めましょう。 変数の代入について Pythonでは、複数の変数の定義を1行で行うことが可能です。 普通に代入した場合：

Juliaという速くて書きやすい言語をちょっとだけ覗いてみたんだが、なにやらワクワクするものがあったので報告しようと思うJulia はじめに 最近うちの会社でも機械学習がホットになってきていて、去年、直属の先輩から「機械学習やりなよ」と言われましたが、「自分にはまだ他にやりたいことがあるので。。。」と逃げていました。 しかし今年の後半になるにつれて、さらに勢いをましている機械学習をみて、「これは今のうちにやらないと置いていかれる」と焦り始めて、ちょっと頑張ってみることにしました。 機械学習には「Python」「R」など長年使われている言語もありましたが、新しもの好きの私は迷うことなく「Julia」でやることに決めました！ 「Julia」を少し調べてみると面白い機能があったので、個人的な備忘も兼ねて記事にしたいと思います。 参考文献 Julia公式ページ GitHub yomichi's b

サブプロセスとは そもそもターミナル(シェル)でコマンドを打つとどのようにしてプログラムが実行されるのだろうか？ 実はシェルが自身のサブプロセスを作成するという形でプログラムは実行される. そしてsubprocessモジュールとは文字通りサブプロセスを立ち上げるためのモジュールである． このモジュールを用いることでpythonから他のプログラムを立ち上げたり，その出力を得たりすることができる． シェルスクリプト的な使い方をしたいときに便利なモジュールである． かつてはos.system os.spawn が使われていたが、subprocessはこれらを置き換えるためのモジュールである． TLDR os.systemを置き換えるには sts = subprocess.call("mycmd" + " myarg", shell=True) とすればよい． 出力をとりたい場合， proc =

Visual Studio CodeでWeb制作・開発のコードを書く時に役立つ設定・テーマ・機能拡張、知っておくと便利なテクニックを紹介します。 My Web Development VS Code Settings, theme, Extensions, tips and tricks br lampewebdev(@lampewebdev) 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 私がVSCodeを使用している理由 VSCodeのテーマ・アイコン・フォント VSCodeの機能拡張 VSCodeの設定 VSCodeの便利な使い方 私がVSCodeを使用している理由 私はプログラミングを始めて以来、たくさんのエディタやIDEを使ってきました。Eclipse、Netbeans、Notepade ++、Brackets Ed