※おすすめの基準には上記「導入の手軽さ」「学習の手軽さ」「パッケージ依存関係の解決」以外に、「対象OSとの相性」「検索による情報の見つかりやすさ」を考慮しています。詳しくは後述します 筆者の主観が入りますが、概ね以下のフローチャートのように選択すると良いかと思います (詳しくは後述します) なお、実用上ハマりやすいプロキシ環境での使用方法についても、以下の記事に別途まとめました 必要知識 ここから先は、Pythonのパッケージ管理が何をやっているかを解説します。 「御託はいいから早く使いたい！」という方は、「3種類の方法比較」の項目まで飛んでください まず、一般的に「パッケージ管理」と呼ばれている要素を、以下の4つの機能に分割して考える必要があります。 A. インタプリタ切替 (Pythonのバージョンを切り替える) B. パッケージ切替 (パッケージのバージョンを切り替える) C. パッ

はじめに Amazon VPCは、AWS上で仮想ネットワークを構築できるサービスです。 VPCの概要や理論については以下の記事で詳細に解説しました。 一方で、「理論だけでなく実践も重要！」 と思われる方も多いと思いますので、 本記事では実際にVPCによる仮想ネットワークを構築する方法を解説します。 構築の指針として、以下のベストプラクティスを極力満たすよう進めていきたいと思います。 特にVPCフローログやVPCピアリング、VPN等は設定が複雑でハマりがちですが、極力分かりやすく解説したつもりなので、効率よく構築法を習得できる記事となれば幸いです。 本記事で構築するVPCの構成 下図構成のVPC (上記記事の冒頭で紹介した構成)の構築を、実際のコンソール操作方法を交えて解説します。 上記構成の意図として、VPC1 (Webアプリ用のVPC)とVPC2 (社内ネットワークを模擬したVPC)を組

はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア

はじめに AWSのアクセス制御サービスであるIAMについて、2022年7月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 IAMをよく分からないまま適当に設定するとセキュリティ的にまずいので、これを機に設定を見直して頂き、セキュリティレベル向上に貢献できれば幸いです。 特に、後述するIAM設定手順は、AWSに登録して最初に実施すべき設定に相当するため、セキュリティに興味がなくとも一度は実施することをお勧めします。 また公式のベストプラクティスは丁寧にまとめたつもりなので、初学者以外でもAWSのセキュリティ確保に興味がある方は、ぜひご一読頂けると嬉しいです。 IAMとは 「Identity and Access Management」の略です。 公式ドキュメントによると、IAMは「誰」が「どのAWSのサービスやリソース」に「どのような条件」でアクセスできるかを

Mac OS初期設定 開発用ソフトをインストールする前に、まずはMac OSの設定を整えて使いやすいデスクトップ環境を構築します。 初期設定 電源を入れると、色々と初期設定が求められます。基本的には指示に従って進めればOKです デスクトップ設定 まず電源を入れて目につくのが、下のDockが大きくて邪魔だということです。 その他にもスクロールの向きがWindowsと逆だったり、Finder(Windowsでいうエクスプローラ)が使い辛かったりするので、 以下のYouTubeチャンネルを参考にして設定し直すと、使いやすくなるかと思います。 OSアップデート 購入直後のOSはバージョンが古くなっていてセキュリティ的に脆弱なことがあるので、アップデートします。 基本的には初回起動時に自動でアップデート画面が出てきますが、以下の方法で手動アップデートも可能です ・Dockから「システム環境設定」を開

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

概要 近年、品質管理やマーケティングの分野で「ばらつき」分析の重要性が叫ばれていますが、 ばらつき分析と切っても切り離せないのが**「ヒストグラム」と「分布の種類の判断」**です。 今回はPythonのグラフ描画ライブラリ「seaborn」をベースにして、 分析の種類の判断を強力にサポートするツールを作成しました！ 機能1. 正規分布かどうかの判断 機能2. 各種確率分布のフィッティングとあてはまり評価指標 2021/7 修正：pipでインストールできるよう改良しました 下記コマンドでインストール可能となりました こちらの記事で紹介しているseaborn_analyzerライブラリの一部として、githubにもアップロードしております。 histクラスが、本記事の内容に該当します。 バグや改善要望等ありましたら、コメント頂けますとありがたいです また、もしこのツールを良いと思われたら、Gi

全てを読むのが面倒くさい！ という方は、下記フローを参考に実際の使用法まで飛んでください 1. 手軽に環境切替したい or 仮想環境自体が不要な方 →Python組み込みのvenv+pipでOK (リンク先に使用法) 2. チームで環境を共有したい、ライブラリの依存関係も管理したい、でもタダがいい方 →pipenvを使用 (リンク先に使用法) 3. お金($14.95/月)を払ってでも機械学習や数値計算の処理速度を求める方 →Anaconda Commercial Editionを使用 仮想環境とは？ 上記選択を判断するうえで、「仮想環境って何やねん？」と思われる方もいるかもしれないので、解説します。 まず、ここでいう「環境」とは、「Python本体＋ライブラリ」の事を指します。 WindowsにPythonやそのライブラリをインストールすると、これが「デフォルト環境」になるわけですが、

IoTとクラウド障害 IoT関係サービスはクラウド上にシステムが構築されている事が多く、 11月25日のAWS障害では、NatureRemoやSwitchBotなどのIoTサービスが軒並み停止してしまいました。 我が家もNatureRemoが完全停止し、「アレクサ電気消して！」を連呼しても電気が消えず、センサデータ取得システムでもRemoのデータが取得できなくなる等、なかなかのダメージを受けてしまいました‥ このような障害は早く気づくほどダメージを最小限に抑えられるので、 この機に以前から作りかけだった、稼働管理システムを作成してみました。 AWS障害時のデータに本システムを適用したところ、しっかり障害を自動検知＆メール送信することができました！ 本記事はRaspberryPiでの運用を前提にしておりますが、考え方自体は、あらゆるIoT製品に応用できるかと思います。 どう稼働を管理する？

はじめに 私は現在大阪市に住んでおり、一昨日の都構想投票はテレビにかじりつきながら見ていました。 経過を見ていて思ったのが、区ごとの結果の差が顕著に出ており、分析対象として適したデータが得られそうだと感じたため、詳しく分析してみました。 ※下図はおおさか維新の会HP掲載の、都構想における新旧区分け GitHubに、使用したスクリプトやクレンジング後のデータをアップロードしています Qiitaのガイドラインにあるように、あくまで技術記事としての領分を超えないよう、政治的な深い考察は避け、得られた事実のみを列挙していこうと思います。 また、私は因果推論のような高度な分析のスキルは持ち合わせていないので、「さらに深い知見を得るためにはこうしたらいい」 というような手法に関するアドバイスがございましたら、コメント頂けると大変ありがたいです！ 結論 結論に至るまでの手順は次章以降で述べますが、以下の

上記に新たなコード・ファイルを追加していくことで、より複雑な画面・処理を実現する事ができます。 3-2. Androidアプリの構成 どのようなファイルを追加すべきか調べるために、Androidアプリの全体構成を調べてみました。 Android公式サイトによると、Androidアプリの構成は以下のようになっているようです。 **　A.アクティビティ：画面構成を定義** **　B.サービス：バックグラウンド処理を定義** **　C.ブロードキャスト レシーバ** **　D.コンテンツ プロバイダ** 上記構成に基づいたアプリの全体コンポーネント構造を宣言するのが、前節1"AndroidManifest.xml"のようです。 主にAがUIを担当し、B～Dがバックエンド側の処理を主に担うようですが、 今回はバックエンド処理はクラウドサービス(MongoDB Realm)に一任するため、 ほぼAに

※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel

IoTと無線通信 IoTといえばセンサ！RaspberryPi！ というわけで実際に使ってみると分かるのですが、 とにかく配線が邪魔！（画像は我が家のタコ足） ちょっと数が増えるとハッカーの部屋みたいな見た目になりますし、コードに引っかかる危険も‥ 無線化すれば見た目も安全も損なう事なく、たくさんのセンサをRaspberryPiで管理できます！ 無線IoTセンサの比較 では無線センサはどれを買えばいいの？と思い調べましたが、実際に比較したサイトはほぼ皆無。 というわけで人柱の精神で、Bluetooth Low Energy（BLE）接続のセンサを実際に購入し、比較してみました 比較に使用したセンサ 最も需要が多そうな温湿度センサ、かつAPIでデータ取得が可能なものを選びました。 ・Omron 環境センサBAG型（2JCIE-BL01） ・Omron 環境センサUSB型（2JCIE-BU01

はじめに 巷ではスーパシティ法によるデータ管理が話題ですが、 インドア派な私はシティの前にハウスで時代の波に乗ろう！と思い立ち、 大量のセンサデータをリアルタイムでダッシュボード表示する仕組みを作りました。 結論から言うと、センサデータを安定して見える化できるシステムが構築できたと感じています。 初心者の方でもわかりやすいよう、説明の飛躍のない記事作成を心がけたいと思います。 飛躍、間違い等あれば、ご指摘頂けるとありがたいです！ 2021/12追記 さらに進化？したので以下の記事もご参照ください 必要なもの ・RaspberryPi（今回はPi3Model Bを使用） ・Python実行環境（今回はプリセットのPython3.7.3使用） ※RaspberryPiでのPython開発環境は試行錯誤の結果、こちらに落ち着きました ・Googleアカウント（スプレッドシートを使うのに必要） ・

VSCodeとは？ マイクロソフトが開発したソースコードエディタ「Visual Studio Code」の略です。 無料・軽量・多機能の三拍子揃ったエディタとして、急速に支持を広げているそうです。 2019/10版より、RaspberryPi（ARM v8）へのSSH接続機能が公式サポートされたので、 RaspberryPi内のPythonコード遠隔編集を試した結果を記事にしました。 結論から言うと、ブレークポイント付きのデバッグが実現できたりと、快適な遠隔開発環境を実現できました！ ※SSHでなく直接RaspberryPiでVSCodeを使用したいとき 2021/4に、VSCodeがRaspberryPi OSに正式対応しました。こちらの記事が参考になるかと思います 必要なもの ・RaspberryPi (本例ではRaspberryPi3 ModelB) ・上記と同じネットワークにつなが