はてなブックマーク

こんばんは、エンジニアの眠れない夜です。 ここではGoogleCloudPlatformのCloudStorageにPythonからファイルをアップロード・ダウンローする方法をご紹介します。 分かってしまえばなんて事のない事なのですが、なかなかファイルのアップロードとダウンロードができなくて何時間も費やしてしまいました。 このブログを読んでくださる方は5分もあればCloudStorage（クラウドストレージ）にファイルの保存、取得ができるようになります。 CloudStorage（クラウドストレージ）の概要 クラウドストレージにアクセスするにはサービス アカウントというクラウドストレージにアクセスするためのアカウントとバケット（ストレージ）を作成します。 作成したアカウントの認証キーを使って認証を行います。 あとはストレージにPythonプログラムからアクセス実行するだけ。 という3ステッ

こんばんはエンジニアの眠れない夜です。 Docker Composeを使っていて別のDocker Composeファイル(.ymlファイル) で設定しているコンテナに接続したくなることはありませんか？ 例えば、開発する時 データベースはMySQLやPostgreを起動して複数のアプリケーションから参照する。 という使い方をしたくなります。 しかし、 データベースのポートがバッティングしてしまったり アプリケーションごとにデータベースのコンテナが必要になったり 別のアプリケーションと接続したくなったり と… 複数のDocker Composeのコンテナ間でネットワーク接続ができないととても不便です。 こういった問題に直面してしまうのは言うまでもなくDockerのコンテナネットワークに関する知識が不足していることが原因です。 上記のような問題を解決できるようになるために今回は複数のDocker

こんばんはエンジニアの眠れない夜です。 今日はGKEを使って最安値でKubernetesクラスタを作る方法をご紹介します。 Twitterで投稿したこちらを素に始めていきます。 GCEには 勝手にサーバーが停止するけど 80％OFFの値段で利用できる プリエンプティブVMというものがある。 Kubernetesはサーバーが停止しても 自動で復活する機能を備えているので プリエンプティブVMを使ってクラスターを作ると 80％OFFの値段で利用できて 落ちても死なないクラスターができあがる。 pic.twitter.com/IXG67JNXwg — エンジニアの眠れない夜 (@sleepless_se) December 11, 2018 何がすごいってGPCのインスタンスを80％OFFで使えるなんて凄すぎです！ 圧倒的な安さです。ツイートの画像ではstandard-1が最小ですが、実はf1-

こんばんはエンジニアの眠れない夜です。 前回はkeras−yolo3の使い方をご紹介しました。 【物体検出】keras−yolo3の使い方 まだ読んでいない方は先にkeras-yolo3の使い方を読んでkeras-yolo3を動くようにしてからこの先を読み進めるとスムーズにkeras-yolo3の学習を始められます。 物体検出ってこんなに簡単にできるの！？ってなります。機械学習がとっても身近なものに感じられるようになります。 keras−yolo3の独自データセット学習の流れ sleepless-se/keras-yolo3 をクローン 教師画像をダウンロード 教師画像をリサイズ VOTTでアノテーションを作成 アノテーションファイルをYOLO用に変換 YOLO学習開始 結構ステップが多くて大変そう(；´Д｀) と、感じますがそこはディープラーニング、仕方ないですね(^_^;) sleep

こんばんはエンジニアの眠れない夜です。 Dockerを使っていると時々おかしくなってうまくコンテナが起動しなくなったり、停止しなくなることがあります。 そんなときはDocker Engine を再起動すると直ることが多いです。 MacでDockerEngineを再起動する方法（コマンド）を調べてみたのですが、Docker自体にそういう物は見当たらず、下記のコマンドを利用するとDockerを再起動できました。 osascript -e 'quit app "Docker"' 覚えられそうな気もしますが、直感的ではないので私はプロジェクトのルートディレクトリに docker-restart.sh というコマンドを作成して sh docker-restart.sh で使っています。 ※ ソースコードの画面の右下にあるview rowを開いて「⌘＋S」でソースコードをダウンロードできます。 #!/

こんばんはエンジニアの眠れない夜です。 今回はBidirectionalRNNを使って文章を自動生成してみます。 前回、前々回の記事はこちらをご参考ください。 【Python】機械学習で文章を自動生成する方法 【Python】LSTMを使って文章を自動生成 BidirectionalRNNってなに？ まずは「bidirectional」の日本語訳は 双方向的な、双方向性の、二方向 です。RNNは前から順番に文字を読み込んで次に出てくる文字を予想したりするのですが、BidirectionalRNNは前と後ろから読んで次に出てくる文字を予想します。 インプット　　アウトプット（予測） はじめまし　→　て てしまめじ　→　は こんな感じで前と後ろから学習することで前からだけ学習したときよりも精度が良くなるというアルゴリズムです。 めっちゃざっくり（笑） BidirectionalRNNをKera

こんばんはエンジニアの眠れない夜です。 Dockerで一度ビルドしたイメージのイメージ名やタグ名を変更したいことはありませんか？ 特にタグ名はバージョンとlatestを同時に作成するかたも多いのではないでしょうか？ 全く変更を加えていない状態ならもう一度buildをしても数秒〜1分以内に終わるのでそれでも良いのですが、変更を加えてしまった場合はそうもいきません。過去に作成したイメージに対してタグだけ変更したいという場合には利用できませんね(；´Д｀) そういうことで簡単にイメージ名とタグ名を変更する方法をご紹介します。 Dockerでイメージ名とタグ名を変更する方法 まずはdocker imagesでイメージのIDを確認します。 イメージIDを確認したらこちらを置き換えるだけです。 dokcer tag IMAGE_ID IMAGE_NAME:TAG 例えば変更したい ・イメージID：c5

こんばんは、エンジニアの眠れない夜です。 日本語の自然言語処理を行うには英語と違ってまずは分かち書きが必要になります。 分かち書きってなに！？という方のために 分かち書きとは 英語なら「This is pen」 みたいに単語と単語が別れていますが、 日本語だと「これはペンです」 という風に単語がひっついているので、これだと自然言語処理ができないので「単語と単語を分けよう！」というのが分かち書きです。 ここでは分かち書きをするのに「MeCab」という形態解析ソフトを使います。 MeCabを自分のパソコンにインストールしてもいいのですが、再現性が高いのでいつもながらGoogleColaboを使います。 OS依存なし！プログラミング言語はPythonですが、Pythonを使えない人でも分かち書きができます。 MeCabで分かち書き まずはGoogleColabを開いてMeCabのインストールを行

今回は機械学習で文章を自動生成する方法をご紹介します。 プログラミング言語はPythonを使用します。 機械学習のフレームワークはKerasを利用します。 細かい技術的な話をするのもいいのですが、ないより触って動くのが一番楽しい！ということで誰でも触って動かせる物を作りました。 GoogleColabさまさまですm(_ _)m 他人とソースコードを共有できて実行環境も全く同じで再現できるっていうのは本当に強力です。 はっきり言って革命です！ と、GoogleColabの話はこの辺にしておいて本題に移ります。 【Python】機械学習で文章を自動生成してみよう！ ブログに書く前にツイッターで投稿してしまったのでそのままコピペします。 ・プログラミングしたことない。 ・機械学習ってなに？ そんな人でもディープラーニング（俗にAI）を使って 文章を自動生成するのを体験できるようにしました。 パソ

こんばんは、エンジニアの眠れない夜です。 機械学習をしたくても素材がない… そんな問題を解決してくれるのが icrawler です。 icrawler はGoogle、Bing、Baidu、Flickrなどの画像検索サービスから画像をダウンロードしてくれる便利なPythonのパッケージです。 ３０秒あればあなたのPCでも再現できるのでぜひ読みながらプログラムを動かしてみてくださいね^^ icrawler の使い方 まずはインストールします。 pip install icrawler インストールできたらPythonを起動して、下記のコマンドを実行してみましょう。 Python from icrawler.builtin import GoogleImageCrawler crawler = GoogleImageCrawler(storage={"root_dir": "images"})

こんばんは、エンジニアの眠れない夜です。 Dockerで複数CMDを利用したい人のための簡単な解決方法です。 CMDとRUNの違い まずは簡単にCMDとRUNの違いを説明します。 RUNはイメージを作成する前に実行されるものなのです。一方、CMDはイメージ作成後に実行されます。 なので、常駐化させたいプログラムを起動するコマンドをRUNで記述しても動いてくれません！(￣◇￣;) 必ずCMDに書いてくださいね。 そして、CMDにはもう一つルールがあります。 CMDは最後の1行だけが実行される CMDは複数行記述しても最後の1行しか実行されません… [code]CMD [“supervisord”, “-n”,] CMD [“busybox” , “crond”, “-b”, “-L”, “/dev/stderr”][/code] 複数実行したいコマンドがあっても最後の1行しか実行されずにそれ

こんばんは、エンジニアの眠れない夜です。 GCPにSSHで接続する方法をSSH接続に慣れていない方向けに説明します。 GCPにSSHで接続するまでの全体像 ローカルPCで秘密鍵/公開鍵を作成します。 GCPのインスタンスにローカルの公開鍵を登録します。 ローカルPCからGCPインスタンスに秘密鍵を使って接続します。 イメージとしては勘合貿易です。 秘密鍵と公開鍵を作成 相手に公開鍵（右側）を渡す アクセスするときは秘密鍵（左側）を持って一致するか確認 これで秘密鍵/公開鍵の仕組みは二度と忘れませんね！ ローカルPCで秘密鍵/公開鍵を作成します。 まずは自分のPCのターミナルで下記のコードを実行して秘密鍵/公開鍵を作成します。 ssh-keygen -t rsa -b 4096 -C "your_email@example.com" your_email@example.comは適宜置き換え

こんばんは、エンジニアの眠れない夜です。 Djangoを使っているエンジニアに朗報です！ このdocker-composeを使えばDjangoをHTTPS化して簡単にデプロイできるようになります。 しかも、HTTPS化が無料です！ こんな嬉しいことはありませんね＼(^o^)／ サーバー環境を毎回設定してデプロイする。 サーバーと開発環境との差分を吸収する。 サーバー環境構築時間がほぼ0になる。 という素晴らしいメリットがあります。 私はサーバー環境を設定するのがものすごく嫌いです(；´Д｀) Linuxコマンドをイジイジするのがそもそもあまり好きでないのが大きな要因だと思います。 そして、プログラマーですが、インフラエンジニアではありません！ 言いたいことてんこ盛りですが本題に入ります！（笑） Django×uWSGI×Nginxを一発で設定してくれるDockerFile 1ヶ月ほど前にD

なぜか突然Dockerfileをbuildする時にtzdataでタイムゾーンの選択を求められるようになりました。 以前はこんな画面出なかったのに… Dockerfile Configuring tzdata ------------------ Please select the geographic area in which you live. Subsequent configuration questions will narrow this down by presenting a list of cities, representing the time zones in which they are located. 1. Africa 4. Australia 7. Atlantic 10. Pacific 13. Etc 2. America 5. Arctic 8. E