Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do

オンライン診療とは、自宅にいながら医師に直接毎日のスキンケアを相談したり、医薬品や漢方薬の処方を受けることができたりする診察のこと。お薬が処方された場合は郵送で薬局等にお薬を取りにいかなくても、自宅に届けられます。 普段、病院では発生する診察費用や処方箋費用はもちろん、お薬代以外の費用は一切かかりません。

This project was done with this fantastic "Open Source Computer Vision Library", the OpenCV. On this tutorial, we will be focusing on Raspberry Pi (so, Raspbian as OS) and Python, but I also tested the code on My Mac and it also works fine. OpenCV was designed for computational efficiency and with a strong focus on real-time applications. So, it's perfect for real-time face recognition using a cam

追記(2022.04.11) qiita OpenCVの新しい顔検出を試してみる qiita OpenCVに加わった深層学習ベースの顔検出・顔照合のデモ用のサンプル で、OpenCV 4.5.4　以降で利用可能な深層学習ベースの顔検出と顔照合が紹介されています。 OpenCV だけで顔検出から顔照合まで完結している。 そういう状況になってきている。 深層学習を利用した従来よりも強力な顔検出・狭義の顔照合（＝正規化済みの顔を用いて、顔の類似性を判定する技術）があることには気づいていたが、顔のlandmark（目・鼻・口など）を求めて、顔を正規化する技術もOpenCVに含まれていたことに最近気づいた。 https://github.com/opencv/opencv/tree/master/samples/dnn tensorFlow ベースのコードで顔検出のDNNが使えるようになっている。

Coqで学ぶ証明プログラミング！ テストだけでなく「証明」で安全性を保証する プログラミング言語「Coq」では、プログラムを「証明」して間違いを防ぐことができます。プログラムの正しさを保証できる一歩進んだエンジニアになりましょう！ coqtokyoを主催する今井宜洋さんの解説です。 みなさん、Coqってご存知ですか？ プログラムを証明して間違いを防ぐという優れものです。今回はそのCoqについて、coqtokyoという勉強会を主催している今井宜洋がお届けします。 プログラムをただ作るだけではなく、その正しさを保証できる一歩進んだエンジニアになってみましょう！ Coqって何？ プログラムを「証明する」ってどういうこと？ Coqを使ってみよう Coqのインストール方法 CoqIDE：Coqによる証明開発のフロントエンド Coqで関数プログラミング プログラムの仕様を記述しよう 証明開発モード ゴ

今日からはじめるDocker - コンテナー仮想化の必要性を理解して、まず開発環境に導入してみよう！ Dockerは、コンテナー仮想化ツールです。本稿では、サーバーサイドのアーキテクチャの歴史からDockerが生まれた流れや背景を説明し、PCの開発環境で実際にインストールしてDockerの動作を体験します。 エンジニアの方であれば、「コンテナー」や「Docker」といったキーワードを耳にしたことがあるかと思います。自分が関わっているシステムの開発や運用に活用できるかどうか検討している方もいるでしょう。 この記事の前半では、コンテナーやDockerとはそもそもどういったものかを概観していきます。後半では、PC（WindowsやMac）を使ってローカルでDockerを試していきます。 コンテナーとDockerを歴史から知る 仮想化前はすべて手作業だった サーバー仮想化技術の採用 パブリッククラ

筆者注 UPDATE3 Dec 2019 未だストックが伸びていますが、この記事はあまりにも古いです。そろそろこの記事を参考にするのはヤバいと思います。 UPDATE2 Nov 2016 たくさんの反響ありがとうございます。予想以上に「いいね」「ストック」が伸び続けていたため、記事中のよろしくない部分を修正しました。 UPDATE Nov 2016 本記事は筆者自身も未熟な時期に書いたもので、今読み返してみるとやや不正確な表現があったり、既により良い手段に置き換えられている内容が含まれます。足がかり程度にお読みください。 1. はじめに この記事の想定読者 私 VagrantとDocker、どちらも名前だけは知ってるという方 インフラ構成のコード化と共有に興味があるけどまだ触ってないという方 各種ソフトの概要と利用シーンについて軽く触れつつ、調べた内容をまとめておきました。 （執筆時点でそ

もう見た？GitHub最新人気リポジトリTop25総覧【2017年9月版】 GitHubで直近1年に作成されたリポジトリの中から、スター数が多いリポジトリ上位25個を収集！読み物からソースコードまで、皆さんの開発に役立つ要素満載です！ 世界中の開発トレンドはGitHubにあり。 今回は直近1年に作成されたリポジトリの中から、スター数が多いリポジトリ上位25個を収集し、ジャンル別に整理しました。また、より内容を把握しやすくするため、各リポジトリの概要も記載しています。 上位にはソースコードだけでなく、開発に役立つ読み物系のリポジトリも多数。ぜひ参考にして、あなたの開発をブラッシュアップしてください。 読み物 Roadmap to becoming a web developer in 2017 Best websites a programmer should visit The Syste

空ブランチ？ そもそも空ブランチとは何かというと、すでにあるコミット (master) なんかのブランチとは関係なく、全く関連性も何もないブランチのこと。 『そんなものがあるのか？』と不思議に思ったのですが、GitHubのとあるリポジトリには、"gh-pages" というものが存在しているのに気がつきました。! ツリーを見ると、全く独立していて、ドキュメントやプロジェクトページのHTMLが入っていたりします。GitHub上では、このドキュメント用の空のブランチが作れますが、コマンドラインから作るのは知りませんでしたので、メモ。 作り方 "doc" というドキュメント用の空ブランチを作る場合。 git checkout --orphan doc orphanオプションを付ければ良いんですね。 ちなみに、既に履歴のあるリポジトリ上でorphanブランチを作ると、その時点での中身が入ったまま新し

GitLab Community Edition 8.7.0(2016/5/6時点での最新バージョン)のインストール方法について。 とても簡単。5分くらい。 →GitLab以外も同じサーバーで運用する場合、もう少しカスタマイズが必要そう。 公式ドキュメントの通りインストールでNginx、unicorn(rubyアプリケーションサーバー。gitlabはruby on rails)の一緒にインストールされる。 サブディレクトリ変更やポート変更は、以前は幾つかの設定ファイルを変更する必要があったようだが今は設定ファイル１つのみの変更でokだった。 参考 https://about.gitlab.com/downloads/ http://doc.gitlab.com/omnibus/settings/configuration.html

GitHubのポータブルなクローン「GitPrep 2.6」が、2016年6月10日にリリースされました。 「Wiki機能」が追加され、ドキュメントを書けるようになりました。 このリリースでリポジトリ、プルリクエスト、イシュー、Wikiという主要な4つの機能が実装されました。 上部のタブにWikiが追加されています。 ぜひGitPrepのサンプルを試してみてください。ポータブルな本物のGitHubシステムであることが実感できると思います。 GitPrepの特徴 初めて利用される方のために、GitPrepの特徴をご紹介! GitHubのクローン。GitPrepは使い慣れたGitHubと同じインタフェースを持っています リポジトリ、プルリクエスト、イシュー、Wikiをサポート issueシステムのサポート ポータブル。GitPrepをあなたのUnix/Linuxサーバーにインストールできます。

はじめに 以前書いたエントリー、重大な脆弱性(CVE-2017-5932)で少し話題になったbash4.4の補完機能の便利な点で、bash4.4からでないとタブの補完機能のソート処理が制御できないという問題について、ソースコードレベルで調べた結果をまとめていたのですが、bashの実装そのものを深く掘り下げ過ぎてしまい、内容が膨大になったので、何回かに分けて書こうと思います。 今回はbashが起動されてからインタラクティブモードでキーボードの入力を待ち受けるまでのお話です。普段使っているbashがどのような処理を行っているのか一緒に覗いてみませんか？ 検証ソースコード Bash version 4.1.0(1) release GNU bashの生誕 bashのプロセスが起動されるのはOSへのログイン時にユーザーのログインシェルがbashに設定されている場合、あるいはログイン後に明示的にba

アメリカ人です。 Hello 👋 この記事の目的 多くの日本人は自分の英語力には自信がないではないでしょうか。残念ながら「英語がわからん」、「英語が全然できない」という声をしょっちゅう聞いています。でも、今まで英語ができて意味がちゃんと伝わる何人かの日本人に会ったがあります。完璧な英語ではないけど(外国人も英語でミスる時もある...)、がんばって話そうとするので充分仕事ができる人たち。そういうがんばる姿勢はオープンソースのプログラムや英語圏のプログラムに手を出すためには一番大事なことだと思います（外国人側もすごく助かります）。日本の文化では「私はできる！」と自慢することは少ない中、この記事を通して、流暢に話せなくても自分のプログラミングの命名の仕方にはちょっとだけでも自信を持たせたいなと思います。完璧じゃなくていいです。Let's go! 合わせて読んでいただきたい 【日本人エンジニア必

私はSSHクライアントPoderosaを開発・販売していますが、最近、従来のWindows版に加えてMac OSX版をXamarinを使って作成するという仕事をしましたので、そこでの知見をまとめておこうと思います。 Windows/OSXの両対応アプリを作る際の定石のようなものも見えてきました。 なおこの記事執筆時点ではOSX版Poderosaは開発終盤ですが未公開です。2017年4月に正式リリース予定です。 基礎知識おさらい Xamarin社は、源流はオープンソースの.NET環境ですが、現在はマイクロソフト傘下になっています。Xamarinの構成要素も多岐にわたり、C#コンパイラ、CLRランタイム、本家.NET互換の基本ライブラリ群、Xamarin FormsというiOS/android両対応のモバイルアプリを作る環境、Xamarin StudioというIDE、などいろいろありますが、こ

Microsoftが2月3日、バージョン管理システム「Git」で巨大なリポジトリを扱うための仮想ファイルシステム「GVFS (Git Virtual File System)」を発表、GitHub上で公開した（アナウンス、GitHub、マイナビニュース、Slashdot、OSDN Magazine）。 GVFSでは、リポジトリが管理するファイルシステムを仮想化し、必要に応じてファイルをダウンロードしたり更新することで、リポジトリに対する操作時にファイルアクセスによって発生する待ち時間を軽減するというもの。Microsoft社内ではWindowsやOfficeといった非常に大規模なソフトウェアのソースコードが存在するが、これらはファイル数が多すぎてGitでの操作時に大変な時間が掛かっていたそうだ。これを解決するために開発され、その結果巨大なGitリポジトリにおいてクローンが12時間から5分、

ローグライクゲームのダンジョンマップを自動生成するにあたり、参考にさせていただいたページをまとめておきます。 《マップを2分割していく方法》 大きいマップをどんどん2分割していくことで、不思議のダンジョンのようなマップを自動生成できます。開発中のローグライクゲームも、ここにある方法を採用しました。 ◼Racanhackコード解説 ローグライクゲームRacanhackのソースコードを解説した記事。特にダンジョンマップの自動生成に関するアルゴリズムの解説記事が詳しくてわかりやすいのですが、何故かページのテキストエンコーディングがEUC。 ◼アルゴリズム - 不思議なダンジョンの作り方 (Unity2Dサンプルコードつき) - Qiita Unity (C#) のサンプルコード付き！自前で実装した後にこの記事を見つけたのが悔やまれます... ◼ゲームプログラマーを目指すひと ランダムダンジョン生

はじめに 僕はSVN脳患者である。SVN脳とは、SubversionのポリシーでGitを理解しようとしたり、使おうとしたりする病気で、中年プログラマに発症例が多い(気がする)。それまでSubversionを使ったことがない人がGitを使う場合には問題にならなかったことが、SVN脳患者がGitを使おうとすると問題になることが多い。特に、SVN脳を発症したプログラマは、そうでない人に比べてGit学習コストが爆発的に増大する。最初からGitに触れた人は、なぜSVN脳患者がGitを理解できないのかを理解できないだろう。 これは、SVN脳患者である僕1が、なぜGitを長いこと理解できなかったかをつらつら書くポエムである。病人の書いたポエムであるからして、所謂マサカリの類はほどほどにしていただきたい。 以下、「SVN脳患者」という大きな主語を多用するが、要するにこれは僕のことであり、言うまでもなくSu

これは自作OS Advent Calendar 2016の22日目の記事です。 『３０日でできる! OS自作入門』という（このアドベントカレンダーの5,6,9,15日目の記事のKさん著）本があります。 この本はhikaliumさんも書かれていましたが、まさに「OS自作における聖書」といえるような本で、例によって今回やったこともこの本が発端となっています。 実際何をやったのかというと、タイトルの通り「自作OSを自作エミュレータで動かしてみたい」と思ったので色々やってみた、ということです。 エミュレータと自作OS 突然ですが、「ソフトウェアを開発する」ということに着目した時、一般的なアプリケーションの開発とOSの開発の一番の違いはなんでしょうか？ 僕は、「デバッグに仮想環境を使うか使わないか」ではないかと思います。一般的なアプリケーション開発ではデバッグしようと思ったらとりあえず実行してみれば