【Linuxのジョブスケジューリング】cronとat とアクセス制御
なんらかの処理を毎月、毎週、毎日のように一定期間で繰り返したいということはLinuxを触っているとよく起こる。 例えば、毎月一回あるディレクトリを見に行って、容量を確認して、管理者にメールを送るなど、自動的にやってくれるととても楽だろう。それを実行できるのが、cronだ。 また一回だけ未来にある処理を実行したい時につかえるのがatだ。 このページではLinuxのジョブスケジューリングに当たる、それぞれの使い方をご紹介しよう。 クライアントマシンだけに触れていると、意外に忘れがちなのがジョブスケジューリング「ジョブの定期実行」だ。 実際Windowsクライアントでも定期的に後ろではタスクを実行している。しかし定期実行されているジョブというものは大概バックグランドで走るため、ユーザが意識することはあまりない。 ましてやクライアントの場合ほぼ隠蔽されているといっても過言ではない。時刻の同期やセキ
ニューラルネットワークの学習の工夫 - HELLO CYBERNETICS
はじめに 伝統的な学習の工夫 正規化、標準化、無相関化、白色化 正規化 標準化 無相関化 白色化 正則化 正則化 正則化 elastic net 伝統的な工夫について ニューラルネットワークの学習の工夫 バッチ正規化 ドロップアウト ノイズ混入 勾配ノイズ ニューラルネットの学習の工夫 はじめに 従来の機械学習手法では、なるべく入力と出力の関係を人手で明らかにすることで、妥当なモデルを準備してきました。更に入力データも、学習にとって重要なもののみを抽出することで、効率性を高めてきました。 一方でニューラルネットワークは入力と出力の間に複雑なモデルを仮定し、その複雑なモデルを学習により上手く調整することで回帰や分類を行います。 このような背景から、ニューラルネットを従来の手法と同じように学習させるのでは上手く行かないことが分かります。人手で抽出しなければいけなかった情報や、適切に設計しなけれ
Linuxのsarファイルをグラフ化するツールを導入してみた - masalibの日記
経緯 困った事 対応 ローカルPCにグラフ化のツールをインストール バイナリーデータをテキスト化（Ksarが読めるように） 経緯 「sar」というServerのパフォーマンスを記録してくれる プログラムがあります inuxサーバのCPUやメモリ、DISK IOなど記録してくれて 何かあった時に調べる材料としていれています 細かい事は以下のサイトを参照 http://naoberry.com/tech/sar/ vmstatとほぼ同じなのですが vmstatと違うのは過去データが見れる事です 過去が見れる事で比較し、調査がし易いのです 困った事 ただ問題は、sarが保存しているデータはバイナリー形式になっており 人間がみてもわからないのです そこでテキスト化をおこなう事で見れるようになります sar -f <ログファイル名> テキストになって見ることは可能なのですが データがズラズラ並んでい
【2017年版】ブラウザ上で使えるJavaScript開発＆実行環境Webサービスの厳選まとめ - paiza times
どうも、まさとらん（@0310lan）です。 今回は、これからJavaScriptを学習しようという人や、ちょっとしたプロトタイプを開発したい人に向けて、オススメの「オンラインコードエディタ」を厳選してご紹介しようと思います！ 選んだ基準としては…、 SSL対応のWebサービス JavaScriptの実行環境が備わっている 作成した「コード」や「作品」の公開が可能 面倒なログイン不要ですぐに使える 無料で利用できる …などの点を重視しながら、誰でも「ブラウザ」さえあれば今すぐ使えるモノをまとめてみたので、ご興味ある方はぜひ参考にしてみてください！ ■Webページとしても公開できる実用的なエディタ！ 【 PLAYCODE 】 「PLAYCODE」は、まだ新しいサービスですが、JavaScriptプログラミングの学習はもちろんのこと、ちょっとしたプロトタイプの開発に最適なコードエディタと言える
GCCの実験的なfilesystemを使う方法
C++17には<filesystem>が追加される。GCCは実験的な実装として<experimental/filesystem>を実装している。 これを使えば、例えば以下のようにディレクトリを列挙できる。 #include <experimental/filesystem> namespace fs = std::experimental::filesystem ; int main() { fs::directory_iterator iter("/usr/bin"), end ; std::copy( iter, end, std::ostream_iterator<fs::path>(std::cout, "\n") ) ; } GCCのfilesystemは、実験的な実装であるので、ヘッダーファイルが<experimental/filesystem>であることに加え、デフォルトでは
RTX2080に必要な電源。消費電力をGTX1080、GTX980Ti、GTX970と比較する。 – ツカツカCAMP
2015年末のホリデーシーズンへ向け、 グラフィックボードをGTX980Tiに交換したのは、遠い昔の話。 →MSI GTX 980TI GAMING 6G レビュー。取り付け方法と注意点。 2016年5月には、GTX1000番台となるGTX1080が登場し、 2018年9月には、GTXからRTXとなりRTX2080が登場。 恒例の電力を比較したいと思います。 RTX2080は、最高レベルのスペックって事で消費電力は大きくなる。 どれくらいの電源が必要なのか？ 私のコルセアRM550の電源で足りるのか？ 前のグラボGTX970の時と同様の方法、 消費電力チェッカーで計測してみたいと思います。 サンワダイレクト ワットモニター 電気代 消費電力 簡易計測 700-TAP017 GTX660も余ってたので、ついでに再計測して比べてみました。
MacとEmacsのPython開発環境について調べてみた - Umi Uyuraのブログ
Python使えると年収が高くなるかもしれないので、触っておくことにしました。 プログラマー年収ランキング2016！言語別、第1位はPythonの651万円 | みんなのスタンバイ というわけで、まずはMac上に開発環境を整えることに。 Pythonバージョン管理 Macは標準でPythonがインストールされているものの、そのバージョンは2.7系。（El Capitanでは2.7.11が入っていました） メジャーバージョンは今の時点で3.5まで上がっているものの、どうやら2.7系もまだまだ現役なようなので、用途に応じて切り替えられるように、バージョン管理ツールを導入しておくことに。 NodeやRubyなどのバージョン管理にanyenvを使っているので、その流れでpyenvを使います。 $ anyenv install pyenv $ exec $SHELL -l $ pyenv insta
1 単純な字句解析をJavaで実装する - Qiita
はじめに コンパイラ実装の処理過程に字句解析があります。 その字句解析のごくごく原始的なものをJavaで実装してみたいとおもいます。 去る2017年1月28日に開催されたコンパイラ勉強会に刺激をうけて書きました。 当の勉強会の発表内容の高度さには遠く及ばずそのような知識もありませんが、 コンパイラ実装のHello, World!的な記事もあったら楽しいかもとおもい書きました。 字句解析でやりたいこと 実装にあたり、まずはやりたいことを確認しましょう。 字句解析はプログラムになっている文字列を、字句またはトークンとよばれるものへ分解します。 例を見ながら説明します。 足し算の結果を変数へ代入する、プログラムになっている文字列があります。 この文字列をans1と=、10、+、20の５つへ分解するのが、字句解析の目的です。 分解した文字列は字句あるいはトークンと呼びます。 またこの５つのトークン
KAYAC & ペパボ合同勉強会の開催報告 - Pepabo Tech Portal
チーフエンジニアの @hsbt です。 1/26(木)に面白法人で有名な株式会社 KAYAC と社内勉強会を合同開催したので、当日の発表内容をご紹介します。 今回の勉強会では KAYAC とペパボのそれぞれから 3 名のエンジニアが発表を担当し、お互いの担当しているサービスや最近取り組んだ技術トピックなどを発表形式で紹介しました。 Deploy to Lobi トップバッターは KAYAC の @handlename さんです。Lobi というサービスの成長と、それに伴って変化してきたデプロイの仕組みについての発表でした。特に定時外にデプロイしようとすると警告を行う bot や、デプロイの履歴を Google カレンダーに保存する仕組みはペパボでもすぐに採用したいと感じました。 ngx_mruby で nginx のメールモジュールを開発している話 続いてペパボの @hfm が ngx_m
モニタリングサービス（Mackerel、Datadog、New Relic）入門！ - Qiita
はじめに モニタリングサービスMackerel、DataDog、NewRelicについて簡単にまとめてみました。 サーバのリソース監視、ログ、プロセス監視ができれば良かったので、今回はAWSインテグレーション機能などについてはあっさりとしか触れてません。 どのサービスも、監視対象のサーバーを用意した状態で、15分あれば無料でサーバのリソースがモニタリングできるところまでいけます（そしてクレジットカードなどの登録は不要）ので、是非はじめてみてはどうでしょうか。 サービスの紹介 Mackerel（マカレル） 「株式会社はてな」が提供しているサーバ管理・監視ツール 監視/メトリクス デフォルトで様々なメトリクスが取得されており、閾値を設定して監視することができる。（CPU,Network,Disk,Memory） プロセスやログ監視などはサーバー上の設定ファイルに設定を追加することでとても簡単に
Chainerのtrainerを使ってCIFAR-10の分類に挑戦したかった - Qiita
はじめに 先日こちらの記事からChainerがすごく簡潔に書けるようになったと知り、前から試してみたかったCIFAR-10の画像分類に挑戦してみました ...と、書きたかったのですが、貧弱CPU環境しか持っていないので、実行確認までできていません 1日中動かして2epochくらい進んだのでおそらく正しい...はず^^; 実装に関してはこちらのブログを参考にさせていただきました 実装 CIFAR-10の画像を読み込んでくる ここからCIFAR-10のデータをダウンロードして読み込みます。pickleのようなので下記の関数で読み込みます。 def unpickle(file): fp = open(file, 'rb') if sys.version_info.major == 2: data = pickle.load(fp) elif sys.version_info.major == 3
[Python] argparseモジュールを使って、コマンドライン引数を本格的に扱う - YoheiM .NET
こんにちは、@yoheiMuneです。 以前に[Python] コマンドライン引数を扱うでsys.argvを使ったコマンドライン引数の扱い方を書きましたが、今回はargparseモジュールを使ってもっと本格的に扱う方法をブログに書きたいと思います。 目次 argparseモジュールを導入する argparseモジュールは最初から入っているモジュールなので、pipなどでのインストールは不要です。以下のインポートを行います。 import argparse これで利用できるようになりました。 早速一番簡単な例で使ってみましょう。argparseモジュールは以下のように利用します。 # argparser_sample.py # 引数パーサーの起動 parser = argparse.ArgumentParser() parser.parse_args() これでargparseが使えるようにな
![[Python] argparseモジュールを使って、コマンドライン引数を本格的に扱う - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/ead8d72977dd6a6d3a78b0934e9c160eaf827bbf/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F421.jpg)
chainerによるディープラーニングでAV女優の類似画像検索サービスをつくったノウハウを公開する - Qiita
環境 PC: MacBook Air CPU: 1.4 GHz Intel Core i5 メモリ: 4GB ふつうのMacBook Airでやったのですが、学習遅いし、メモリ不足で落ちるしでやっぱり辛かったです。 おおまかな流れ 各女優の画像を収集する。 dlibで顔画像を切り取って96×96の大きさにリサイズする。 1人につき1000枚の画像になるようデータ拡張する。 データをnumpyファイルに変換する。 chainerで顔画像を学習する。 学習したモデルから任意の画像の予測をする。 1. 画像を収集する ここは詳しくは書けないので以下の記事を参考にしてください。 Python: BeautifulSoup4 を使って Web サイトをスクレイピングする PythonとBeautiful Soupでスクレイピング 取得した画像は女優ごとにディレクトリを分けて保存します。 ./fold
Fully Convolutional Networks 〜 Chainerによる実装 〜
in English はじめに 先のページで Chainer を用いてシーン認識を行った。今回は、簡略化した Fully Convolutional Networks（FCN） を Chainer を使って実装してみる。（ここに追記した。) 計算機環境 これまでと同じく、Amazon EC2 にある g2.2xlarge を利用した。GPU を搭載したインスタンスである。 データセット 今回使うデータセットは VOC2012 である。以下のような領域分割用の教師データも含まれている。 領域分割の教師データの数は2913枚、これを4:1に分割し、前者を訓練データ、後者をテストデータとした。 number of train number of test 2330 580 訓練データ数は10で、テストデータ数は5で割り切れるように端数を切り捨てた（それぞれ訓練時のミニバッチサイズである）。文献の
Chainerのcleargradsと旧zerograds - studylog/北の雲
1.15.0よりzerogradsが非推奨になりcleargradsというものが導入されたらしい。 github.com 0埋めはメモリいっぱい使うし意味が無いからNone埋めにする！みたいな感じ。 変更されたコードはこちら。上がclearで下がzero。 def cleargrad(self): """Clears the gradient array.""" self._grad = None def zerograd(self): """Initializes the gradient array by zeros. .. deprecated:: v1.15 Use :meth:`cleargrad` instead. """ warnings.warn( 'Variable.zerograd is deprecated. Use Variable.cleargard instea
強化学習@PyData.Tokyo
PyData.Tokyo Meetup #12 での強化学習に関する講演スライドです． https://pydatatokyo.connpass.com/event/48563/Read less
とりあえずFUSE-pythonを使ってみる - suu-g's diary
FUSE-pythonを使ってみてる、が情報が少な過ぎる。公式情報はプログラムが載っているだけだし、何をすればいいのやら。 と思いつつ調べてたら、なんかのはずみでこんなページを発掘。 http://blog.koshigoe.jp/archives/2007/04/fuse.html FUSEを使って小さなFSを実装してみた実例。なるほどね、要するにオーバーライドしてしまえばいいんだ。 ファイルに対する保存、読み出し、情報取得等の各種操作全てのコントロールがユーザランドに戻ってくるので、それぞれのシステムコールに対応するメソッドを自分の望む形に実装すればいいわけだ。 さいわいgoogleでmanpage検索すればシステムコールの意味を日本語で知ることが出来る（いやman読めよ）から、あとはその対応を考えるだけ。楽々。 楽々とは言ったものの、ここからが本当の地獄だという話もあって、恐らくはそ
カバレッジ率計測サービスをCoverallsからCodeClimateに乗り換えてみた話
Gemのバージョンチェック 既にcloseされたサービスです※ Publicなレポジトリであれば全て無料で使えます 【図】SaaSの利用により表示できるようになるバッジ群 Coveralls → CodeClimate今回その内の１つであるCoverallsをCodeClimateに移行してみたのですが、そのきっかけとしてはCircleCIでCodeClimateとのインテグレーションが推奨されていたから。 Travis CI: Using Code Climate with Travis CI コード品質とカバレッジ率は分散するよりも１つのサービスに集約されて閲覧できたほうが都合がよいし、TravisCIの勧めるCodeClimateに統合してみることとした。 手順Set Code Climate tokenCodeClimateのSettingsからテスト実行時のTokenがゲットでき
動画紹介: 確率的ニューラルネットワークについて - 午睡二時四十分
昨年末VAEの勉強をしているときに、以下のようなことがわからなくて時間を喰っていた。 なんで確率的に毎回出力の異なるモデルが必要になるのか reparameterization trickがなぜ必要になるのか いろんな人に質問したり、関連サイトを読み漁ってなんとかなったのだが、 PFN得居さんのPyCON2016の講演動画ががとてもわかりやすいので、VAEみたいな確率的NNを 触る前に見ることをお勧め。 5_05 [招待講演 / Invited Talk] 確率的ニューラルネットの学習と Chainer による実装 以下、講演内容前半のメモ。 確率的NNとは何か 出力までの過程に確率分布からのサンプリングが含まれており、そのサンプリングの結果によって出力が変動するような ニューラルネットワークのこと 確率的NNをなぜ使うのか 分類問題などでは、出力として決定的な結果がほしいが、問題によって
OpenCVで物体検出器を作成① 基礎知識【開発会社プロフェッサ】
OpenCVで物体検出器を作成する① ～基礎知識～ こんにちは。新入社員のザキヤマです。最近は気温が上がってきて、夜も寝苦しくなってきましたね。。冬が待ち遠しいです！！ いきなりですが、OpenCVや物体検出の初心者向けに、 「OpenCVでカスケード分類器を作る際に、知っていると便利かもしれない基礎知識からカスケード分類器作成まで」を全7回に分けて簡単に説明していきます。 それでは、第1回目です。今回はOpenCVの物体検出について導入知識をサクッと説明します。 OpenCVで物体検出器を作成するシリーズ、記事一覧はこちら！ OpenCVで物体検出？ OpenCVとは、有名な画像処理のライブラリです。その機能の一つに物体検出があります。 顔・眼・鼻・口・上半身などの検出器が用意されていますが、自分でカスケード分類器を作成すれば、好きな物体を検出させることができますよ！！ カスケード分類器
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンス・チートシート(Python) - Qiita
deep-learning-study/doc/chainer_basic.md at master · dsanno/deep-learning-study
Chainerのソースを解析。順伝播と逆伝播の仕組み | コード７区
Travis CI、Coveralls、Code Climate、RubyGems、Gemnasium、deppbotと連携させよう！ 
値渡しと参照渡しと参照の値渡しと - Qiita