ターミナル下部にジョブの実行状況を表示 - blog
（最初python側でsleepさせてたんですが、この環境だとうまく動かないらしい) screenのhardstatusで表示させます。 screenのbacktickはコマンドの実行結果を取得することができるので、 ジョブ状況を取得するスクリプト書いてbacktickで読みます。 某環境向けジョブ状況取得スクリプト(使い回しのコピペ作成です) ~/.screen/llqmonitor.pyとでも保存してください usernameは自分のものに書き換えること。 #!/usr/bin/env python import subprocess username = "your username" qstat = subprocess.Popen(['llq'],stdout=subprocess.PIPE) grep = subprocess.Popen(['grep',username],
私的Chainer入門 - Qiita
2015年から2016年にかけて流行した言葉の一つに「人工知能」があるワケだけれど、「よく知らないので使えません」なんてことを言ってる場合でもないので、仕事とは関係なくChainerの勉強を始めてみようと思う。 業務などで判別機が必要なシーンでは、SVMとかRandomForestとかを使っていたのだけれど、これから、いつもどおりにSVMで判別機を書いた時にされるであろう質問もなんとなく予想されるし(「それってDeep Learningしたらどうなるの？」→「どうもなりません」って回答だけで済ませたい)、なんだかんだで流行語には敏感な姿勢をアピールしておきたい(謎)。 というワケで、参考文献： - Chainer – A flexible framework of neural networks chainerのインストール http://docs.chainer.org/en/stabl
Jenkins + GitBook で GitHub のドキュメント(PDF)のパブリッシュを自動化しよう - Qiita
はじめに 「AWS で CI 環境を構築」シリーズの第二弾です。 今回は Jenkins で GitHub のドキュメントを GitBook で PDF 化して、GitHub のリリースにアップロードすることで、ドキュメントのパブリッシュを自動化します。 準備 GitHub - Jenkins 連携 以下で、GitHub のイベントをトリガーに、Jenkins サーバにソースが展開されるようにしておきます。 「Jenkins で GitHub のイベントを受けてゴニョゴニョする準備」 http://qiita.com/exabugs/items/cc2c6f59da98cd81a06f API トークン 作成 リリースの作成と成果物のアップロードで GitHub API を使用します。 そのため、Settings - Personal access tokens で API トークン を作
フーリエ解析の基本 - HELLO CYBERNETICS
はじめに フーリエ解析とは フーリエ級数展開 フーリエ変換 フーリエ解析の心 フーリエ級数展開を考える理由 微分が簡単になる 微分方程式への応用 線形システム論 フーリエ解析の応用 線形システム解析 信号処理 制御工学 スペクトル解析 パワースペクトル 発展トピック はじめに フーリエ解析とは フーリエ解析は現代科学での重要な解析手法になっており、その基本はフーリエ級数展開やフーリエ積分（フーリエ変換）などに基づいています。この2つに関してはフーリエ級数展開がまず研究され、その後発展形としてフーリエ変換が導出されることとなりました。 フーリエ級数展開とフーリエ積分の数学的な性質には当前差異がありますが（この差異によって数学的には興味深い研究が進みました）、元々どういう理由で生まれてきたのかという人間の要望に関しては共通する部分があります。 まずは是非フーリエ級数展開を用いようという心を理解
[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo
インストールされているライブラリ 今後、他のライブラリのインストールやバージョンアップなどをしていくつもりですが、現状以下のライブラリがインストールされています。 tensorflow 0.12.0chainer 1.19.0scikit-learn 0.18.1gensim 0.13.4word2vec 0.9.1numpy 1.11.3pandas 0.19.2jupyter 4.2.1matplotlib 1.5.3mecab latestjuman++ 7.01 もちろん、上記の依存ライブラリやmecab・juman++用のPythonバインディングもインストールされています。 ちなみにOSはUbuntu 16.04です。 使い方 Pullとコンテナにログイン やり方は以下のコマンドのとおりです。jupyter notebookのパスワードもsudoのパスワードも”ml”になってい
![[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a555efc08e2297c4691697aa97868815f023c63/height=288;version=1;width=512/https%3A%2F%2Fzuqqhi2.com%2Fwp-content%2Fuploads%2F2017%2F01%2F20170106_docker_memo4.png)
Goでのstreamの扱い方を学ぶ - Carpe Diem
概要 結論から言うと、Streamで扱っているものはStreamのまま扱うです。 具体的にはio.Readerを毎回ioutil.ReadAllで[]byteに変換せずにそのまま使いましょうです。 なぜStreamを使うべきか Node.jsの例ですが、こちらで非常に分かりやすく説明されています。 yosuke-furukawa.hatenablog.com それを踏まえて考えてみると、Goの場合以下の２つが大きいと思います。 1. メモリの効率化 ioutil.ReadAllなどで一旦全て[]byteに変換すると、その分メモリを消費しますし、アロケーションやGCに依る速度低下が起きます。 一方io.Readerやio.Writerは各chunkの処理に同じバイトを使いまわすので、メモリの効率が良いです。 2. 標準パッケージの多くがio.Readerをサポートしてる io.Reader、
機械学習モデルの予測結果を説明するための力が欲しいか...？ - クソして寝ろ
はじめに 最近はAIや機械学習などの単語がビジネスで流行っていて、世はAI時代を迎えている。QiitaやTwitterを眺めているとその影響を受けて、世の多くのエンジニアがAIの勉強を始め出しているように見受けられる。 さらに、近年では機械学習のライブラリも充実しており、誰でも機械学習を実装することができる良い時代になってきた。 その一方で、特徴選択を行い精度を向上させたり、機械学習の出した答えがどの特徴に基づいて判断されたのかを理解したりするには、モデルに対する理解やテクニックが必要となる場合も多々ある。複雑なモデルになると人間には解釈が困難で説明が難しい。近頃流行りのDeep Learning系のモデルだと頻繁に「なんかよくわからないけどうまくいきました」となっていると思う。 一般的なエンジニアとしては、この点が割と課題なんじゃないかと勝手に思っている。というか、私が課題に感じている。
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
Enterprise Container Platform | Docker
Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers
Dockerコンテナを直接OpenvSwitchに接続するには(lxcドライバ使用) - Qiita
dockerのドライバをlxcに変更 dockerサービスを一旦止めて service docker.io stop 再起動(lxcドライバ指定) docker -d -e lxc 端末一個取られるのでscreenとか使っとくべき OpenvSwitchでブリッジ作成 ovs-vsctl add-br ovs-br0 これだけでOK ポートとかはコンテナが起動した時に作成する Dockerコンテナ起動 起動コマンド docker run -i -t \ --net=none \ --lxc-conf='lxc.network.type=veth' \ --lxc-conf='lxc.network.ipv4=192.168.111.50' \ --lxc-conf='lxc.network.flags=up' \ --lxc-conf='lxc.network.name=eth0' \ -
IntelliJ CE + Delve で Go 言語のデバッグ環境構築(Mac) - Qiita
注意 golang 用 IDE の GoLand が正式リリースされ、下記の手順は無効となりました（プラグインが無償提供されなくなった模様）。 概要 無償提供されている IntelliJ Community Edition と Delve で golang のデバッグ環境を macOS 上に構築します。 IntelliJ Community Edition インストール IntelliJ Community Edition をダウンロードしてインストールする。 Go プラグインインストール IntelliJ -> Preference -> Plugins -> Browse repositories で Go を検索して Go のプラグインをインストールする。 Delve インストール Homebrew でインストールする。 brew install go-delve/delve/del
C++アプリをCmakeとEclipseで開発するお話
C++のかな漢字変換「Genji」をCmakeとEclipseで開発していますというお話です。Read less
機械学習論文読みメモ_23 - Qiita
A Random Matrix Approach to Recurrent Neural Networks, ICML2016 RNN、特に線形なRNNは様々なconfigurationにおける性能分析を通して、その質的洞察を得てきた。 対して本論では新たなランダム行列に基づく、特にecho-state netowrk(ECN)に基づいて量的洞察を与える。 ECNはreserviorと呼ばれる、ランダムに作成されその後固定して使われる接続行列（connectivity matrix)を用いてネットワークを構築する。 このECNは過剰適合のリスクを低減する事が出来るが、短期的な記憶能力しか持てない。 ECNの解析は行列が固定される事より難しくはなく、すでに様々な質的な洞察が得られており、特に作用素ノルムとスペクトル半径が重要な意味を持つ事がわかっている。 しかしより詳細な量的洞察はまだ得られ
Raspberry Pi 深層学習で「赤りんご」と「青りんご」を見分ける（Keras・Open CV） - Qiita
「赤りんご」と「青りんご」を見分けるだけの簡単なものですが、はじめて自分の用意した画像で深層学習をしてみました。 こんな感じ Deep Learning Apple Recognition - YouTube 「赤りんご」と「青りんご」を見分けます。 まずは「青りんご」から、確率91.4%と推測しました。 続いて「赤りんご」、確率91.1%と推測しています。 今回は推測結果が90%以上で「赤りんご」と「青りんご」を判定しています。りんごがない時に（例えば私の丸顔を写した場合）80%の推測がされた際は、判定結果が出ない様にしています。 環境 前回記事と同様です。 学習の流れ Web上から画像をダウンロードする ダウンロードした画像をNumPy配列にし、訓練データとテストデータに分ける 畳み込みニューラルネットワークで学習する OpenCVで撮影した画像をNumPy配列にし推測データとして使用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rubyによる本気のGC
GitHub - authorNari/g1gc-impl-book: 徹底解剖「G1GC」実装編
Sliding window iterator using rolling in pandas
新春 Ubuntuゆるふわコーデ大会 - Qiita
