こんにちは、 sugitak です。今年は省エネモードで活動中なので、普通の1エントリになります。 前置き Prometheus の監視対象は Exporter と呼ばれています。 Exporter は /metrics にて Prometheus 形式でデータを公開するようになっています。そして Exporter は各種ライブラリを使って 簡単に 実装できます。…って。 いうじゃない？ Golang のライブラリを使った例 // A minimal example of how to include Prometheus instrumentation. package main import ( "flag" "log" "net/http" "github.com/prometheus/client_golang/prometheus/promhttp" ) var addr = f

loggingによるログ出力でtracebackの表示が欲しいときにはstac_info,exc_infoを使うと便利Python はじめに loggingのloggerを使ってログ出力をする際に、発生した場所を把握するために位置情報も一緒に出力したい時がある。有り体に言えば、tracebackが欲しい。 このtracebackをログに含める時にどうすると良いかという話。 愚直な方法 もちろん自分でtracebackをログに付加してあげれば良いという話もある。以下のように。 import logging import traceback logger = logging.getLogger("sample") def foo(): bar() def bar(): logger.info("bar") logger.info("tb: %s", "".join(traceback.form

気軽にPythonのライブラリを使いたい 面白そうなライブラリ（パッケージ）を見つけたから試したいけど、グローバルのpip汚すのはちょっと……という時にオススメな方法。 好きなディレクトリにpipパッケージをインストールする方法です。 python2.7とpython3.6（両方ともpip 19.0.1）で動作確認済み pip install の -t オプション pip install <パッケージ名> -t <ディレクトリ> -t オプションでパッケージをインストールするディレクトリを指定できる。 例：Beautiful Soupをカレントディレクトリにインストールする場合

なんだかんだと時間がかかったので、自分用のメモも兼ねて。 GCP上のインスタンスで、GCS (Google Cloud Storage)のバケット内データを読み書きするpythonコードです。 pythonコードは Anacondaの jupyter notebookで実行しています。 前準備：インストール まず google cloud をインストール $ pip install google-cloud $ pip install google-cloud-storage　(2019/01/30修正) データの読み出し

※こちらの記事は、プロスタ編集部が現在大変人気の高いPythonの文法記事を公開することで、皆様の学習にお役に立ちたい意図で投稿しております。 参考サイト：【Python入門】Pythonにおけるclassの使い方とは? Pythonはオブジェクト指向プログラミングをサポートしている言語です。そのためにはクラスを定義、作成することが必要です。Pythonのクラス定義は他の言語と比べると簡単に行えるようになっています。 今回は、Pythonにおける基本的なクラスの扱いについて説明します。 クラスの定義 Pythonではクラスの定義にclass文を使用します。class文を使った定義の仕方は以下のようになります。

注意 この記事は、実運用したことのない、Kubernetes初心者が調べた結果に基づき作成しています。 間違い・誤解などありましたら、コメントや編集リクエストでご連絡ください。 TL;DR / 結論から先に言うと コンテナをクラウドでそのまま動かそうとすると困る n台動かしたいコンテナが、今クラウド全体で何台動いているのかとか デプロイするときに、コンテナを立ち上げたり落としたりする順番・タイミングとか コンテナに割り当てるロードバランサ、ストレージなどの作成とか 他にもいろいろ Kubernetesはクラウド全体のコンテナ周りを一元管理してくれるので便利 どの環境で、どんなコンテナがどれだけ動いているかとか、把握してくれるので便利 コンテナ周りをどんな構成にしたいか、yml形式で書いてkubectlコマンドで渡す 運用者の指示した形になるように、コンテナ周りを一元的に操作してくれるので便

はじめに 本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン（あるべき/ありたい姿）を明確にしてから始まる データ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません（必要なデータが集められない等）が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明

TL;DR OpenCensus(Stats)でStackdriver monitoringにCustom Metricを送信した 概要 エラー調査の記事を書こうとしたのですが、前提とするシステムの構成要素が多いため前半と後半に分割しました。この記事はその前半部分です。 前半は、OpenCensusを利用してGCPのStackdriver Monitoringにpythonアプリケーションの測定値を収集する方法を説明します。 後半では、前半のアプリケーションをGKEに乗せたときに出た次のエラーについて原因と解決方法を記載します。 grpc._channel._Rendezvous: <_Rendezvous of RPC that terminated with: status = StatusCode.INVALID_ARGUMENT details = "One or more Tim

Docker Hub Github (syuchan1005/osx-kvm) はじめに CIでiOS Appビルドするためだけにmac起動してたり，XamarinでStoryboardいじるためだけにmac起動しているのが嫌になったのでdocker上で動かせばいいじゃないと思った次第 インストールのISOを作るためにmacは必要です。悪しからず 構築 とりあえずKVM上でmacOSを動かす試みをしているOSX-KVM - Githubを利用する。 READMEの手順に従うとaptを使うしかないのでdockerのベースイメージはubuntu:bionicを利用する。 2018/08/30追記 Alpine linux化しました。 イメージサイズが1.6GBから25MBになりました。(gzip時 上記踏まえDockerfileを記述する FROM alpine:edge MAINTAINER

シェルスクリプトは、Unix 系環境で仕事をするエンジニアなら誰もが一度は書くであろうにもかかわらず、書き方や特性を熟知している人が少ない言語です。この記事は、シェルスクリプトを書くときに罠を踏まないようにするために最低限あなたが気を付けるべき tips 集です。「たかがシェルスクリプト」とは思わないでください。生半可に書かれたシェルスクリプトはあなたの (チームの) 生産性をかえって低下させます。 Shebang に bash を明示しろ Bash でしか使えない機能のことを俗に Bashism と言います。Bashism はもちろん Bash 以外のシェルでは動きません。これに関するありがちな罠は、以下のように発生します。 Bash が /bin/sh として使われている環境でシェルスクリプトを書く。うっかり Bashism がシェルスクリプトに含まれていても、 /bin/sh は何も

概要 Stackdriverを使用してGCE(Google Compute Engine)へ基本的な監視設定を行う手順を説明していきます。 Stackdriverの公式ドキュメントがかなり難解なため、Stackdriverの前提知識が薄い方も理解できる内容で記載していきたいと思います。 なお、本記事はDebian系 or RHEL系のLinuxが稼働しているGCEを想定して記載しております。 今回は基本的な監視設定の解説となりますが、Stackdriverはより応用的な活用をすることでクラウドネイティブな監視ツールとしての威力を発揮します。 目次 1. Stackdriverとは 2. Stackdriverの監視方針 3. Stackdriverの起動方法 3-1. Stackdriver Monitoringの起動方法 3-2. Stackdriver Loggingの起動方法 4.

いまのgrafanaは自前でWebサーバ機能を持っていて、デフォルトでPort3000でListenしてます。これをApacheの下で動かすにはリバースプロキシを使うわけですが、2017年1月現在、公式のドキュメント ではnginxを使った場合の手順しか書いてません。ということで、Apacheでの手順を書いてみることにします。なお環境はUbuntu14.04LTSです。 Apache側設定 proxy_module、proxy_httpモジュールを有効化する 私の環境では、これらのモジュールの情報はmods-available内にあったので、シンボリックリンクをmods-enableに作成しました。 cd /etc/apache2/mods-enabled ln -s ../mods-available/proxy.load proxy.load ln -s ../mods-availab

早いもので入社してから8ヶ月が経過し、2017年が終わりに近づいています。 LIFULL新卒エンジニアの@poyonexです。 まだまだ未熟者ながら日々開発しています。 はじめに 本記事はLIFULL Advent Calenderその2の14日目の記事となります。 「BigQueryを使ってみたいけどどうやって試せば...」という人の助けになれば幸いです。 なお、同カレンダー13日目の記事の裏方を担っているのはBigQueryとGASの連携によるものだったりします。 BigQueryとは そもそもBigQueryとは何なのか、について触れたいと思います。 Google公式によると、以下のように書かれています。 Google BigQuery は、こうした問題を解決するために Google のインフラストラクチャの処理力を使用して SQL クエリを超高速で実行する、エンタープライズ データ

Linuxでcoreutils が利用可能なら、timeout コマンドを使いましょう。なお、Mac であれば brew install coreutils して gtimeout が使えます。 timeout Usage: timeout [OPTION] NUMBER[SUFFIX] COMMAND [ARG]... or: timeout [OPTION] man には以下のように書かれています。デフォルトの挙動が使いやすそうです。 コマンドがタイムアウトし、--preserve-status が指定されていない場合、 終了ステータスは 124 になります。それ以外の場合、COMMAND の終了ステータスが 終了ステータスになります。シグナルが指定されていない場合、タイムアウト時には TERM シグナルが送られます。この TERM シグナルにより、TERM シグナルをブロック もしく

概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe

追記: ymko さんが 、より汎用性の高い方法を【 プロセスが使ったメモリー量を調べる 】で紹介してくれています。perl 環境に限定されない、より優れた手法です。 本記事は Memory::Usage の使い方 のところを参照していただければ良いと思います。 perl スクリプトがどのくらいメモリを使用するか、をざっくり調べるには

はじめに HyperappでもJSXが使えるらしいです。READMEを読むと"@babel/plugin-transform-react-jsx"をインストールして、.babelrcに以下を記述するように書いてあります。 { "plugins": [["@babel/plugin-transform-react-jsx", { "pragma": "h" }]] } <!DOCTYPE html> <html> <head> <script src="https://cdnjs.cloudflare.com/ajax/libs/require.js/2.2.0/require.min.js"></script> <script type="text/babel" id="script"> define('main', ['hyperapp'], ({h, app}) => () => {

概要 Datadogのトライアルで試した各種設定方法をメモとして残したいと思います なお、以下の各種設定をすぐに試せるように後述のソース（cloud-config）を用意したので、EC2のuser-dataにペーストすればすぐに試せるようになっています。起動するインスタンスを複数台にすることでコンテナ群として監視できるようになるので、是非お試しください 前提条件 以下の内容はAWSのリソースを監視する各種設定になります サンプルソース サンプルソースでは以下のDatadog設定やサンプルアプリが含まれている APMを試すためのDockerコンテナで作られたNode.jsアプリ（WEB、APP、DBの3層構成） dockerコンテナの監視を有効 ec2タグを取得するを有効 ログファイルの取得を有効（nginxのアクセスログ収集） プロセスの取得を有効 APMの有効 ※使用する前にコード内の<

Overview Unix/Linux系システムのアカウントを外部アプリケーションと連携させる時に各ディストリビューションでユーザ名やグループ名の制限(limitation)がどうなっているか気になったので調べてみた ユーザ名の制限 ユーザ名長 Linux系ではlibcのバージョンによって変わってくる。libc5が使われている古いシステムとlibc6では制限が違う。また古いSolaris(8,9,10系)では8byte以上のユーザ名を作ろうとすると警告が表示され、ps系コマンドでユーザ名が暗黙的にtruncateされたりするなどユーザ名を使用するアプリケーションの挙動が変わってくる。 hard limit 種類 長さ

Ansible 1.5 が 2014/2/28 にリリースされました。 Ansible 1.5 Released 今回の目玉機能が Ansible Vault です。Git などにそのまま登録したくないパスワードやAWSなどのAPIキーなどを暗号化することができます。 ansible-vault コマンドが追加されました。 2015/5/12 追記 Ansible 1.8 で view サブコマンドが追加されています。 (その後 1.8.3 で view のためのテンポラリファイルの権限問題が修正されているので最新版を使いましょう) それでは試してみます。 テスト用 Playbook の作成 ひとまず、暗号なしでテスト用 Playbook を作成します。