事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか（ちょっと面倒だな）」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな（面倒くせぇ）」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン！（ちゃぶ台の音） 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに？ どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して？ ふむふむ。使ってみよう。 ということでGithubにリポジトリを作

サーバーのメモリが slab_cache で占有される サーバーのメモリが数日で slab_cache に占有されるので原因と対策を調査した。 メモリの使用状況の調査 meminfo meminfo を見ると Slab のメモリ使用量が確認できる。 SReclaimable と SUnreclaim を足すと Slab になる。 $ cat /proc/meminfo | grep "Slab\|claim" Slab: 1654520 kB SReclaimable: 1631304 kB SUnreclaim: 23216 kB slabtop slabtop コマンドをたたくと top コマンドのように Slab の内訳が表示される。 dentry が最も多いようだ。 --once は1回出力で終了するオプション。 --sort=c はキャッシュサイズ順にソートするオプション。 sl

仮想通貨取引所のPoloniexからAPI経由でデータ取得し、ディープラーニング（Chainer）で翌日の価格予測をしようPython機械学習DeepLearning人工知能Chainer はじめに みなさま、こんにちは。 株式会社キカガク代表取締役の吉崎（Twitter: @yoshizaki_kkgk）です。 久々の休日にせっかくなら面白いことをしよう！と思いついたのが、今回の記事です。 ぜひ、読者の皆様にとって、データ解析のアプローチについて、理解の深まる記事となっておりましたら幸いです。 意外にも反響が！ 前回、仮想通貨取引所のLiquiからデータをAPI経由で取得する初心者向けの記事を書きました。 前回の記事：仮想通貨取引所LiquiのAPIからPythonで情報を取得してみよう 今回この記事を書いた経緯 前回の記事に反響があったことももちろんですが、弊社で開催している「人工知能

背景 Dockerコンテナで構築した開発環境で、guardを用いて開発していたところinotifyの不足によるエラーに遭遇した。 対策はguardのgithubページにある通りだが、sysctl -pを実行するとerror: "Read-only file system" setting key "vm.swappiness"というようなエラーに遭遇する。 対応 Dockerコンテナの起動時に、--privilegedオプションをつける。 % docker run --privileged --volumes-from dev -p 35729:35729 -p 2222:22 -p 80:3000 -itd osamunmun/centos6:1.1 /usr/sbin/sshd -D

たまに検討するけど、よく忘れるのでまとめておく。ごく個人的な感想としては、Rundeck, Azkabanあたりで始めてみるのがいいかもと思う。 要件 重複実行の防止 ジョブの実行結果、かかった時間、ログ出力などが見れる 失敗時の通知 候補 OSS系 Rundeck http://rundeck.org/ Java Runtimeで動く RUNDECK PROという有料サービスもある http://simplifyops.com/ 参考: http://heartbeats.jp/hbblog/2015/01/rundeck.html Oozie http://oozie.apache.org/ Workflow Scheduler for Hadoop Java http://oozie.apache.org/docs/4.1.0/DG_Overview.html Webコンソールもある

帳票といえばPDFとして生成するのが一般的でしょうか? でも、2015年の今、あえてHTMLで描くのがホットです(個人的に)。ミリ単位で設定された高度な帳票も、CSSを駆使して簡単に作ることができます。業務システムでもモダンブラウザを選択することが増え、@pageなども積極的に使えるようになったこと、SPA(Single Page Application)の台頭、いろいろと条件が揃ってきました。 書いてたら結構長くなっちゃったので、さくっとコードだけ見たい方は、Paper CSSリポジトリをどうぞ。 はじめに HTML帳票のメリット 2015年現在、HTML帳票を選択する幾つかのメリットがあります。 ライブリロードで、リアルタイムなスタイル調整 バックエンドではなくフロントエンドで生成できる 前者は、gulpやGruntの普及で、CSSにしろHTMLにしろ、リアルタイムにプレビューできる環

helm、便利ですよね。あまりに便利なのでちょくちょく自分でオリジナルのhelmコマンドを作りたくなるのですが、引数に何を渡せばよいかすぐ忘れてしまう上にあまりまとまった情報が無かったのでメモしておきます。 基本 helmコマンドで表示する候補やキーマップをカスタマイズするには、必要な情報をプロパティリスト(:keyword1 value1 :keyword2 value2 ....)形式で渡します。(プロパティリストではなく通常の引数を渡す形式もありますが、わかりづらいので割愛) 例：単純な文字列の候補から選択する (helm :sources '((name . "Helm Sample") (candidates . ("AAA" "BBB" "CCC")) (action . kill-new)))

Emacs Lispでファイルを文字列として読み込んで加工ー、なんてことがしたいとする。 「Emacs ファイル 読み込み」でぐぐると GNU Emacs Lispリファレンスマニュアル: ファイル - 24.3 ファイルの読み込み が出てきて、試してみると「これ、ファイルの中身が直接バッファに出てきちゃうじゃーん」と絶望することになる。 愚直 だが待ってほしい、ここはEmacsの世界だ。郷に入っては郷を従へといふ名セリフを知らないのかよ。 (with-temp-buffer (insert-file-contents "./input.txt") (buffer-substring-no-properties (point-min) (point-max))) with-temp-bufferは実にべんりなマクロで、見えないところに一時的なバッファを作ってくれる。 Current Buf

Vue.js Advent Calendar 2016　11日目 まえがき Vue.jsと描画機能とd3.jsの計算機能を合わせて折れ線グラフを描いてみます。 d3.jsで直接描画してもいいのですが、せっかくなのでVue.jsで宣言的に描けたらな、と。 デモ デモ(jsfiddle) コード メインのコンポーネント <svg :width="width" :height="height" :viewBox="viewBox"> <my-line v-for="(line,index) in lines" :x-scale="xScale" :y-scale="yScale" :parameters="line" :index="index"></my-line> <horizontal-grid v-for="y in yTicks" :x-scale="xScale" :y-scale=

◆はじめに ここでは、財務情報を取得して解析、そして投資までのSTEPを紹介します。 今後は取得した財務情報を解析するまでに道筋を追って紹介していく予定です。 最終的には、公開企業の倒産確率を求めたり、独自ファクターを用いた株価予測モデルの構築などを行い、実際に投資を行っていくところまでやるのが目標です。 関連記事： ロジスティック回帰分析のアルゴリズム導出 危ない企業がすぐわかるGC注記とは ◆まずは財務情報の取得（一般的な方法） 投資を行うにあたって、まず財務情報を取得・解析・分析を行っていきます。 ◇財務データの宝庫（EDINETとは） Wikipediaより、EDINETとは、“Electronic Disclosure for Investors’ NETwork”の略称であり、財務情報の電子情報開示システムのことをいいます。 平たくいえば、財務情報をお国が管理・公示するためのホ

とあるライブラリを使っていたらクラッシュはしないが情報の少ないエラーに遭遇して、コードを読んでも手がかりが掴めず困って、Rustのデバッグの仕方を調べました。 env_loggerでログを見る コードを読んでいたら以下のようなマクロが使われていました。 trace!(...); debug!(...); info!(...); warn!(...); error!(...); どこかに出力されていそうです。rustdoc によると、これはFacadeになっているRustのロギングの仕組みで、ロギングの実装を渡さないとすべてのログを無視するようにフォールバックされるそうです。 なので、実行ファイル側にロギングの実装を渡します。ロガーは自分で定義することも可能ですが、今回は出力を見たいだけなので rust-lang/log のenv_loggerを使います。

Twitter, GitHub, Qiita などのように root/(username) でユーザーページをルーティングするところが増えてきている. このルーティングを採用し, help などのユーザー名を許可すると, root/help が奪われてしまう. そこで, 登録時に validate で, ある程度排除するのが習わしになっていると思うが, 急に root 直下に置きたいページが増えたときなどに取得されていると悲しいことになる. また, サブドメインを利用するサービスだと, api などをうっかり取られてしまうケースが後を絶たない. http://api.hatenablog.com/ みたいに取られることによる面白みもあるが, おおむねつらい. 実際, twitter では search アカウントが取られていて, TweetDeck では twitter.com/searc

この記事の概要 日本で正式リリースされたStripeをRuby on Railsに導入し、サブスクリプション型（月額定期課金）の決済システムを組み込む方法を説明します。 私が開発している formrun（フォーム・ラン） というサービスにて、2016春頃から実際にオープンβ版のStripeを利用してきた経験をもとに、具体的なコードとともに解説していきます。 実際のコードを使ったサブスクリプション型決済の説明は例が少なく、自分も実装に非常に苦労しました。これを参考にしていただいたり、ツッコミをいただけると幸いです。 対象読者 Ruby on Railsにサブスクリプション型の決済システムを組み込みたいエンジニア Stripeで出来ること 1回限りの決済（この記事の対象外） サブスクリプション型決済（この記事の対象） クレジットカード情報の保持（不可逆トークン化） クーポンコード（割引）の発行

正確にはマイニングで必要なブロックのハッシュを求めるプログラムを書いてみる。今更自力で実装したソフトでマイニングするのは無駄&無理なので、仕組みを理解するのが目的。 Bitcoinって 参考文献参照。 マイニング(採掘)って 詳細な説明は他の記事などに委ねますが、Bitcoinの取引を記帳(承認)する行為で、 前のブロックのハッシュ値 承認する取引から計算される値(マークルルート) 任意の32ビットの数値(nonce) その他(後述) から計算できるハッシュ値の先頭から特定の数(2016年1月現在で17個)だけ0が並んでくれるようなnonceの値を探し出す行為です。世界で最初にそのブロックのnonceを見つけると、報酬として25BTC(2016年1月現在で約116万円)の新規発行コインと、記帳した取引の手数料がもらえます。 この報酬目当てに世界中の人が専用チップを積んだマシンを大量に使って

なぜかあまりやっている人を見ない、ディープラーニングを使用した株価の予想をしてみます。 ディープラーニング、Pythonともに初心者です。ライブラリ、実装方法、理論等は殆ど分かっておりません。ツッコミ等お待ちしています。 目標 数日分の株価データを使用して、翌日の日経平均株価が「上がる」か「下がる」か「変わらず」かを予想します。（分類） 概要 「上がった」か「下がった」か「変わらず」だったかの判断には翌日の終値をベースに判断。 入力データは数日前から前日までの「始値」「高値」「安値」「終値」を使用。 隠れ層は4つ。 入力として上記過去数日分の株価をぶっこんでトレーニングするだけです。 環境 TensorFlow 0.7 Ubuntu 14.04 Python 2.7 AWS EC2 micro instance 内容 準備 可能な限りの日経平均のデータを用意します。今回はYahooファイナ

概要 AWSでALB（Application Load Balancer）が 2016/8/11にリリースされたので試してみた AWS Application Load Balancer 設定方法・ELBとの違い 設定方法・ELB（Elastic Load Balancer）との違いは以下のblogなどで紹介されているので割愛します 【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました AWS Application Load Balancer がきたので試しに作ってみた 概要 出来るようになったこと パスベースルーティング：URLのパスに基いてルーティングが可能です。 複数ポートの登録：1つのインスタンスに複数ポートを登録することが可能です。 コンテナアプリケーションのサポート：ECSはタスクスケジュールので未使用のポートを使用し

CentOS 7.0ホストのDocker 1.3.2で確認。 Dockerはデフォルトでは各コンテナに10GBの(仮想)ディスクを割り当てます。 [hoge@docker ~]$ sudo docker run -it centos /bin/bash [root@8e856a8f4666 /]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/docker-8:19-134785216-8e856a8f46660e16e9ce6c1a73e937e9a7366d19bd3ac2a239324f8671642853 9.8G 260M 9.0G 3% / tmpfs 3.6G 0 3.6G 0% /dev shm 64M 0 64M 0% /dev/shm /dev/sdb3 107G 8.1G 99G 8% /et

今日はDockerのルートサイズを調整してみましょう。 デフォルトは？ 初期設定のままでは、ルートディレクトリのサイズは、10Gになっています。 # docker run -it centos:6 /bin/bash [root@43447de6ca71 /]# [root@43447de6ca71 /]# [root@43447de6ca71 /]# df -h Filesystem Size Used Avail Use% Mounted on rootfs 9.8G 254M 9.0G 3% / /dev/mapper/docker-253:0-101301287-43447de6ca71fe7bf974a1d99264765148d306bd6b612e8310bb28e0b5f7d9ed 9.8G 254M 9.0G 3% / tmpfs 914M 0 914M 0% /dev

はじめに この文書では、OAuth 2.0 + OpenID Connect サーバーをゼロから一人で実装した開発者（私）が、得られた知見について書いていきます。基本的には「実装時に考慮すべき点」を延々と述べることになります。 そのため、この文書は、「素早く OAuth 2.0 + OpenID Connect サーバーを立てる方法」を探している方が読む類のものではありません。そのような情報をお求めの方は、「Authlete を使って超高速で OAuth 2.0 & Web API サーバーを立てる」を参照してください。そちらには、「何もない状態から認可サーバーとリソースサーバーを立て、アクセストークンの発行を受けて Web API をたたいて結果を得る」という作業を、所要時間 5 ～ 10 分でおこなう方法が紹介されています。 文書のバイアスについて 私は、OAuth 2.0 + Ope

Help us understand the problem. What is going on with this article?