Amazon Linux に OpenLDAP サーバをインストールした際の手順をメモしておきます。 LDAP としては問題無いのですが、後述の通り、LDAPS がエラーになってしまい、動作させられませんでした…（課題） 検証環境 検証環境には AmazonLinux 2017.09 を使いました。 # cat /etc/os-release NAME="Amazon Linux AMI" VERSION="2017.09" ID="amzn" ID_LIKE="rhel fedora" VERSION_ID="2017.09" PRETTY_NAME="Amazon Linux AMI 2017.09" ANSI_COLOR="0;33" CPE_NAME="cpe:/o:amazon:linux:2017.09:ga" HOME_URL="http://aws.amazon.com/a

某株価データサイトが12月をもってデータ公開を終了するそうです。 今回はシステムトレードに使う株価データの収集について考えてみます。 1.株価データは一般公開してよいのか 株価データの公開には色々と問題が生じます。 まず、東証から購入したものを第三者に提供する場合、東証とのデータ配信契約が必要です。 次に、東証のサイトをスクレイピングしたデータを公開する場合、これは著作権法に抵触する可能性があります（というか抵触すると思います）。 東証のサイトに記載されているデータはQUICKまたはその提供元から提供されているものであり、著作権を含む一切の権利はQUICKまたはその提供元に帰属する、と謳われています。 株価データ以外の情報（サイトに記載されている図や写真など）の著作権も、東証に帰属しています。 最後に、他のデータ配信会社（証券会社やYahooファイナンスなど）から得たデータの場合、その著作

[追記] この記事の内容について訂正 この記事内、及び Speaker Deck に投稿したスライドの中で誤っていた箇所があったため、訂正致します。 「ECS Optimized AMI では ecs-agent のバージョンが固定されない」という内容ですが、そういった問題はありませんでした。 AWS の方から直接アドバイスを頂いたところ、弊社が使用していた User Data のスクリプト内で $ yum update を実行していたことが原因となっていました。 $ yum update によりインスタンスを新規に立てた際に常に最新の ecs-agent や Docker がインストールされていました。 そのため、ECS Optimized AMI によってインストールされる ecs-agent と Docker のバージョンは以下のドキュメントで提示されているバージョンが常にインストー

最近，日本のトップブロガーことイケダハヤトさんがビットコインFXにハマってらっしゃいます． ビットコインFXを知らない人のためにざっくり解説すると，『ビットコイン価格が上がるか下がるかを予想して行う取引』みたいな感じ． ふと彼のTwitterを見ていて『マジでこの人天才じゃないか』と思ったんですよね #ビットコインFX 20連敗くらい……。ちょっとやり方を変えないとだめかなー。 pic.twitter.com/5JriLZjA2a — イケダハヤト@仮想通貨 (@IHayato) 2017年11月10日 なんと，24連敗を記録したとのこと 上がるか下がるかを予想して取引を行うので，コイントスの結果で取引しても50%は勝つわけです (利益確定タイミングとかあるのでそんな単純じゃないですが) そのFX取引で24連敗って，天才以外なんと表現できるでしょうか？ 裏を返せば，イケハヤさんの逆の注文を

Excel VBAの教科書 [ 古川 順平 ] 過日、仕事場のWebアプリケーションにて、クソめんどくさい仕事をしていたときのこと。 業務内容はこうだ。 アプリの入力フォームに、〇〇〇依頼データとして、IDやら、名称やら、数量やら、その他、色々打ち込んで登録する。すなわち、入力／登録作業である。 その作業は日によって、１レコード分だけ打ち込むだけの日もあれば、50レコード以上打ち込まねばならん日もある。 俺は１年近くこれを手入力で続けていた......。ダサい！非常にダサすぎるゼ！ よって、俺はダサい俺から決別するために、アクションを起こした。 ExcelマクロVBAとWindows PowerShellの二刀流で成敗してシンゼヨウ！！ （左手の剣） ・入力用CSVファイルを自動生成（ExcelマクロVBA） ※Excelシートのテーブルから、CSV出力する。 ※文字コードはUTF-8とす

いやー、すごい。 わかったらすぐできました。 例として AWS の使用料を見える化します。 まず、AWS 側で計測をはじめるため、請求ダッシュボード -> 設定 -> 請求アラートを受け取る にチェックをつけます。 で、Grafana を公式サービスおひとり様用で作成します。 grafana.com Grafana のデータソースまで遷移して、プルダウンメニューから Cloud Watch を選びます。 一度、AWS にもどり IAM で以下のポリシーを付けた測定用のユーザーを作成、アクセスキー ID とシークレットキーを発行します。 CloudWatchLogsReadOnlyAccess CloudWatchReadOnlyAccess で、Grafana に戻り作成したアカウント情報を入れて、保存します。 ここでエラーが出る場合はポリシーの確認とかをするとよいかもです。 で、ダッシュ

mariaex というElixirのMySQLライブラリにPull Requestを送って、無事に3日前にmergeされた。初めてのOSS貢献で感慨深かったので記事に書いておこうと思う。 github.com （※@hashijun は会社用のGithubアカウント） きっかけ 今年の2月頃、業務中にとあるDBのテーブルを設計していて、業務ロジックから生まれる複雑なfieldをどう保存するか悩んでいた。関わっていたのはリリース前のとあるElixir製プロダクト。そのタイミングで保存すべきfieldを絞り込み、テーブルを設計してPull Requestを出した。schemaの中にカラム数は結構あった。 設計したテーブルをレビューしてもらったところ、「それ、まとめてJSONカラム使ったら良いんじゃない？」とベテランの同僚エンジニアから指摘を受けた。確かに、今後カジュアルにカラムを追加したり削除

フォロワーの一覧を作るのにちょっとListの使い方でハマったので、書いておく。 結局はListのappendを使って加えていけばよい。 tweepyのCursorを使って取得するが、APIのRate limitに引っかからないように　1秒のwaitをいれながら読み込ませる。 （IDを変更すれば他のアカウントのフォロー・フォロワーも取得できるのだが、これでも300でRate limitにかかってしまった。もっと、waitを広げる必要があるのだと思う。） ※2017/11/16追記 ＞Rate Limitは15分で300らしい。 ＞ということは、1分あたり20で少なくとも3秒のwaitが必要ということか？ ＞　→4秒のWaitをいれたら、300で引っかかることはなくなった。 最終的に完成したのは↓ コメントアウトのほうではフォローのリストも作成可能。 def friend(): followe

最近、Python3.6.3が使えるようになりました。 python.orgの記事です。 blog.python.org 今すぐアップデートしなければ！というほど大きなアップデートではないですが、自分の環境のアップデートを行ったので、書いてみます。 …終わった今だから言いますが、思った以上に情報が無かったです。 手順に誤りがある、もしくは、もっと簡単な方法がある場合、ご指摘いただけると幸いです。 環境 ツール バージョン OS Windows10 Professional 64bit（Surface Pro 4） Python 3.6.2 Visual Studio Code 1.18.0 アップデートにより、Pythonのバージョンを3.6.3にします。 本体のアップデート 仮想環境のバージョンを上げるには、まず本体のアップデートを行います。 www.python.org ダウンロードし

AWS上のWindows Server 2016で拡張ネットワーキングをONにして見たいと思います。 そもそも拡張ネットワーキングとは？ 拡張ネットワーキングは、高い帯域幅、1 秒あたりのパケット (PPS) の高いパフォーマンス、常に低いインスタンス間レイテンシーを実現します。拡張ネットワーキングは追加料金なしで使用できます。 Linux の拡張ネットワーキング - Amazon Elastic Compute Cloud ということです。 つまり有効にするだけで通信が早くなるというすぐれものです。 拡張ネットワーキングを有効にする手順 そもそも拡張ネットワーキングとは？ 拡張ネットワーキングを有効にする手順 環境 Intelネットワークドライバをインストールする 拡張ネットワーキングを有効にする AWSCLIの場合 PowerShellの場合 拡張ネットワーキングが有効か確認する AW

コンソールからMemcacheの中身を見るためには基本的にはtelnetを使うしかないです。 telnet での Memcache 接続方法と切断方法 以下のように接続できます。 $ telnet <host> <port> Memcache はデフォルトだと11211ポートで動いています。localhostで動いているMemcacheにポート11211で接続するには以下のようにします。 $ telnet localhost 11211 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. これで接続できましたので、後述する set や get といったコマンドを実行できます。 切断するには quit と入力します。 $ telnet localhost 11211 Trying 127.0.0.1...

最近忙しかったのでGmailを放置していたら酷いことになった。 画像は再現 こういう大量の未読メールを手作業で処理するのはこのクソ忙しい中では不可能である。 そういうわけで、自らの手を汚さず機械の手で虫けらのような未読を一掃することにした。 一掃しよう 使うのはGoogle Apps Script(GAS)。Google神がこの世に遣わした文明の利器である。 詳しくは公式のドキュメントか、丁寧に解説してくれるアフィサイトがググればたんまり出てくるのでそちらを見てほしい。 余談だが個人的にGASは愛用しており、メールを処理してSlackに投げたり、OPACを叩いて図書館で借りた本の期限管理をしたり、Twitterのbotを作ったりしている。Javascriptなので型なんかもなく無思考で書けるのが最高なのだ。 さて、端的に誰でもわかるやり方だけ書く。 とりあえずscript.google.c