はてなブックマーク

Spring Retryを試してみたメモです。 Spring Retryはリトライ機能を提供するspring projectです。 springの公式に独立したprojectのドキュメントは無いようでした。 GitHubのREADMEと、spring-batchの公式を参考にしてみます。 https://github.com/spring-projects/spring-retry https://docs.spring.io/spring-batch/trunk/reference/html/retry.html 依存関係 RetryTemplate RetryPolicy BackOffPolicy RecoveryCallback RetryableExceptions AOP Configuration @Retryable @Backoff @Recover 下記のバージョンで試

fluentdでElasticsearchにNginxログを流してみたメモです。 以前、LogstashとBeatsを利用してElasticsearchにデータ投入を試したので、 fluentdでも試してみようと思います。 https://www.fluentd.org/ Nginxのアクセスログをfluentdを利用してElasticsearchに流してみます。 下記のバージョンで試してみます。 Ubuntu 16.04 td-agent 0.12.4(fluentd-0.12.40) Elasticsearch 6.1.1 Kibana 6.1.2 nginx 1.12.2 Elasticsearch Elasticsearch 6.1.1をインストールして起動します。 $ curl -L -O https://artifacts.elastic.co/downloads/elasti

SpringBootでSpring WebFluxのAnnotation-based Programming Modelを試してみたメモです。 Spring WebFlux SpringFramewark5(SpringBoot2)からSpring WebFluxが追加されます。 Spring WebFluxはリアクティブプログラミング(非同期でイベント駆動なノンブロッキングアプリケーション)のフレームワークです。23. WebFlux framework WebFluxではAnnotation-based Programming ModelとFunctional Programming Modelがあり、 Annotation-based Programming ModelはSpringMVCと同じようにアノテーションベースでプログラミングを行います。 今回はAnnotation-bas

Apache ThriftでRPCを試したメモです。 Apache ThriftでRPCを試してみました。 Apache Thrift Install boost libevent java requirements perl requirements Thrift Thrift IDL(interface description language) Thriftコンパイル Thrift Server(Java) Thrift Client(Perl) Thrift Server(Perl) Thrift Client(Java) Apache Thrift Apache ThriftはRPC(リモートプロシージャコール)のフレームワークです。 facebookが開発し、その後Apache Projectに移されたようです。 Apache Thrift - Home ThriftではIDL

Spring BootでSpringFox（Swagger）を試したメモです。 目次 SpringFox dependency API生成の対象クラス SpringFox Configuration 実行 確認 GETメソッド POSTメソッド PUTメソッド DELETEメソッド 他の設定 paths() pathMapping() apiInfo() @ApiIgnore directModelSubstitute() genericModelSubstitutes() alternateTypeRules() configクラス全体 SpringFoxでAPIドキュメントを生成してみました。 SpringFoxのドキュメントのサンプルが分かりやすいですのでこちらを参考にしました。 Springfox Reference Documentation SpringFox dependen

ElasticsearchでKuromoji Tokenizerを試してみたメモです。 前回、NGram TokenizerでN-Gramを試してみたので、 今回は形態素解析であるKuromoji Tokenizerを試してみました。 Ubuntu上でElasticsearch5.4.0で試してみます。 kuromoji kuromojiは日本語の形態素解析器です。 N-Gramでは単語をN文字ごとに分割するのに対して、 kuromojiでは辞書を利用して文章を単語に分割します。 インストール・起動 kuromoji tokenizerはデフォルトでは入っていないのでインストールする必要があります。 Japanese (kuromoji) Analysis pluginをインストールします。 Japanese (kuromoji) Analysis pluginには下記のトークナイザとフィ

Spring BootでSpring Data Redisを試したメモです。 Spring BootでSpring Data Redisを試してみました。 Spring Data Redis dependency 接続確認 各データ型 RedisTemplate ValueOperations ListOperations SetOperations HashOperations ZSetOperations Redis Client dependency Configuration Jedis Lettuce シリアライザ Configuration JdkSerializationRedisSerializer(default) StringRedisSerializer Jackson2JsonRedisSerializer Cache Abstraction(Spring Cach

let's splitの製作メモです。 let's splitを製作しました。 let's splitは40%キーボード、左右分離型、格子配列が特徴のキーボードで、 自作キーボード界ではかなりメジャーです。 完成品は販売されていないので、基本自作前提のキーボードです。 Guide to Building github.com 上記のGitHubのガイド以外に先人の方の製作記が参考になります。 主に下記を参考にして製作しました。 http://emizping.hatenablog.com/archive/category/Let%27s%20split http://riv-mk.hateblo.jp/entry/2017/03/05/164425 http://yushakobo.jp/pluis9/2017/07/lets-split-fes/ http://kumatoki.hate

LogstashとBeatsを利用してElasticsearchにデータ投入してみたメモです。 Elasticsearch単体でのデータ登録、更新、削除を試してみたので、 LogstashとFileBeatを利用してデータ投入を試してみました。 下記のチュートリアルを参照しました。 www.elastic.co LogstashとBeats LogstashとBeatsはともにelasticのプロダクトで Beatsでログやリソースなどのデータ収集を行い、 Logstashの各プラグインでデータの加工やフィルタリングを行うという役割分担のようです。 今回はUbuntu上で現時点で最新版のLogstash5.2とBeats5.2を使ってみます。 Logstash インストール LogstashのインストールもElasticsearchやKibanaと同様にファイルをダウンロードして解凍するだ

NumPyのユニバーサル関数の使い方のメモです。 NumPy NumPyは数学関数ライブラリです。 インストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 In [1]: import numpy as np ユニバーサル関数(ufunc) ユニバーサル関数(ufunc)はndarrayの各要素に対して演算した結果を戻します。 数学演算 abs 各要素の絶対値を返す。 In [10]: arr2 Out[10]: array([ 0, -1, -2, -3, -4, -5, -6, -7, -8, -9]) In [11]: np.abs(arr2) Out[11]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) sqrt 各要素の平方根を返す。 In [3]: arr Out[3]: array([0,

Spring BootでSpring Cache(Cache Abstraction)を試したメモです Spring BootでSpring Cache(Cache Abstraction)のAOPを試してみました。 Cache Abstraction Maven Dependency @EnableCaching @Cacheable @CachePut @CacheEvict @Caching @CacheConfig JSR-107(JCache) Maven Dependency @CacheResult @CachePut @CacheRemove @CacheRemoveAll Cache Abstraction Cache Abstractionはキャッシュを抽象化する仕組みです。 実際のキャッシュの実装に依存せずにキャッシュを操作するインターフェースを提供します。 下記の実

DockerfileでDockerを実行したメモです。 Dockerfile DockerはDockerfileというファイルに環境構築のコードを記述することができます。 Dockerfileを作成することで、常に同じ構成の環境を構築したり、 Dockerfileを配布することで各個人で共通の環境を構築したりすることが出来ます。 Dockerfile作成 Docker Machineを起動してログインします。 インストールなどは下記記事を参照。 pppurple.hatenablog.com viでDockerfileを作成します。 「Dockerfile」という名前で拡張子なしで作成します。 これがDockerfileのデフォルトの名前のルールになっています。 FROMでベースイメージを指定します。 MAINTAINERで作成者の情報を指定します。 #を記述するとコメントになります。 $

JavaのリフレクションAPIでメソッドの取得、メソッドの実行を試してみたメモです。 JavaのリフレクションってforName("ClassName")くらいしか使ったことなかったので、 これを機にもう少しちゃんと勉強してみようと思いました。 java.lang.reflect.Method JavaのリフレクションAPIを利用することで、メタデータにアクセスできます。 java.lang.reflect.Methodインターフェースを利用してメソッドの取得、メソッドの実行を試してみたいと思います。 テスト用クラス Mavenプロジェクトを作成し、pom.xmlはjunitとhamcrestだけdependencyに追加しました。 pom.xml <dependencies> <dependency> <groupId>org.hamcrest</groupId> <artifactId

javaのメソッド参照を試したメモです。 目次 メソッド参照 クラスメソッド参照 インスタンスメソッド参照 コンストラクタ参照 テストコード メソッド参照 java8でメソッド参照が出来るようになりました。 メソッド参照を使用するとラムダ式を書かずに直接メソッドを実行できます。 クラスメソッド参照 クラスのstaticメソッドを実行する場合は、クラスメソッド参照で実行します。 下記のstaticメソッドを用意します。 public static String printWithBrace(String str) { return "{" + str + "}"; } クラスメソッド参照の場合、クラス名にセミコロン2つをつけてメソッドを呼びます。 ラムダ式と異なり、引数は記述しません。 apply()で実行時に引数を与えます。 // ラムダ式 UnaryOperator<String> la

Spring BootでCircuit Breaker(Spring Cloud Netflix Hystrix)を試してみたメモです。 (2017/1/12 dependencyを修正) --- Spring BootでCircuit Breakerを試してみました。 マイクロサービスでAPI通信しているときに、一部で通信エラーが発生した場合に アクセスを遮断して切り離す必要があります。 その際に用いられるのがサーキットブレイカーです。 サーキットブレイカーパターンの詳しい説明はこちらにあります。 martinfowler.com Netflix Hystrixはフォールトトレランス(障害が起きてもサービスを継続する)のためのライブラリで、 サーキットブレイカーの実装が含まれています。 github.com Spring BootでSpring Cloud NetflixのHystrix

SpringでField InjectionよりConstructor Injectionが推奨される理由を調べてみたメモです。 (2016/12/30) サンプルコードにfinalをつけるように修正 (2017/03/29) Immutabilityについて追記 --- 家でも会社でもIntelliJを使って開発しているのですが、 Spring Bootで@Autowired(@Inject)を使うと下記のような警告が出るようになりました。 警告内容を見てみると、フィールドインジェクションは推奨されません、とのこと。 「Field injection is not recommended.」 警告の詳細を見てみると下記のように書いてあります。 「Field injection is not recommended. Spring Team recommends: "Always use

java8 Stream APIの終端処理についてのメモです。 前回の続きで、Stream APIの終端処理について書きました。 pppurple.hatenablog.com ストリーム生成⇒中間処理⇒終端処理の終端処理の部分です。 目次 終端処理 count min max sum average summaryStatistics findFirst findAny anyMatch allMatch noneMatch reduce(identity, accumulator) reduce(accumulator) reduce(identity, accumulator, combiner) toArray iterator spliterator forEach forEachOrdered collect(supplier, accumulator, combiner) c

OAuthを利用してはてなブックマークするための chrome extentionを作成しました。 うちの会社からはてなブックマークが禁止されています。 閲覧はできるので、どうやらはてなブックマークへのPOST送信が 禁止されているようです。 httpsで送信すればいいかなと思いましたが、うまくいきません。 はてなの公式のchrome extentionを使用してみましたが、ブックマークできません・・・ これでは何かと不便なのでブックマークできないか考えていました。 はてなブックマークAPI はてなブックマークドキュメント一覧を見てみると、 REST APIとAtomAPIが使えるようです。 はてなブックマークドキュメント一覧 - Hatena Developer Center 認証はそれぞれ、 ・REST API⇒OAuth認証 ・Atom API⇒WSSE認証またはOAuth認証 とな

CasperJSで動的なjsページを操作してキャプチャを撮りました。 以前CasperJSでクロールしてキャプチャ撮る記事をあげました。 pppurple.hatenablog.com 普通のクロールではjsで動的にページが生成されるようなページは クロールできません。 CasperJSを使うとページを操作することができるので、そういうページも ダウンロードしたりキャプチャを撮ることが出来ます。 クリック操作 例えばこんなjsパーツがあったとします。 これはクリックすると、一覧が表示されます。 クリック時 これをCasperJSで操作する場合、click()で対象のcssセレクタを指定します。 casper.start('http://xxxxxxxxxxxx/'); casper.then(function() { this.click('#search_area > a'); });

Jupyter NotebookをGitHubで公開したメモです。 作成したJupyter NotebookをGitHub上で公開してみようと思います。 GitHubではJupyter Notebookをサポートしていて、 GitHub上でレンダリングすることができます。 github.com Notebook作成 以前作成したランダム値の線形回帰のプログラムをNotebookにしてみます。 pppurple.hatenablog.com まずは、コマンドをNotebookに張り付けていきます。 最後にplt.show()すると、下記の様にグラフが別ウィンドウで表示されてしまいます。 インラインでグラフを表示するために、1行目に %matplotlib inline を記述してshift + Enterで再実行します。 すると、グラフがNotebook上で表示されました。 Markdown

pyenvを利用してAnacondaをインストールしたメモです。 Anaconda 今までpythonの機械学習系ライブラリを個別にインストールしてきましたが、 Anacondaを使用すると、pythonと機械学習で必要なライブラリを まとめて一気にインストールできます。 https://www.continuum.io/why-anaconda 機械学習系の重要なライブラリはほぼすべてインストールされます(150以上)。 NumPy,SciPy,scikit-learn,matplotlib,pandas,IPython,conda,…… など、機械学習で必要となるライブラリを一気にインストールできます。 pyenv 今回はAnaconda3をインストールしますが、同時にpython3.5がインストールされます。 CentOSにデフォルトでインストールされているpython2はそのままに

pandasのデータを結合する方法のメモです。 pandasのDataFrameとSeriesを merge関数、join関数、concat関数で結合してみました。 目次 pandas merge関数 inner join left join right join outer join 複数キーでのマージ 列名の重複 indexとのマージ 階層データのマージ join関数 concat関数 pandas pandasの説明とインストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 SeriesとDataFrameを直接名前指定で使えるようにインポートして使います。 pandasはpdという省略名で使うのが通例です。 In [1]: from pandas import Series, DataFrame In [2]: import p

twitterユーザの画像を全部ダウンロードするスクリプトを書きました。 特定のユーザのtwitterの画像を全部ダウンロードしたかったので、 プログラムを書きました。 APIキー取得 twitterのAPIを利用するには、APIキーの取得が必要です。 Twitter developersからログインして、「Create an application」から アプリケーション登録すると取得できます。 Twitter Developers twitter REST API twitterの情報を取得するにはREST APIを使用します。 かなりたくさんのAPIが揃っていて、ほとんどなんでも操作できます。 REST APIs | Twitter Developers ユーザの写真を取得するには「GET statuses/user_timeline」を使用します。 GET statuses/use

CasperJSを使ってクローリングしながらキャプチャを撮りました。 node.jsでクローラを作成していたのですが、 画面キャプチャも撮りたかったので、CasperJSを使うことにしました。 casperjs.org CasperJSはPhantomJSを利用するためのライブラリです。 PhantomJSとはコマンドラインのWebブラウザで、画面表示のないブラウザです。 PhantomJSを使うと、コマンドラインからブラウザ操作をしたり、 画面キャプチャを撮ることができます。 PhantomJSはレンダリングエンジンとしてWebkitを使用しています。 インストール CentOS7に必要な依存関係をインストールしておきます。 # yum install freetype # yum install fontconfig 次にPhantomJSとCasperJSをグローバルインストールしま