インフラエンジニアだけどSparkStreamingとKafkaをつかってアクセスログを集計してみた - Qiita
インフラエンジニアっぽくNginxのアクセスログをリアルタイム集計してみる SampleがScalaが多いのでScalaで書いてみた(初Scala) なうな感じでNginx=>Fluent=>Kafka=>SparkStreaming Scala汚いのはゆるしてね 基本的にWorkCountのsampleをごにょごにょしただけ とりあえず集計してみる Sampleログ こちらを使わせてもらってLTSVのログを用意しました。 最後の行だけ魔改造してます。 puts "time:#{Time.at(now).strftime('%d/%b/%Y:%H:%M:%S %z')}\thost:#{record['host']}\tforwardedfor:#{record['host']}\treq:#{record['method']} #{record['path']} HTTP/1.1\tst
あなたの sbt update を爆速にする sbt-coursier の紹介
sbt-coursier.md あなたの sbt update を爆速にする sbt-coursier の紹介 この記事は Scala Advent Calendar 2016(Adventar) 10日目の記事です。 今は 12/10 の 625時です。年明けなんて無かった。いいね？ さてさて、sbt の依存jarのダウンロードが遅い、というのは割とよく言われる事であります。 で、この原因の一旦に、sbtが Apache Ivy を使っている、という点があります。 現状 Ivy は依存jarをダウンロードする際、全て直列でダウンロードします。依存グラフ的に関係のないライブラリがあっても、一つが終わらない限り別のjarをダウンロードしようとはしません。 ファイルIOもネットワーク通信も多重化できるこの時代にこれはいけません。 そこで Coursier の紹介です。 Coursier は S
OS X キーチェーンから環境変数をセットするツールを作りました - クックパッド開発者ブログ
こんにちは、技術部の福森 (@sora_h) です。 最近は環境変数に API トークンや credential といった認証情報を入れる事が増えてきています。 たとえば、AWS を利用するツールでは AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY といった環境変数にだいたいの場合で対応しています。 そのため、~/.bashrc や ~/.zshrc などシェルの設定に export を書いておき常に使える状態にしている方も多いと思いますが、 それって実は危険ではないでしょうか? 例えば、下記のようなリスクが考えられます: 意図せず情報が利用されて意図しない副作用が発生してしまう危険性 本番に変更を与えるつもりはなかったけれど事故を起こしてしまう等 悪意のあるスクリプトを実行した際に環境変数を送信などされてしまう危険性 事故や漏洩を防ぐためにも、筆者はかな
分散データベースで因果一貫性を担保するための仕組み「ベクトルタイムスタンプ」がエモい - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #まえふり LITALICOの管理栄養士 @Sadalsuud です。好きな食べ物はピザです。 以前からインスタレーションなどを作成してTwitterに投稿していたことがあり、入社数日目にはCTOの @takish さんがフォロワーだったことが判明。 それからなんやかんやあって、社内ハッカソンに参加させていただいたり、このAdvent Calendarにも参加させていただいたりしています。 というわけで、『LITALICO Engineers Advent Calendar 2017』12日目の記事です。 読むのが面倒になった方は最後に
サーバレスコンピューティング、もっとも利用されているのはAWS Lambdaで70％、Google Cloud Functionsが13％。CNCF調査
サーバレスコンピューティング、もっとも利用されているのはAWS Lambdaで70％、Google Cloud Functionsが13％。CNCF調査 Kubernetesなどの開発をホストするCloud Native Computing Foundationは、同団体のコミュニティに対してコンテナオーケストレーションやサーバレスコンピューティングに関するアンケートを実施、その結果を発表しました。 アンケートの回答数は550で、回答者の49％が北米企業に所属、32％が欧州企業に所属しています。 サーバレスはAWS Lambdaが圧倒的 回答によると、サーバレスコンピューティングはすでに回答者の41％が利用中。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - sorah/envchain: Environment variables meet macOS Keychain and gnome-keyring <3