shunmatsuのブックマーク - はてなブックマーク

AWS Kinesis Firehoseとkinesis-agentを利用してログをs3に収集する | AI tech studio
こんにちは、アドテク本部でインフラエンジニアをしております山下といいます。去年の話にはなりますが、2017年8月末、待ちに待っていた Kinesis Firehose が東京リージョンでも利用可能になりました。利用可能になってすぐFirehoseの導入を行い現在運用している状態なので、溜まったノウハウを書いていきたいと思います。 Kinesis FirehoseとはこれまでAWS東京リージョンでKinesisと言えば、唯一利用できていたサービスは Kinesis Stream でした。 Streamに対してデータを流し、別途ワーカーを用意してデータをStreamから出してデータを加工したり Redshiftに投入したり、そのままs3にputすることで保存を行うといった使い方をされていたかと思います。 8月に利用が可能になったKinesis Firehose は Delivery St
shunmatsu 2019/06/02
aws

aws_kinesis
リンク
[Kubernetes] オンプレでも GKE Like な Ingress を使うために自作 Ingress Controller を実装してみた | AI tech studio
2017.12.1 [Kubernetes] オンプレでも GKE Like な Ingress を使うために自作 Ingress Controller を実装してみたこんにちは。 CIA の青山真也です。この記事は Kubernetes Advent Calendar １日目の記事になります。ちなみに CyberAgent Advent Calndar １日目の記事も「GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) 誕生秘話とアーキテクチャ完全公開！」というテーマで書いており、まるで夏休み最終日の気分です。弊社のオンプレコンテナ基盤 AKE の話を詳細にまとめてありますので、こちらも是非お読み下さい。今回は、SSL 終端や L7 パスベースルーティング及び L7 ロードバランシングを行ってくれる Ingress リソースの話を
shunmatsu 2019/01/20
“Ingress は L7 LoadBalancing を行なうリソースです”

kubernetes

OpenStack

GKE

container

Ingress
リンク
Jupyter Notebook の Tips をまとめてみた | AI tech studio
こんにちは、AI Lab の馬場です。このブログは CyberAgent Developers Advent Calendar 2016 の11日目の記事です。昨日は sitotkfm さんの「ログを集める時に気をつけたいポイント」という記事でした。この記事では、僕が仕事でデータ分析をやっていく上で大変お世話になっている Jupyter Notebook の Tips をまとめてみます。Jupyter Notebook では便利な機能がたくさんあるので、ちゃんと使うと無駄作業の削減になります。僕もこれまで分析途中で「あーこれができたらなあ」と検索しては時間をつぶしてきたので、ここでまとめて記憶にとどめておきたいと思います。図表・可視化系 notebook 内に図を表示したい単純に jupyter notebook を起動して、pyplot などでグラフを描画しようとしても、図は
shunmatsu 2018/09/13
Jupyter Notebook

python
リンク
1