Strategien, Taktiken und Muster der Legacy-Ablösung
docker-build-battle?slide=51
Strategien, Taktiken und Muster der Legacy-Ablösung
「Japan Container Days v18.04」に参加して1日中コンテナのことを考えていた - kakakakakku blog
今日は「Japan Container Days v18.04」に参加してきた．正直「Container Days」と言うよりも「Kubernetes Days」って感じだったけど，1日ずっとコンテナのことばかりを考えていた．発表テーマも多岐にわたっていて，バランスが非常に良かったと思う．僕が参加したセッションをまとめておく． containerdays.jp サイバーエージェントにおけるプライベートコンテナ基盤 AKE を支える技術 ake client を使ってクラスタを起動できる ake client の裏は OpenStack Heat を使っている Kubernetes にパッチを当てているため，ビルドから始める Kubernetes と Swarm をサポートしている Datadog / Elastic Stack なども連携できる 既存のエコシステムは採用しなかった Open
AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
AWS Glueの開発環境をDockerで構築する（その2） - cloudfishのブログ
前回、Glueの開発環境をDockerで作りましたが、zeppelinコンテナを起動してホストからsshフォワードを実行して接続するという構成でホストを意識する必要がありましたが、せっかくzeppelinをdockerで作っているのでsshフォワードを行う部分もdockerで実現できないかと思い考えてみました。 今回作った構成 データを永続化するためにdataコンテナとsshフォワード用にssh forwardコンテナを追加することにしました。 そのためzeppelinコンテナからはssh forwardコンテナに接続しにいくことになります。 こうすることでssh forwardコンテナには名前でアクセスできるので、毎回設定変更する必要がなくなります。 手順 ssh forwardコンテナ作成 docker-compose.yml作成 起動確認 ssh forwardコンテナ作成 以下のと
AWS Glueの開発環境（Zeppelin）をDockerで構築する - cloudfishのブログ
AWS Glueで自動生成されたETL処理のPySparkの開発について、AWSコンソール上で修正して実行確認は可能ですがかなり手間になります。 そこで開発エンドポイントを使って開発する方法が提供されており、Apache Zeppelinなどを使ってインタラクティブに開発することができます。公式ドキュメントによると、エンドポイントを利用して開発する方法としては大きく以下の4つの方法が提供されています。 ① EC2上にApache Zeppelinを構築して開発エンドポイントへ接続 ② ローカルマシンにApache Zeppelinを構築して開発エンドポイントへ接続 ③ 開発エンドポイントへ直接sshしてREPL Shellを利用する ④ PyCharmのProfessional editionで開発エンドポイントへ接続 ①の方法がコンソールからワンクリックで開発環境を構築することができるの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetes on AWS in 2018 (For startups)
Dockerコマンドメモ - Qiita