4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話 - UUUMエンジニアブログ
nazoです。 UUUMでは2017年3月時点で4000チャンネルを抱えており、日本最大のマルチチャンネルネットワーク(MCN)となっております。 これだけのチャンネル数があり、さらに多くのチャンネルは毎日のように動画を投稿しており、1日に増える動画の数だけでも相当な数になっています。 以前はこれらのデータの取得をPHPで行っていたのですが、最近Goによる新システムの運用を少しずつ始めており、大きな変化が生まれています。 今回はそのあたりについて解説したいと思います。 現在の構成 それまで動いていたPHPによる解析システム（こちらは今回は話しません）があるのですが、これはUIとデータ取得部分が、そもそも他のシステムと同居しており、改修が難しくなっていました。また、PHPは並列処理が苦手で、やろうと思えばいくつか手段はありますが、並列化に対して大きくリソースを割いていませんでした。そのため、
CircleCIでRailsのDockerコンテナをECSにデプロイする - UUUMエンジニアブログ
nazoです。 Graceful RestartによるRailsアプリのデプロイ を行っていたのですが、もっと手軽に環境ごとデプロイをしたいという需要もあって、Dockerを採用したデプロイも行っています。 CircleCI(1.0)では辛うじてDockerのサポートがありますが、いくつか癖があるので、ECSと含めて運用まで踏まえた手順について紹介したいと思います。 目的 AWS EC2 Container Service（以下 ECS ）を使用し、DockerコンテナをEC2にデプロイします。github.comにコードをpushしたら CircleCI 上で自動でビルド・テスト・デプロイが行われるようにします。 ECSを使う理由は、AWSへの依存をぎりぎり少ないところで手軽にDockerコンテナのデプロイを行いたかったというところです。ECSを使用することにより、簡単にDockerコン
Docker？Vagrant？個人PCのWebアプリケーション開発環境においての環境分離方法 - UUUMエンジニアブログ
nazoです。 個人PC上では、複数の開発環境が同居することは珍しくありません。その際に、複数のバージョンの同一のソフトウェアが混在することもあります。 それらを切り替える度にアンインストール・インストールを繰り返すのは非効率なので、同居させつつ自動的に切り替わるような状況が最適かと思われます。 これを実現するには様々な方法がありますが、一長一短あるため、具体的にどう違うのか見ていきたいと思います。特にmacOSを中心とした話になります。 Docker Dockerはコンテナ型仮想化ツールで、同一環境内であたかも別の仮想環境を起動しているかのようにプロセス一式を分離させることができます。 DockerネイティブなOSを使っている場合は大体これでいいのですが、macOSやWindowsの場合はDockerは仮想マシンを通して利用することになり、TCPポートでの接続はともかく、ネイティブ同様の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
