データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015
データ分析の話はそこかしこで行われてますが，それを俯瞰する話はあまりないようなので，ここらで一つ色々とまとめて喋りたいと思います．また，Treasure Dataで得た経験をもとに，機能だけでなくデータ分析基盤でよく要求される要素についても，いくつかの視点を交えて言及したいと思います． 話したいトピックリスト． データ分析の需要 データ分析の流れ データ分析基盤に使われるソフトウェア / サービス オンプレミス: Hadoop, Spark, Presto, Impala, etc クラウド: Treasure Data, BigQuery, Redshift, EMR, etc データ収集/同期: Fluentd, Embulk, Sqoop, etc ストリーム処理系: Storm, Norikra, Dataflow, etc キュー: Kafka, Amazon Kinesis,
ジョブスケジューラ「Rundeck」を試してみる | DevelopersIO
森永です。 最近は大逆転裁判をやりながら寝落ちするという毎日を送っています。 サーバ構築する上で、ジョブをどうするかというのは考慮が必要な点です。 簡単に実現するにはcronを使えばいいのですが、要件によってはジョブスケジューラを使わないと厳しいということがあります。 かと言って、エンタープライズで使われている本格的なジョブスケジューラを使うのも大げさすぎる、というのもわかります。 そこで今回は、簡単に構築ができてそれなりに痒いところには手が届くジョブスケジューラ「Rundeck」を試してみます。 Rundeckとは OSSのジョブスケジューラです。 特徴として以下の様なものがあげられます。 エージェントレス SSH接続できればジョブを実行できます。 なので、別サブネットはもちろん、別VPCでも別AWSアカウントでもはたまたオンプレでもRundeckサーバからSSH接続とジョブを実行できる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
