Hashicorp社の新サービスATLASと周辺ツールのまとめ | Pocketstudio.jp log3
■概要 ATLAS ( https://atlas.hashicorp.com/ ) は、Vagrant 等を開発している Hashicorp社 ( https://hashicorp.com/ ) が提供開始したサービスです。これまで提供していた Vagrant Cloud の環境をバージョンアップし、開発環境だけでなく、本番環境への展開や運用を１つのワークフローで実現できるようにしたプラットフォームです。 ATLAS はクラウド上のサービスですが、これまでの Hashicorp が公開してきた Vagrant、Packer、Terraform、Consul を１つの画面上で管理できるようになりました。 以下では、サイト上の説明などを元に、ATLAS についてと、周辺ツールについて整理したものです。 ■ATLAS https://atlas.hashicorp.com/ サイトの説明によ
Apache SparkでカスタムStreamingする - もょもとの技術ノート
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。 TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/examples/streaming at master · apache/spark · GitHub spark/external at master · apache/spark · GitHub これらは、いろいろ利用できそうですね。 一方で、オリジナルのStreaming処理を行いたい場合には、 Sparkが提供するReceiverクラスを拡張する必要があります。 この記事では、Receiverクラス
APIのエラーハンドリングを見直そう - WebPay Engineering Blog
ここ数ヶ月にわたって、WebPayはAPIのエラーにまつわる変更を少しずつ行ってきました。 それに付随してドキュメントも拡張しましたが、変更の背景について十分に説明できていない部分がありました。 この記事では、最近のエラーに関連した変更の背景を紹介し、今後どのようにエラーをハンドルすべきか説明します。 記事の内容は執筆時点のものであり、今後同じようにエラーやAPIの変更を行うことがあります。 変更があっても記事の内容はその時点の内容を保持し、ウェブサイトのドキュメントのみ更新します。 必ずウェブサイトのドキュメントを合わせて参照し、手元で動作確認を行ってください。 エラーはなぜ起きるのか WebPayのAPIは、リクエストされた操作ができなかったときにエラーを返すように設計しています。 可能なかぎりエラーにならないような設計、実装を心がけていますが、エラーは絶対に避けられません。 例えば、
#10 Consulと連携するpull型デプロイツール stretcher - KAYAC engineers' blog
tech.kayac.com Advent Calendar 2014 10日目担当の @fujiwara です。 最近書いている stretcher というデプロイツールの紹介をしたいと思います。 長いので3行で push型デプロイはホスト台数が増減しやすい環境に適さない 各種問題を解決するpull型デプロイツールを書いた Consul と連携するよ 中央ホスト配布(push)型デプロイの問題点 カヤックの自社サービスでは久しく Archer というツールを利用し、中央ホストから各デプロイ対象ホストに rsync でファイルを配布する形のデプロイを行っていました。ここではこれを push 型と呼びます。 push型のデプロイは、ホスト台数が頻繁に増減する環境で以下のような問題があります。 新しくホストが起動してきた場合に、中央ホストからデプロイを行ったあとでないと (古い状態で起動してい
Sensu と Graphite による大規模インフラの監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージといった全社的なインフラの管理運用や調査検証などを担当しています。 今回は、2013年に全社のプライベートクラウドとして導入した OpenStack の監視基盤として、OSS の Sensu と Graphite を採用した事例についてご紹介したいと思います。 採用に至るまで サイトオペレーション本部では、もともと 2011 年から内製のプライベートクラウドを開発運用していました。 プライベートクラウドでは VM のホストとなるハイパーバイザを大量に運用する必要がありますが、その監視基盤として社内で一般的に利用され
Apache Spark を用いた機械学習の勉強会を開催しました - Advanced Technology Lab
アドバンスドテクノロジーラボの石川有です． 2014年11月20日に，Apache Spark を用いた機械学習の勉強会を開催しました． Apache Spark の利用としてもっとも期待されてることの１つが，ビッグデータをより高速に処理できる機械学習ライブラリとしての側面だと思います． 石川の発表文の資料は，slideshare にて公開しています． ターゲットとしては，Apache Spark の基礎知識を踏まえた上での Spark のクセの解説と二項分類器のアルゴリズムである Logistic Regression を MLlib でどう使うかのチュートリアルを解説しました． イベントにご参加いただくにあたって事前にとったアンケートでは，まだ半分以上の方が Apache Spark を利用されていないという回答でした． さらに Apache Spark の機械学習ライブラリである M
大阪大学で研究とオープンソースについて講義をしてきました - Advanced Technology Lab
ATLの伊藤です。 先日大阪大学で一コマの講義をしてきました。内容は研究を基にしたオープンソースの現状について解説です。 後半で研究系のオープンソースを開発、公開する際に気をつけるポイントについて説明しました。 スライドの内容 気をつけるポイントでは、オープンソースを使わせてもらう際に、一般的に存在して欲しいポイントをまとめています。これらのポイントは研究系のとんがったツールでは特にあってほしいと感じています。とはいえ私自身オープンソースを育て、伝える難しさを痛感している状態です。そのため書いた内容に自信があるわけではない点についてご了承ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
