EC2インスタンスをスケジュールベースで制御する方法を考える | DevelopersIO
西澤です。今回は、AWS利用費用のほとんどを占めることになる(ケースの多い)EC2インスタンスの起動時間をスケジュールベースで制御する方法を考えてみたので、いくつかご紹介してみたいと思います。 前提 今回は、機能を紹介することをベースに考えますので、細かい設定手順は省略します。また、OS起動/停止のみの操作で、自動的にサービスを提供できる前提とし、その際のエラーハンドリングは考えないことにします。コスト最適化の為に、検証・開発環境を対象に考えるような想定です。 OS停止/起動に対応して自動でサービスできることが前提 必要となるIAM権限やAWS CLIの操作方法等の細かい説明は省略 詳細な設定手順は省略 それぞれの方法のメリット/デメリットを考えてみる AWS CLI等を利用したスクリプトで制御 最初に思い付くのは、SDKやAWS CLI等を利用してStartInstances, Stop
Apache Sparkが今後ブレークする6つの理由 | readwrite.jp
ゲスト執筆者のピーター・シュランプはビッグデータ分析プラットフォームのプロバイダ、Platforaの副社長である。 Apache Sparkはあっという間にビッグデータアナリティクスのコアテクノロジになった。しかしこの事は他の多くの技術でおこったよう、同じくあっという間にフェードアウトしてしまわないかという懸念もある。だが私は逆に、Sparkは始まったばかりだと信じている。 ここ数年で、Hadoopの爆発的普及とビッグデータが大きなものになったおかげでいくつかの事が明らかになった。まずHadoop Distributed ファイルシステム（HDFS）がデータのストレージとして適していること、そしてYARN（リソースの配備および管理）がビッグデータのフレームワークとして選ばれていることだ。 そして第三に、最も重要なことだろうがあらゆる問題に適した唯一つのフレームワークは無いということだ。マッ
10 Reasons to love SQLAlchemy
10 Reasons to love SQLAlchemy Paul Johnston 4 Sept 2015 I've seen some bashing of ORMs of late, which I think is totally undeserved. I'm a big fan of SQLAlchemy; I use it in most of my projects, and have contributed code to the library. I'm going to explain 10 good reasons you should love SQLAlchemy too! In fairness, there are a number of good ORMs around, and most of these reasons apply to them a
Ruby on Railsに手を出してみたのでそのメモ - Qiita
最近ちょっと作りたいサービスがあって、サーバサイドとしてRuby on Railsをやってみようと思い立ち、入門してみました。 そもそもRuby自体ほとんど書いたことないので、細かいものをつらつらとメモしていきます。 Railsとは Railsにはいくつか大事な考え方があるようです。 ひとつは DRY（Don't Repeat Your self）で、同じことを繰り返すな、ということ。なので同じ記述が現れるところはどんどん共通化していく方針のようです。（そのための仕組みが多数用意されています） そしてもっとも大事なものが「設定より規約」と呼ばれるソフトウェア設計パラダイムです。 端的に言うと、規約に基いてコードを書けば設定はいらない、ということです。 つまり、Rails側で規約を定めていて、その規約に則ってコードを書いている限り、設定を書く必要がなくなります。 なので、ルールに基いてモデル
第1回 ビッグデータ分析を始めよう | gihyo.jp
ビッグデータ分析エンジンを比較してみると、ビッグデータを処理する一般的なインターフェースとしてSQLが提供されていることが主となっています。こうして見ると、最近流行っているビッグデータを使った分析とは、SQLによる分析が主となっていることがわかります。 さらに、他の機能を見てみると、スケジューリングや依存関係を考慮したジョブの実行、データの可視化などは分析エンジン自体は備えておらず、別途用意する利用必要があります。 このように考えてみると、以下の点が気になってきます。 ビッグデータ分析基盤で何をできるようにするのか？ ビッグデータ分析基盤と考えたときに他にどういったツールが必要になるのか？ SQLによる集計を基にした分析ではどういったことができるのか？ 本稿では、ビッグデータ分析基盤を構築するために必要な分析エンジンではなく、主にその周辺のエコシステムについてを中心に紹介し、ビッグデータ分
【AWS】node.js初心者がOSXでLambda開発環境を整えてみた | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。本日は lambda の開発環境を準備した際の作業を備忘録としてまとめました。 2014年のre:Inventで発表されたlambdaですが、年末のアドベントカレンダー等で大いに盛り上がっているのを横目に完全に取り残されておりました。しかし9月5日に開催されたJAWS re:Moteでも「lambda, lambda, lambda」と、その可能性に注目が集まっていることを感じざるを得ません。 JAWS re:Mote 2015 - Togetterまとめ ということで、node.jsはおろかJavaScriptも詳しくない私がまずは開発環境を整えるところから始めてみました。 準備したもの パッケージインストール OSXの場合、開発環境といっても大掛かりなものは必要ありません。後述するサンプルプロジェクトを実行するためのnode.jsを入
MySQL 5.6と5.7のInnoDBバッファプールウォームアップのおはなし | GMOメディア エンジニアブログ
こんにちは、DBAです。 MySQL 5.6でInnoDBのバッファプールウォームアップが機能追加されました。みなさん使ってますか？ MySQL 5.6では正常終了時のダンプも起動時のロードもオフ、対してMySQL 5.7では両方ともオンです。また、MySQL 5.7ではダンプするバッファプールのページ数は(デフォルトでバッファプール全体の25%だけ、となっています。 わたしのオススメ設定は↓です。MySQL 5.6, 5.7両方でも使えるように、loose-接頭辞付きでinnodb_buffer_pool_dump_pct(5.7にあって5.6にないパラメーター)を書いています。 [mysqld] loose-innodb_buffer_pool_dump_pct = 100 innodb_buffer_pool_dump_at_shutdown= 1 innodb_buffer_poo
MySQL 5.6と5.7における高度なクエリチューニングのQ&A(The Percona Performance Blogより) | Yakst
9年弱前投稿 修正ありMySQL 5.6と5.7における高度なクエリチューニングのQ&A(The Percona Performance Blogより) 出典について この記事はThe Percona Performance Blog内のAlexander Rubin氏による「Advanced Query Tuning in MySQL 5.6 and MySQL 5.7 Webinar: Q&A」(2015/8/24)を翻訳したものである。 8月22日のオンラインセミナー「MySQL 5.6および5.7における高度なクエリーチューニング」に参加していただいてありがとう(私のスライドおよび動画はここで確認できる)。ここでは質問とその回答の一覧を紹介する(いい質問をありがとう) 。 Q: ここにexplainの例がある mysql> explain extended select id, s
Supervisordを使って複数のサービスを単一コンテナで起動する | TANKSUZUKI.COM
担当している案件で1コンテナで2サービスを動かす可能性があるので検証してみます。 本当は1コンテナ1サービスが理想ですが、無理に分解した結果わかりづらくなって人間が苦しむようじゃ本末転倒ですので、Supervisordを使って2サービス起動します。 ※CentOS6.6で試してます。 コンテナを起動してsshdとhttpdを入れる 普通にコンテナを起動します。 ベースイメージはcentos:6を使いました。 また、sshdとhttpdの動作確認をしたいので、あらかじめポートを開放しておきます。 docker run -it -p 10022:22 -p 8080:80 --name svd-base centos:6 コンテナにsshdとhttpdを入れます。 yum install -y openssh openssh-server httpd rootのパスワードを設定してsshdの設
MeCab システム辞書への単語追加（mecab-ipadic-neologd）
MeCab 辞書には、以前の記事でご紹介した「ユーザ辞書」と「システム辞書」の２種類があります。ユーザ辞書への単語の追加は、手軽な反面、解析速度が落ちるといったデメリットもあります。そこで今回は、MeCab の「システム辞書」に単語を追加する方法をご紹介します。また、最近話題の新語辞書 mecab-ipadic-neologd もシステム辞書に追加してみました。 作業の流れ MeCab のシステム辞書は１つのみ、というルールがあるため、IPA辞書のソースディレクトリに、追加したい単語のCSVファイルを配置して、システム辞書を作成します。また、追加する単語のコストは、mecab-ipadicのモデルファイル使った自動推定機能を使います。 下準備 MeCab と IPA辞書をインストールしておきます。 nkf コマンドのインストール IPA辞書の文字コードを、UTF-8 に変換するため、nkf
Python のバージョン毎の違いとその吸収方法について - CUBE SUGAR CONTAINER
この記事の目指すところ 現在 Python はバージョン 2.x 系と 3.x 系という、一部に互換性のないふたつのメジャーバージョンが併用されている。 その上で、この記事にはふたつの目的がある。 ひとつ目は、2.x 系と 3.x 系の違いについてまとめること。 現状、それぞれのバージョン毎の違いはまとまっているところが少ない。 自分用に、このページだけ見ればひと通り分かる！っていうものがほしかった。 ふたつ目は、2.x 系と 3.x 系の違いを吸収するソースコードの書き方についてまとめること。 こちらも Web 上にナレッジがあまりまとまっていない。 これについては今 python-future というパッケージがアツい。 尚、サポートするバージョンは以下の通り。 2.x 系: 2.6 と 2.7 3.x 系: 3.3 と 3.4 本題に入る前に、最近の Python 事情についてまとめ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://openbook4.me/projects/92
