Cloudera Managerのリソース管理機能を使いこなそう - DMM.comラボエンジニアブログ
Cloudera Manager Advent Calendar 2015の23日目です。 こんにちは、DMM.comラボ ビッグデータ部所属のしょうちゃんです。 Cloudera Managerのリソース管理機能について書きました。 はじめに DMM.comラボでは、CDHを利用しHadoopクラスタを運用しています。 Hadoopを運用する上で、課題の1つにリソースの管理が挙げられるでしょう。 リソース管理課題の例としては、 アドホックな分析処理のために定常処理を阻害したくない 時間帯に応じてサービスごとに使えるリソースを動的に管理したい etc... などが挙げられるでしょう。 そこで今回は、同じクラスタの中で複数サービスを動かす際の Cloudera Managerを利用したリソース管理に関してDMMでの事例を紹介させていただきます。 ※ 本記事執筆時点でのCloudera Man
ElasticsearchとPython使えば生活圏推定を簡単にできる話 - Qiita
概要 なんか書いてみようということで、Elasticsearchに行動履歴の位置情報を登録すれば、いい感じに利用できる上に、いい感じに可視化もできるという話をします。 前提知識 今回Elasticsearchを利用するので、簡単に紹介。 ElasticsearchはApache Solrとよく比較される全文検索エンジンの一つです。スキーマフリーですべての入出力がREST＆JSONになっています。またJavaで実装されています。 詳しくはElasticsearchの紹介と特徴 インストールはyumでもbrewでも簡単に出来ます。利用したい環境に合わせて調べてみてください。 ちなみにElasticsearchのGUIプラグインのelasticsearch-headが便利なので合わせて入れておくと良いです。 Elasticsearchの設定 Elasticsearchを起動できたら、利用するin
glibcのmalloc(3)とLinuxカーネルのovercommitとOOM - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2015の23日目です。 glibcのmalloc(3)とLinuxカーネルのovercommitとOOMの関連でも見てみようと思います。Linuxカーネルのシステムコールにはmalloc(3)的なものはないので、mmap(2)、brk(2)が使われます。 今回知りたかったのは、どこでovercommitを許可しているのか？というところと、どのタイミングでOOMが発生するのかという2点です。 OOM発生時の挙動についてはsatoru_takeuchiさんの覚書(2015-12-03)に詳しく書かれていますので、こちらを参照してください。 glibcのmalloc(3)に関してはがちゃぴん先生のmalloc動画を見ましょう。 今回見ているglibcのバージョンは2.22でカーネルは4.3です。 まずはmalloc(3)の大まかな処理を見ま
ブラウザの閲覧履歴で人生の棚卸し（embulk + elasticsearch + kibanaで可視化） - Qiita
この記事は「エムスリー Advent Calendar 2015」の 22日目の記事です。 はじめに こんにちわ。年末ですね。年末といえば一年を振り返るいい機会ですね。意識の高い人たちが「人生を棚卸しするいい機会ダヨッ★」なんて言っていたような気もします。 過去の自分を振り替えってみると、あーネットサーフィンに無駄な時間を過ごしたなぁ。。なんて後悔の念が湧いてきます。しかし、よく考えてみると、自分がブラウザで何を閲覧していたのか、きちんと振り返ったことがありませんでした。いい機会ですので、この記事では 自分の閲覧履歴を可視化して分析する基盤 を構築してみたいと思います。 ただ、一点ネックなのは、私は chrome => メインブラウザ firefox => ある特定の用途 といったように、2つのブラウザを戦略的に使い分けております。つまり、閲覧履歴データが分散しているわけです。分散してしま
VPCでグローバルIP有り、IGW有りで特定のIPアドレス向けにだけ、NATを通す方法
既にグローバルIPアドレスを振っているにもかかわらず、サーバーからのアクセスは特定のIPアドレスだけにしたい場合、どうしようかという話です。そんなケース有るの？と思いますが、例えばブラウザからのGETを受けて、他のサーバーへRESTなどGETを投げる場合が当たります。 ELBやリバースプロキシを利用した場合は、Web/Appサーバー側にグローバルIPが必須ではないので、素直にPrivateSubnetとして、DefaultGatewayをNATにするのが良いですが、autoScallingを行っており、外部からの制御にグローバルIPアドレスも必要で、EIPも使えず、かつサーバーからのアクセスはNAT経由にしたい場合、どうするかを書きます。 まず、グローバルIPアドレスが必要なので、インターネットゲートウェイは必須です。NATは普通はインターネットゲートウェイがない場合にサーバー -> イン
Git ユーザマニュアル (バージョン 1.5.3 以降用)
Git ユーザマニュアル (バージョン 1.5.3 以降用) NextGit ユーザマニュアル (バージョン 1.5.3 以降用)Table of Contents Preface1. リポジトリとブランチgit リポジトリの取得方法プロジェクトの他のバージョンのチェックアウト方法履歴の理解：コミットブランチの運用新しいブランチを作成せずに古いバージョンを取得する方法リモートリポジトリのブランチの調査ブランチ、タグ、その他リファレンスの命名法git fetch を用いたリポジトリの更新他のリポジトリからのブランチの取得2. 履歴の探索リグレッションを見つける為の bisect の使用方法コミットの指定方法タグの作成方法リビジョンの閲覧方法差分の生成方法古いファイルバージョンの参照例3. git を使用した開発git に自分の名前を教える新規リポジトリの作成コミットの方法良いコミットメッ
Microsoft Word - POSIX-OSの性能評価_mod.doc
S tandard Forms リ アルタイム OS を総合的に評価する Two-way Request Latency Test Program の設計 （ POSIX-OS の性能評価） Rev D ate I ssue D escription Author D escription Author D escription Check App Check App Rev D ate I ssue Rev D ate I ssue 0 T itle P rofessional Service P OSIX-OS の 性 能 評 価 Author T.Oshima No Check App R evision P age 1 S tandard Forms 始 めに 本 稿 で は 、 ア ル タ イ ム OS を 総 合 的 に 評 価 す る Tw
WerckerでDockerfileのビルドチェックで消耗したくない君に - non vorrei lavorare
はじめに この記事は、@kjunichiの2015年パーソナルアドベントカレンダーの23日目の記事です。 v2(Etok)では無理ゲー Dockerのコンテナベースになってしまったので、原理的に無理 以下のように、v1(Andorian)を選択する。 ※Dockerを特権権限付きで起動しておけば、Dockerの中にDockerを動かせる。 わかったこと v1(Andorian)のwercker-labs/dockerのdockerは古すぎる dockerをアップデートする必要がある apt-getはboxのubuntuがサポート期限切れ dockerをバイナリでインストールする &をつけてdockerをdaemonモードで起動すると、werckerでビルドエラー /sbin/start-stop-daemonを使えば、dockerのdaemonをバックグラウンドで起動できる。 docker
さいきょうの二重サブミット対策 - Qiita
この記事はシステムエンジニア Advent Calendar 2015 - Qiitaの記事です。 弊社アーキ部で@kawasimaさんに教えてもらったさいきょうの二重サブミット対策について書いていきます！ 二重サブミットが発生するケース 不正な更新リクエストが発生するケースとして、以下のものが考えられます。 サブミットボタンをダブルクリックする 戻るボタンで戻って、再度保存ボタンを押す 完了ページでブラウザリロードする CSRF攻撃による不正な更新リクエスト 1. サブミットボタンをダブルクリックする 確定ボタンをダブルクリックすることによって、ユーザが意図していないリクエストが発生してしまうケース。 2. 戻るボタンで戻って、再度保存ボタンを押す 処理完了画面から戻るボタンで前の画面に遷移し、再び確定ボタンを押すケース。 本来は入力➡︎確認➡︎完了の画面遷移が適切だが、その画面遷移にな
AWS上にハイパフォーマンスMongoDBを構築する方法 - 中年engineerの独り言 - crumbjp
AWSインスタンスの選定 AWSインスタンスタイプ一覧 以下のインスタンスボリュームが付随しているプロダクトラインが候補になる。 個人的にはi2.xxx が好みである。 r3.xxx メモリ最適化インスタンス i2.xxx SSD容量最適化インスタンス ただし、インスタンスボリュームはスナップショットが取れず、揮発性なので取り回しが悪い。 Provisioned IOPS (SSD) ボリュームも検討候補になるが、高くつく事になるのでお金持ちの人用。。 バックアップ戦略 流石にバックアップを全く取らずに運用する事は出来ないので 以下様にレプリカセット構成を組み、バックアップを取る。 Primary: i2.xxx Secondary: i2.xxx Secondary(hidden): 適当なインスタンス + SSD 最後のノードはバックアップ専用なので、SSD以外は非力出よい。 ただしあ
ネット・セキュリティとサンタさん - Qiita
ミクシィのイノベーション・センターで社内新規事業インキュベーション、そして人事部で新卒採用支援をやっているもりもとです。こんにちは。 この投稿はmixiグループ Advent Calendar 2015の23日目の記事です。 Advent Calendarはクリスマスにちなんだ企画です。せっかくですから、ミッションスクールに12年通った私としては、今日はクリスマス寄せで書きます。 コンピュータ・ネットワークといえば、いまやセキュリティの知識と対策は切り離せません。 大勢のみなさんのプライバシーをお預かりするSNS mixiを開発・運営しているミクシィでは、これは一層もちろんのこと。「本物そっくりのmixi.jpを擬似攻撃してやっつけちゃえ!」というWeb脆弱性攻略体験イベントScrap Challengeも、毎年シーズンを重ね、すでにかれこれ11回開催しているぐらいです。 もちろん来年度も
Jupyter (旧 IPython notebook）の本来あるべき姿を垣間見る - Λlisue's blog
どうも、ご無沙汰しております Pythonista + Vimmer、略して Pythonimmer な有末です。 この記事は Python その2 Advent Calendar 2015 22 日目の記事となります。 Jupyter とは さて、皆様は Jupyter（旧 IPython notebook） というプロジェクトをご存知でしょうか？ Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） や Railsエンジニアに役立つJupyter NotebookとiRuby に代表されるように、現在各界から注目されているプロジェクトとなっております。 簡単に言うと Web ブラウザ上にて Markdown および任意の言語の記述・実行・表示を行うサービス となります。 科学者が使う実験ノートにインスパイアされたプロジェクトであることから
GS Collections Kata で Eclipse Collections をはじめよう！ - Qiita
はじめに - Eclipse Collections とは Eclipse Collections という Java のコレクションフレームワークがあります。 とても使いやすく、完成度の高いフレームワークです。 標準のコレクション + Stream API の上位互換 Eclipse Collections は、ごく端的に言うと、Java の標準のコレクションと Stream API の上位互換ということができます。 標準のコレクションや Stream API でできることができる 標準のコレクションや Stream API でできないこともできる ということです。 使ってたのしい API Java を使っていると、「○○（データ構造や関数の名前）が××言語にはあるのに Java にはない」とか、「Stream API であれができたらいいのに」とか思うことがあると思います。 たとえば、私
続：Consul 0.6でユーザのいるshardを探す（Prepared Queryを使う） - kikumotoのメモ帳
この記事は HashiCorp Advent Calendar 2015 - Qiita の２３日目です。（１時間ほど早めに公開したのでブログの日付は２２ですが） 前回の記事 Consul 0.6でユーザのいるshardを探す（Prepared Queryを使う） - kikumotoのメモ帳 の続編です。 id:fujiwara さんの Consul 0.6でユーザのいるshardを探す（Prepared Queryを使う） - kikumotoのメモ帳[consul] 数百万のPQがconsulに登録されても大丈夫なものだろうか2015/12/21 07:25 b.hatena.ne.jp というコメントを受けて、Prepared Queryを１００万件突っ込んでみた結果をまとめます。 結果 先に結果を。 100万件PQを突っ込みましたが、DNSの応答は10件だけ登録のときも、100万
スレッド処理は慎重に – PHPでのスレッド処理 : 前編 | POSTD
私が覚えている限り、非常に重い（または非同期の）タスク処理に関して、PHPは常に厳しい評価をされていました。これまではずっと、長いタスクを並列化したければ pcntl_fork を通してフォークするという方法を取らなければいけなかったので、タスクの結果を適切に処理することができませんでした。 そこで私たちは、キューイング（どちらかと言えばタスクを遅くするだけ）やReactPHP、または他の言語を一緒に使うといった、より複雑なソリューションへと向かっていきましたが、PHPでもスレッド処理は可能なのです。そしてより重要なのは、 その方法はあなたが思っているよりもはるかに簡単だということです。 この記事では、 pthreads 拡張（POSIX Threadsの略）について説明します。2012年ごろから広く使われていますが、多くの人がその存在を忘れているか、使うのが苦痛だと考えると思います。その
API Gateway + LambdaでSlackボットを作ってみた | feedforce Engineers' blog
寒くなってきましたが暑がりなのでまだ上着はあまり出番がありません、内定者のお豆腐です。 そろそろクリスマスですね！ターミナルでnpm xmasを実行すれば黒い画面の中でちょっとしたクリスマス気分を味わえるかもしれません。 さて、今回はエンジニア内定者ブログ第2弾として「API Gateway + Lambdaを使ってサーバーレスなSlackボットを実装してみる」というお題で記事を書いてみました。 目的 昨今、サーバーレスアーキテクチャと呼ばれる技術分野が注目されており、それを実現する基盤としてAmazon Web Services（以下AWS）のLambdaが注目されています。 今年10月にAWSが提供するAPI GatewayがTokyoリージョンでも使用が可能になり、API GatewayとLambdaを組み合わせたアプリケーションの開発がより手軽に行えるようになりました。 そんな中、
AWSでしくじった話 (ElasticBeanstalk編）｜ハンズラボ株式会社
こんにちは、井上です。 最近好きな番組は「しくじり先生」です。 毎回、何かしらでしくじった諸先輩方が出演し、しくじった体験談と、それを元にした教訓をおしえてしてくれる番組なのですが、実体験に基づくだけあって教訓も説得力があり、非常にためになります。 辺見マリが洗脳されて5億円とられた話とか、生々しすぎて恐怖でした。 それにちなんで、今回はAWSの利用でしくじった話をしようと思います。 今回私がしくじったサービスは、ElasticBeanstalkです。 ElasticBeanstalkは簡単に説明すると、WEBアプリケーションのデプロイ、構成管理、オートスケールなどをまるっと面倒を見てくれる便利なサービスです。 2014年の4月くらいから利用検討を開始し、最初の頃は情報も少なく手探りの状態からスタートしました。 特に ebextensions で設定する構成管理の部分にクセがあり、どのよう
まだMVC,MVP,MVVMで消耗してるの？ iOS Clean Architectureについて - Qiita
＜この記事は「Money Forward Advent Calendar 2015」の22日目の記事です＞ この記事は、iOS Clean Architectureと実際にコードへ適用した内容について紹介します。 コードについては、改善の余地があるため随時修正していくと思います。 → github: https://github.com/koutalou/iOS-CleanArchitecture iOS開発においてよくある問題点 「ビジネスロジックはModelに置くべき」と言うが、開発者によって理解や意見がバラバラで統一的な実装ができない 度重なる仕様変更や複雑な仕様に対応するためにViewControllerや特定のModelが肥大化し、ビジネスロジックの本質を見失う MVC,MVP,MVVMだけで考えると、どこかのレイヤが複数の責務を持つことになり依存度の高い複雑なコードが生まれてし
Vimで各言語のreplをすぐに開きたい…そこでrepl.vim！ - Qiita
この記事はVim advent calendar 2015の23日目の記事です！ 昨日の記事は プログラミング初心者が某氏が提言していた「 Vim駆動学習 」をやってみた でした！ 某氏、一体 何ぶささんなんだ…。 そこでrepl.vim！ はい！ 今貴方は小物のプログラムを書いています！ はい、今classを書きました！！ (コードの内容を理解する必要はありません) class Kawaii def initialize @messageList = [ 'おはよう、よく眠れましたか？', '朝ごはん、もうできてますよ！ ずんだもち。', "モナド？ 単なる自己関手の圏におけるモノイド対象だよ。\n何か問題でも？", 'むちむちじゃありません！ もちもちです！', "皆のハート打ち抜くぞ〜\nずんだアローシュート！", "お口開けてください、あーん♡\nたこ焼き味のずんだもちです！" ]
vscode-go/READMEとdelve/Buildingの日本語訳 - Qiita
はじめに Visual Studio Code (VS Code) 用のGoエクステンション「vscode-go」を紹介しようとvscode-go/READMEを翻訳したところ、十分な情報量でしたので今回のメイン記事にさせて頂きました。またOS Xの人にはdelveのセットアップがわかりにくそうでしたのでdelve/Buildingのページも翻訳しました。 不具合情報 OS X版のバージョン0.10.5はVS Codeが起動しない不具合がありますので、バージョン0.10.6以降をご利用ください。 https://code.visualstudio.com/Updates 翻訳について Google翻訳にて原文の英語を日本語に変換した後、手動にて調整しました。私が補足した部分は斜体にしてあります。 vscode-go/README.md (0.6.33) の日本語訳 vscode-go/RE
AWS再入門 AWS IAM (Identity and Access Management) 編 | DevelopersIO
当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の22日目のエントリです。昨日21日目のエントリは半瀬の『AWS Trusted Advisor』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日22日目のテーマは『IAM (AWS Identity and Access Management)』です。 もし、IAMがなかったら1つのAWSアカウントを複数人で共有し、誰が何のリソースに、どのような操作をしたかを把握することは不可能です。IAMは、AWS マネジメントコンソールや API によって素早く低コストでセキュリテ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3