YARN queue ACL for Spark - Qiita
昨日書いたSpark and YARNで、下記のようなことを書いたので少し検証してみた。 YARNで強化するSparkのセキュリティ対策 Spark自体が提供するセキュリティ対策のほかに、YARNのCapacity Schedulerを使うことによって、RMに対してアプリケーション登録時に認証をかけることができるようになる。ちょっと時間切れになってきたので、詳細はまたあとで追記。 YARNのスケジューラが持つキュー YARNのCapacity SchedulerとFair Schedulerはアプリケーションの登録を受け付けるキューをもっており、これらはUNIXユーザー/グループベースのACLを掛けることができる。このことによりSparkアプリケーションを実行するユーザーごとにアプリケーションの登録可否を制御できる。Capacity Schedulerの場合、複数のキューを持つことができる
DBのインデックスと戦うのやめて Elasticsearch に丸投げしたらいいことあった話 - Qiita
こんにちわ、ワカルのCTOの包です。 今日で2015 WACUL Advent Calendar 2015 最後の日です。 この１年は、会社としても大きく成長した一年でした。すべて埋まった(!)アドベントカレンダーの記事を振り返ってみると、技術者の層がとても厚くなったなと感じます。 なにより、忙しい業務の合間に楽しい記事を書いてくれた会社のみんな、忙しい中寄稿してくれた @kenzan100 さん、技術メンバーの働き方に理解を示してくれて共に頑張っている会社のみんなに感謝しています。 データの検索は Elasticsearch に丸投げしたらいいことあった話 さて、本題です。 今年ワカルで導入した新しい道具の中でも特に導入して良かったな、と思うのものの１つは Elasticsearch です。 この記事では、 Elasticsearch を導入した経験を元に、開発全体のコスト面や運用面など
リコメンドエンジンを使うまでもないリコメンド - Qiita
リコメンド的なことをやりたいという要求はよくありますが、協調フィルタリングを持ちださなくてもよい(持ち出せない)ケースは現実的には多いと思います。ユーザを特定してその嗜好を取れなかったり、あまりリピートして使うものでないシステムだったり。 例えば、あるカレー屋さんはトッピングを多く選ばせることで利ざやを稼いでいます。そこでトッピングを多く選ばせるために、食券券売機におすすめの機能を付けたいと思いました1。 このケースでは当然ユーザの嗜好は分かりません。 高々50個くらいのトッピングメニューしかないので、「おぉこんなトッピングが存在したとは…」という発見があるわけでもなく、人気の組み合わせが分かれば、十分販促に繋がると思います。 こういうパーソナライズしないリコメンドには、伝統的なマイニング技術のアソシエーションルールが良さそうです。 このアソシエーションルールを作るのを、SQLだけでやると
累積和を使う動的計画法 - じじいのプログラミング
この記事はCompetitve Programming Advent Calendar 2015の23日目の記事です。tanzakuさんに感謝 www.adventar.org 今回は、累積和を使う動的計画法についてです。TopCoderのDiv2上位ぐらいの人向けの難易度です。 問題 AtCoder Typical DP Conestの問題です。 F: 準急 - Typical DP Contest | AtCoder Problem Statement ある路線には駅 1 から駅 N までの N 個の駅がある。すぬけ君は、この路線に準急を走らせることにした。 準急は、駅 1 に止まり、{駅 2, ..., 駅 N-1} の部分集合に止まり、駅 N に止まる。 連続する K個以上の駅に止まると、客が飽きてしまうので、そのようなことはしない。 準急の停車駅の組み合わせとして何通り考えられる
NI+C クラウドメンバーシップサービス SLのご利用条件について｜お客様へのご案内事項｜日本情報通信株式会社
NI+C クラウドメンバーシップサービス SLのご利用条件について NI+C クラウドメンバーシップサービス SLをご利用のお客様各位 平素は格別の御高配を賜り、誠にありがとうございます。 NI+C クラウドメンバーシップサービス SLをご利用の際は、下記ページ内の各文書に同意していただく必要がございます。 ご利用に際しましては、内容をご確認いただきますよう、よろしくお願い申し上げます。 NI+C クラウドメンバーシップサービス SL 利用規約 サービス記述書 料金規定 ※サブスクリプション契約やESA契約、CSA契約のお客様は対象外になります。 改訂履歴
【shiftコマンド】bashで引数の数が可変の場合の処理 - 養殖Geekは川を上るか
引数がいくつ来るか分からない場合 shiftコマンドを実行することで、シェルの引数を順に第一引数として呼び出すことができます ./shift.sh #!/bin/sh for i in `seq 1 ${#}` #引数の数だけループさせる do echo ${1} #第一引数を表示 shift #shift done 実行結果 [farmedgeek@Mint ~]$ ./shift.sh #引数が無い場合は何もしない [farmedgeek@Mint ~]$ ./shift.sh 1 #引数が1個だけの場合は、1個だけ表示 1 [farmedgeek@Mint ~]$ ./shift.sh 1 hoge "test" #引数が3個の場合は3個表示して終了 1 hoge test [farmedgeek@Mint ~]$ ./shift.sh 1 2 3 4 5 6 7 8 9 10 #引
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
