ansible gather_facts チューニング – nodoka.org
前回、chefからansibleへの移行記事をまとめたが、その際にさらっとgather_factsの高速化に時間を使ったと触れた。そもそも素でansibleを使うとデフォルトで処理前段にgather_factsの処理が入る。これが何をしているかというと、各ノードのOSやスペック、ネットワーク情報などの収集だ。ansibleはサーバサイド・プッシュな動きをするので、ansible-playbookを実行すると対象ノード全てに処理を行う。gather_factsの処理も同様で対象ノード数に比例して処理時間が伸びていく。1ノードならまだしも、10ノードを超えだすとその待ち時間は耐え難いものに。chefサーバの場合はサーバプロセスが存在したので、その中でこの手の情報をキャッシュしてくれていたのだろうが、ansibleにはサーバプロセスが存在しないため、毎回律儀に各ノードから取得する羽目になる。 g
コンソール上でWebサーバと対話式に通信を行える『htty』 | 俺的備忘録 〜なんかいろいろ〜
コンソール上からWebサーバに対し、対話的に通信を行えるツール『htty』というものを見かけたので、ちょっと触ってみる。 Rubyで書かれているらしく、gemを用いてインストールが行えるようだ。 gem install htty インストールができたら、以下のようにコマンドを実行することでWebサーバとの対話型インターフェイスが動く。 htty ドメイン名 上の画像のように、keyを渡してgetやputをしてやったり、転送される場合はfollowで移動したりする。 Cookiesを使った処理についても行えるようだ。 細かい使い方については公式ページを見るといいだろう。 …これ、結構便利なのではないだろうか？スクレイピングスクリプトのデバッグとかでも使えるような気がする。
新しいNTPクライアント＆サーバ、chrony - Qiita
はじめに CentOS 7で"最小限のインストール"以外を選んだ場合にインストールされるchronyはntpdに代わり標準となったNTPクライアント兼サーバである。 とはいえ、CentOS 7でも相変わらずntpdは使用できるし、ntpdateの代わりではないのでntpdateコマンドを打ちたければntpdateを使用する。 以下、初期稿ではchronyの、ntpdとの違いを中心に記述する。注目点があればそれも書くが、まともに追っていくと深いので、後で気になる点が増えたら追記する形を取る。 あと、この記事でネタにするのはchronyであってcronieではないので悪しからず。 chronyのインストールと起動 CentOS 7ではOSインストール時にインストールされていなければyum install chronyでインストールすることができる（CentOS 6でも6.8からOS標準のリポジ
Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
Sphinx のメンテナになって一年が経過した話 - Hack like a rolling stone
クリスマスが過ぎてから始まる Sphinx アドベントカレンダーへようこそ (嘘) Sphinx 大型連載第二夜です。 タイトルにある通り、Sphinx のメンテナ活動をして一年が過ぎたので、その話をします。 OSS 開発者のひとつのサンプルケースとして、何かの参考になれば幸いです。 Sphinx のメンテナ活動をはじめました 去年の 12月から Sphinx のメンテナ活動をはじめました。 Python のリリースマネージャ活動が忙しかったからか原作者の Georg の活動が鈍り、 また、その後を継いだ清水川さんも忙しくて身動きが取れなくなっていたことから、 コミット権をもらっていたことだし、パートタイムで手伝うかと思ったことがきっかけでした。 以前からコミット権は持っていたものの、一切メンテナとしての活動をしていなかったので、 徐々にチケットが溜まっていく様子に後ろめたくなったのかもし
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
Hiveを高速化するLLAP
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
新機能: 手軽にデバイス間通信を試せる Public Gate 機能をリリースしました - SORACOM公式ブログ
こんにちは、シニアエンジニアの松井です。 年末の大掃除の合間に現実逃避しながら書いています。みなさんは大掃除終わりましたか？ 今年の７月に SORACOM Gate がリリースされてから、便利そうだけど VPG を使用するのが前提であるためなかなか手軽に試せない、という声を頂きました。 本日、Gate の機能のうち、デバイス間通信を手軽に体験できる、Public Gate 機能をリリースいたしました。これは、本来はお客様ごとに立ち上げる VPG(Virtual Private Gateway) をソラコム側でご用意し、どなたでもご利用いただけるように解放してご提供する事で実現しているものです。 AWS VPC への接続や、データセンターや他クラウドサービスへの接続などはお試し頂く事が出来ませんので、ご留意下さい。 すでに SORACOM Air の SIM を複数枚お持ちの方は、SIM 単
BigQueryの新しい料金体系High Compute Queryは廃止されました。 - Qiita
High Compute Queryは2017年11月に廃止になったので、この記事は過去の思い出です。 https://cloud.google.com/bigquery/docs/release-notes?hl=en#november_14_2017 今後はBillingTierが100を超えない限りは、特に料金が変わることはありません。 BillingTier100超えはかなりの無茶をしないと出てこないので、滅多に気にすることはありません。 ただ、単純なパフォーマンスチューニングとして、以下のノウハウはまだ役に立ちます。 High Compute Queryに備える！Dremelの気持ちになって考えるパフォーマンスチューニング 以下、過去の思い出話となった内容 BigQueryのQuery料金は今までどんな複雑なクエリを書いても、データを読み込んだ容量に対して料金が決定されていました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散ストレージソフトウェアCeph・アーキテクチャー概要
キャバクラのお姉さん350人に聞きました！
顔パス以外入場NG チケット高額転売防げ - 日本経済新聞