普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
If you are a member or voter of the following political parties or agree with their despicable and inhumane political views, you are NOT WELCOME to use my software. AfD (Germany)Werteunion (Germany)Die Heimat (Germany)Die Basis (Germany)Freie Wähler (Germany, Bavaria)BündnisDeutschland (Germany)CDU aka "AfD mit Substanz" (Germany)CSU (Germany, Bavaria)FPÖ (Austria)Prawo i Sprawiedliwość (Poland)Fi
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
このSDS(Softesre-Defined Storage)シリーズも第7回目。 今回と次回は、Web時代にとって有用なオブジェクトストレージについて取り上げる。まずは風変わりな名前のスタートアップBasho Technologiesだ。この名前は創業者のひとりが俳句に造詣が深く、それで芭蕉(Basho)にしたと聞く。ちなみに、俳句は今やそのまま英語“Haiku”で通じるほど人気は高い。クラウドの世界でも、Hero(ヒーロー)とHaiku(俳句)をもじった社名Herokuというプロバイダーがあるし、前Sun CEOだったJonathoan Shuwartz氏も英語の俳句を作っていた。さてBashoだが2008年、同じボストンに本拠をもつAkamaiのエンジニア達が興した会社である。彼らが試みたのはAmazonが出したDynamoに関する論文の製品化だ。目指すはエンタープライズには欠かせな
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
今日もRiakアドベントカレンダーの記事だよ! GLEE見てると"Call Me Maybe"という曲があって、それがなんとなくお気に入りな昨日今日です。今日はWebDB Forum 2013で話してきたCRDTの話。 CRDTって何よ?という人多いと思うので当日僕が話したスライドを見てほしい。 まとめると、絶対にデータをなくしたくないし可用性を下げたくないための可換データ型をRiakにネイティブで実装したよという話です*1。で、ちょっと使ってみようと。 Riak 2.0を落としてきて動かす $ git clone git://github.com/basho/riak $ cd riak $ git checkout riak-2.0.0pre7 -b crdttest $ make rel $ ulimit -n 4096 $ rel/riak/bin/riak start これで多分
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. While SQL databases are insanely useful tools, their
IDCフロンティアのUI・UXチームです。 前回はフロントエンド領域の開発に関する業務フローを中心にご紹介しました。今回は利用技術だけでなく、効率的に開発を進めるための工夫や普段気を付けている点などをご紹介します。 前回のブログ内容と合わせて読んでいただくと、実際の業務イメージが想像しやすいかもしれません。 利用技術 JavaScriptライブラリ ライブラリの取り扱い 静的解析ツール CI CD 生産性を上げるための工夫 デザインシステムを用いたUI仕様の決定 テスト駆動開発を用いた手戻り・抜け漏れの防止 Autifyを用いたE2Eテストの実施 普段開発やコードレビューで意識していること 長期メンテを考慮した設計・実装にする 初心者でも読める実装を心がける どんな方が向いているか お客さまの分かりやすさを追及するためにどんなUIがいいか考えられる方 より読みやすく保守しやすいコードを書く
Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) というデータ構造を使っています。 LSM-tree を簡単に説明すると、入力されたデータをログとメモリ上のデータストア(Memstore、メモリストア) に書き込みます。 メモリストアがいっぱいになると、まとめてディスクにフラッシュし、新しいストアファイルを生成します。 このストアファイルがたまってきたときに、少しづつ一まとめにしてなるべくファイル数を少なくするようにします。これがコンパクションです。 コンパクションを実行することにより、ファイルは一つにまとまります。こ
2012-12-16 HBaseを止めるな! ~OKWaveの挑戦~ HBase Hadoop いまだにHBaseには怖くて手が出せてないんですが、12/10のHadoopソリューションセミナー@東京カンファレンスセンター品川でのOKWaveさんの事例紹介が素晴らしかったのでご紹介します。この発表を聴いていたら「何とかなるんじゃないか?」という気がしてきました。まず気を付けるポイントは以下の4点 1. リージョン自動分割はしない デフォルトではリージョンが一定サイズを超えると自動分割が走ってしまい、分割中はリージョンにアクセスできなくなる。リージョンは事前に分割しておいて、自動分割閾値を極端に大きい値にしてリージョン自動分割を走らせない方が良い。 2. メジャーコンパクションを走らせない デフォルトでは24h±20%毎に走るけれどもこれだと影響が大きくなってしまうので、そうなる前にこまめに
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
What is WebScaleSQL? WebScaleSQL is a collaboration among engineers from several companies that face similar challenges in running MySQL at scale, and seek greater performance from a database technology tailored for their needs. Our goal in launching WebScaleSQL is to enable the scale-oriented members of the MySQL community to work more closely together in order to prioritize the aspects that are
きっかけはこのツイート。 基礎的なことなんだろうけど理解できてないこと。 読み取り権限のない実行権限だけのファイルってどういう扱いになるんだろう。— ゑぬぽい改@電探が出(ん)たん? (@NPoi) March 27, 2014 実際にやってみるとわかるけど、実行権限だけついてるファイルは実行可能です。でも、「読み込めないのに実行できる」というのは直感に反するような気もしますね。だって、実行するためにはプログラムをメモリに読み込む必要がありますから!ではなぜ実行権限だけのファイルが実行できるのか、その仕組みを解説します。 実行とはなにか、どういう仕組みなのか Linux において実行とは「forkしてexecする」です(そのへんの詳しい話は プロセスさん を読もう!)。 fork も exec もシステムコール(正確には execve がシステムコールで exec はそのフロントエンドだけ
今回から、具体的なJava SE 8の新機能について紹介していきます。はじめに紹介するのは、やはりJava SE 8の機能の中で最も注目されているProject Lambdaです。 とはいっても、Project Lambdaで策定している仕様を1回で紹介するには範囲が広過ぎます。そこで、今回はProject Lambdaの中で、最も基本的な部分であるラムダ式を中心に紹介していきます。 Project Lambdaの成り立ち 前回、紹介したようにJava SE 7のリリースが遅れた要因の1つに、Project Lambdaがあります。 Project Lambdaの成り立ちについては、本連載の2010年3月の「クロージャからProject Lambdaへ」で言及しました。しかし、それから随分時間が経ってしまいましたし、その後もやはり紆余曲折あったので、改めてここでまとめてみましょう。 Pro
最近、情報サービス産業協会(JISA)の懇親会などITベンダーの経営トップらが集まる場に出てみると、ITベンダーの経営が完全に弛緩しているのがよく分かる。 アベノミクスによる景気回復に加え、みずほ銀行や郵政のシステム移行、マイナンバーに絡むシステム導入などが集中する「2015年問題」を控えているので、当分は人月商売に困らない。少し前まで叫んでいた「ビジネスモデルの変革」はすっかり過去の話。経営トップは皆、満面の笑みである。 だが、弛緩しきっていて本当に大丈夫か。実際、大手SIerの経営者に会うと「SI料金が思ったほど上がらない」とのボヤキ節を聞かされることが多くなった。 引き合いが増えてきているのに、SI料金の人月単価の引き上げにつながらない。下請けへの外注単価は容赦なく上がっているのにどうして、というわけだ。IT投資が戻ってきているときの“要件バブル”や“引き合いバブル”などの影響も考え
日本共産党の大門実紀史議員は26日の参院消費者特別委員会で、三菱東京UFJ銀行が「偽装請負」で日立製作所から子会社を通じて労働者を派遣させている問題を告発し、金融庁が同行の違法行為を改めるよう監督の徹底を求めました。 大門氏は三菱東京UFJと日立の偽装請負を厚生労働省東京労働局が職業安定法違反で是正指導したことを暴露。東京・大手町の三菱東京UFJ本店で偽装請負で働き、東京労働局に内部告発した日立子会社の女性の訴えをもとに「メガバンクの最先端の職場のフロア丸ごとが、偽装請負で成り立っている」と違法行為の一端を紹介しました。 こうした不祥事について、銀行法53条は30日以内に金融庁に報告するよう銀行に求めています。大門氏は「偽装請負を改善しますということも含めて、報告はあったのか」と金融庁に尋ねました。 金融庁監督局の池田唯一審議官は、三菱東京UFJが是正指導を受けた事実を認め、「昨年8月に改
海外の会社に安価にアプリ開発を依頼したい。でもコミュニケーションに不安がある。 そんな悩みに、見積り依頼をネット経由でするだけで契約、納品まで日本の会社が至れり尽くせり対応してくれて、セキュリティチェックやデバッグのオプションもある、セカイラボというサイトがあるのをご存知だろうか? Sekai Lab Pte.Ltdの代表取締役 COO大熊一慶(おおくま いっけい)氏に話を聞いた ■オフショア開発から獲た海外開発のノウハウ Q、このサービスを始めるに至ったいきさつを教えてください。 「セカイラボはモンスター・ラボ社のグループ会社として新たに起ち上げた会社なのですが、元々モンスター・ラボでは自社の音楽配信サービスやゲームの開発、企業様向けの受託開発を中国の子会社で行ういわゆるオフショア開発を行っており、海外開発のノウハウやネットワークを培っていたという点があります。 国内でITエンジニアの需
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く