『ElasticSearch(0.19)で無理やりデータ復旧させた話』
こんにちは。Amebaの基幹系インフラ担当している鳥垣です。 ユーザーのサービス用途でElasticSearch（0.19.10）を使用しているのですが、先日ElasticSearchの障害で一部のShardが読めなくなってしまいまして、それを力技で無理やり読めるように復旧させたのでその時の奮闘記を記載したいと思います。 運用情報台数：30台CPU：24コアHeap：8GBインデックス数：３総データ容量：約300GBShard数：128レプリカ数：2バージョン：0.19.10※OpenStackの仮想サーバ ホスト障害発生OpenStackのホストサーバがダウンし、ElasticSearchのノードが1台ダウン。Shardの再配置処理が走り、ダウンしたノードが持っていたShardは他ノードに分散される。この時点ではElasticSearchのクラスタステータスはグリーンだった（Headプラ
現実世界のマイクロサービス：サービスに陰りが見え始め、いよいよ本気になるとき | POSTD
マイクロサービスを用いれば、エンジニアリングチームは迅速にプロダクトを拡大することができます……もちろん、彼らが分散システム運用の複雑さのせいで泥沼にはまっていなければの話です。本記事では、マイクロサービスの運用に関わる非常に厳しい問題―例えば大規模なサービスのステージングやカナリアデプロイなどの問題―が、RPC層に ルーティング の考え方を導入することにより、どう解決できるのかを説明します。 私は、Twitterでインフラのエンジニアを務めていた時代（2010年から2015年まで）を振り返ってみました。すると、当時はそういった言葉がなかったというだけで、私たちは「マイクロサービスを使っていた」のだということが分かります（当時は、今思えば分かりにくい言葉、 SOA ＜サービス指向アーキテクチャ＞と呼んでいました）。 バズワードはさておき、当時も、現在私たちがマイクロサービスを使おうとする動
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
SIer依存脱却！AWSを自社運用する「あるフツーの会社」の勇気
6月3日、AWS Summit 2016の3日目のセッションで登壇したのは、千趣会の情報システム部 システム管理チーム 池本修幸氏。池本氏は、SIerに大きく依存していた同社が、AWSの自社運用に踏み切るまでの苦労や考慮点を丁寧に説明した。 「女性を幸せにする会社」は今やクラウドファーストへ 「社内インフラの何でも屋」を自認する池本氏は、サーバーやネットワーク、セキュリティなどさまざまなことに携わってきた。「これから話すのは画期的な技術の話でもなく、ユーザー企業がどうやってAWSを推進してきたのかの話。どうぞみなさん、リラックスして聞いてほしい」と挨拶した池本氏は、まず会社概要とクラウドの導入実績について説明した。 「ベルメゾン」で知られる千趣会は、昨年60周年を迎えたばかり。カタログショッピングで知られているが、2000年に業界に先駆けてECサイトをオープンしている。その後、2007年に
クラスメソッドの社内制度と社風をご紹介します | DevelopersIO
はじめに クラスメソッドは「AWSの会社」「モバイルの会社」「ブログの会社」とよく言われており、エンジニアやブログを最初にイメージされる方も多いかと思いますが、「社員が働きやすい環境を作る」ことに関しても頑張っています。例えば以下のような認定を受けています。 短時間正社員制度導入支援事業（厚生労働省支援） ワーク・ライフ・バランス推進宣言企業（新宿区支援） 平成23年度男性の育児・介護サポート企業認定（新宿区支援） 平成23年度ワーク・ライフ・”ベスト”バランス賞受賞（新宿区） 平成24年度東京ワークライフバランス認定企業（東京都） そこで今回は、クラスメソッドの社内制度と社風をご紹介します。クラスメソッドがどんな会社なのか？を知っていただく一助になれば幸いです。 クラスメソッドの社内制度 フレックスタイム勤務 勤務体系としてフレックスタイム制を採用しています。コアタイムは11:00～15
企業面接で注意すべき4つの危険信号 | ライフハッカー・ジャパン
ついにこの日がやって来ました。憧れの会社の面接試験にこぎ着けたのです。ずっと入りたかった業界で、職種も自分のスキルや経歴に完全にマッチしています。人生の5カ年計画にも合致しています。あとは面接に通れば万事オーケー？ いいえ、まだ安心はできません。 往々にして、企業は外から見たイメージと内部の実情とは大きくかけ離れているものです。多くの人が、いざ面接に臨むと、思考よりも感情が先走って、垣間見える危険信号を過小評価、あるいは無視してしまいます。企業側が実態を隠そうとしているサインを見逃してしまえば、あとで大変な苦労を抱え込むことになります。 では、実際に、どんな危険信号に気をつければいいのでしょうか？ 1. 採用責任者が職務をきちんと説明できない あなたが、企業面接ではごく一般的な質問である、「このチームでデザイナーとして勤務した場合、具体的な1日の業務の流れはどのようになりますか？」を投げか
新米管理職向け。「組織づくり」とは6つのものをつくること。
先日、訪問した会社で「組織づくり」を手伝って欲しいと依頼された。 「組織づくり」とは何をイメージしていますか、とお伺いした所、人によって大分イメージが異なっていた。 例えば、 ・理念の話をする人 ・組織図、業務分掌や職務権限など、指揮命令系統の話をする人 ・教育や育成の話をする人 ・目標や評価の話をする人 など、バラバラであった。 もちろんこれらは間違いではなく、大事な話ばかりである。だが、これらはすベて断片的な情報だ。 「組織づくり」を包括的に教えて貰える機会は、人にもよるがそれほど多くないため、こうなってしまうのだろう。新米の管理職が悩むわけだ。 必要なのは「組織として機能するために、最低限、何が必要か」を見極めることである。逆に言えば最低限、すなわち下の6つのうちどれがかけていても、それは組織として不十分である。 1.目標をつくる ピーター・ドラッカーは 「組織は目的ではなく手段」
転職の理由は人間関係じゃない。本質的に、仕事がつまらないからだ。
人はどんな時に転職を考えるのだろうか。 転職はある日突然引き起こされるものではない これまで何人ものキャリアカンセリングをしてきたが、感情的に許せない出来事があって、ある日突発的に「転職します！」という人は少ない。 多くの人は、日常のふとした瞬間から 「ん？なんだか毎日同じことの繰り返しだな」 「これを続けてて将来どうなるんだろう？」 と漠然と考え始めたという。 その漠然とした思いが一度芽生えると、毎日転職を意識するようになる。今の仕事や会社への疑問がとうとう大きくなり、転職への気持ちが高まった時、転職を決意させるような出来事が起こった、と話してくれる。 「今日の上司の態度はいよいよ許せない」 「納得いかない人事異動があった」 「友人から面白そうな会社に誘われた」 退職を報告される上司の立場に立てば、あまりに突然の申し出に、上のような引き金の出来事があったから転職を決意したと考えるだろう。
[Rakuten TeckTalk] Microservices and Azure Service Fabric (2016/06/02)
Cognitive Services provides APIs that use machine learning and AI to give applications human-like abilities including computer vision, facial recognition, emotion recognition, content moderation and language understanding. Some key APIs are the Computer Vision API, Face API, Emotion API and Language Understanding models. Cognitive Services can be used to extract meaningful information from images,
Terraform管理の取捨選択は運用で状態が変わるかどうかで決めると良い - tehepero note(・ω<)
2016 - 06 - 07 Terraform管理の取捨選択は運用で状態が変わるかどうかで決めると良い 今のプロジェクトではTerraformを使って AWS 上のインフラを構築しているのですが、1年程運用して向いてるケース、そうではないケース等が明確になってきました。 今一度Terraformとは Terraform とは Hashicorp 社のプロダクトで、インフラを管理・構築・破棄をコードベースで行うことができ、まさにInfrastructure as Codeを地で行くような OSS プロダクトです。 AWS だけではなく、その他多くのIaaS/PaaS/ SaaS といったサービスの構成をコードで構築することが可能になります。最近はDockerの管理もサポートしていたり、 GitHub のチームや リポジトリ までもが管理できたりします。 全てが運用に即したものではない Te
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
Interactive Azure Platform Overview