HDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。Yahoo! JAPANでHadoopに携わっているエンジニアの浅沼です。Hadoopは大量のデータを分散処理するためのオープンソースソフトウエアです。この夏にリリース予定のバージョン3.0系には、HDFSの新機能であるErasure Codingが導入されます。Yahoo! JAPANではHadoopコミュニティーでErasure Codingの実装に参加してきました。本記事ではErasure Codingの仕組みを詳しく解説し、弊社での運用事例を紹介します。 既存のHDFSの課題 Hadoopの中核をなす分散ファイルシステムのHDFS（Hadoop Distributed File System）は、マス
スポーツで人生はかわらない - orangestarの雑記
news.yahoo.co.jp www.nikkei.com ここらへんの記事など。 スポーツを振興させようとしている人というのは、スポーツ（身体を動かす）ことによって、体調がよくなる、体力がつく、運動と瞑想の運動効果でメンタルがよくなる、ということよりも、体育会系のしばきあげ効果によって、体育会系コミュ力（上のいうことを素直によく聞く、逆らわない）を高めたいだけであって、健康とか個人の楽しみとかどうでもいいということがよくわかる。 そりゃあそういう教え方でわかるスポーツの楽しみなんて「弱いやつに勝って楽しい」だけだし、スポーツがが楽しくない人はどんどん増えていくと思うよ。 勝負の勝ち負けとか、ルール以外のなんだかよくわからない決まりを守ることを重視するのをやめて、ただ、楽しい部分を楽しませる、っていう風にするだけで、スポーツ好きな人間は十分に増えると思うんだけれども。でも、たぶん、そう
どのようにエンジニアの目標設定を行うか - $shibayu36->blog;
以前 ゴールを決め目標を決める・解決案ではなく質問する - コーチングの学習で学んだこと - $shibayu36->blog; で、「ゴールを決め、現在位置とのギャップを考え、目標を決める」と良いということをまとめた。イメージとしては以下の図の通り。 しかし、前回の記事だと具体的にどのようにエンジニアの目標設定を行うかイメージが湧かない。そこで、もう少し具体的に最近どのようにやっていたかを書いてみたいと思う。 僕がメンティーと目標設定を行うときは、以下のフローを辿っている。 なんでも良いのでゴールのイメージを明確にする 現在の自分とゴールのイメージのギャップを考える ギャップを埋める目標を考え、アクションを定める ちなみに今回は、チームの成果達成のために個人の目標を決めるのではなく、エンジニアのスキル向上の目標を立てるという前提で書いていく。 なんでも良いのでゴールのイメージを明確にする
「優秀な人材が欲しい」と言う経営者の言葉は、その人が人間をどう見てるかがそのまま表れている。
「優秀な人材が欲しい」と言う経営者の言葉は、その人が人間をどう見てるかがそのまま表れている。 2019年12月16日 働き方・キャリア 設立２〜３年目の会社が直面する課題の一つが「採用」だ。ここ一年、周りのベンチャー経営者たちから「良い人が採れない。どうしたらいい？」と相談されることが多々あった。 売り手市場の昨今、ベンチャーに限らず大体どこの会社も採用に苦労している。 ところが知り合いの中に１社だけ、欲しい人材を順調に採用し、和気あいあいと楽しそうに経営している会社があった。 正直、私はなぜこの会社の採用が上手くいっているのか不思議だった。何かずば抜けて魅力があるわけでも、福利厚生が充実してるわけでも、人事のプロフェッショナルがいるわけでもない。 むしろ採用に苦心している会社の方が、PRは上手だったりする。社長がメディアで取り上げられていたり、ホームページが格好良かったり、新しい働き方を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
