メタデータ管理のすすめ その２ メタデータの収集・管理方法について - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！ IT統制グループの中島です。 メタデータ管理に関わるブログ第二弾になります。第一弾の記事はこちらをご参照ください。 以前と組織は変わっていますが、引き続きメタデータ管理にも携わっています。 第一弾の記事で、「メタデータ管理を流行らせたい」と書いたので、 今回は弊社のメタデータ管理の仕組みをお伝えしようと思います。 これからメタデータ管理を始められる方の参考になると幸いです。 ちなみに弊社のメタデータ管理システムは「MetaBo」と言います。 Meta Bibliography（メタ書誌情報）を略してMetaBoと名付けられました。 MetaBoの全体概要 MetaBoは、社内に散在するデータに関する情報（メタデータ）を一元管理し、横断的に検索する仕組みです。 収集したメタデータをキーワード検索することで、スキーマ・テーブル・カラム・インデックスなどに辿り着けるWebアプリケー
Oracle Cloudの機械学習でフードロス減少に挑む - ぐるなびをちょっと良くするエンジニアブログ
こんにちは、IT統制セクション データマネジメントグループの宮澤です。 2009年にぐるなびに入社し、データベース管理者（DBA）としてキャリアを重ねてきました。2016年からは、データ管理者（DA）のチームを発足し、関係各部署と協力し、全社的なデータマネジメントの企画・検討と推進を行っております。 ぐるなびにおけるデータマネジメントの取り組みについては「メタデータ管理のすすめ」の中で公開されていますので、ご興味のある方は、合わせてお読み頂ければと思います。 私の所属するIT統制セクションは「データ利活用の促進」もミッションの一つに掲げており、社内データはもちろん、昨今話題になっているオープンデータの社内利用や連携なども検討しておりました。 そんな折、日頃からお世話になっている日本データマネジメント・コンソーシアム（JDMC）の「エンジニアの会」において、あるイベントの出場者を募集していま
Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 - ML_BearのKaggleな日常
これはなに？ デジタルマーケター 兼 プロダクトマネージャー 兼 データアナリスト (肩書長い…) の私が Kaggle に挑戦した約半年間の記録です。現時点で2つのコンペに真面目に取り組んで2つの銀メダル(入賞)を獲得出来ています。 Kaggle挑戦期間を通して、有識者の素晴らしい資料に助けられたのでとても感謝しています。同じような志を持つ方に自分の記録が少しでも役に立てばと思い、有用な資料のリンク集に私のKaggle参戦記ポエムをつけてまとめてみました。 自分の得意領域で勝負しようと思ってテーブルデータのコンペばかり選んでいるのでDeepLearning系の話は全然ないです、すみません。 目次 プロローグ Kaggleへの興味の芽生え 初参戦 → 即撤退 ガチ参戦に向けた修行 初ガチコンペデビュー 初ガチコンペ…、のはずが。 初ガチコンペ参戦 ベースモデル作成 特徴量エンジニアリング
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら こんにちは。今年2018年4月より新卒でRCOに入社した松田です。 kaggle というデータ分析のコンペティション運営サイトが昨今世間に注目されていますが、 今回 TalkingData AdTracking Fraud Detection Challenge において2月にkaggleを始めた私が単独で金メダル(ソロゴールド)を獲得できたのでそれまでにやったことなどをシェアしたいと思います。 図: kaggleサイト( https://www.kaggle.com/ )のプロフィール画面より 図: kaggleでの活動ログ。中2ヶ月はやってないので実質の活動期間は1ヶ月ほど コンペの具体的内容やテクニックの話は 別記事 にまとめたので、
ぐるなびデータ基盤の運用について - ぐるなびをちょっと良くするエンジニアブログ
はじめまして。データマネジメントグループ DMPチームの瀧澤と申します。趣味は映画鑑賞と自宅のスマートホーム化です。 ぐるなびではデータ基盤の構築・運用を担当しています。 今回は私が運用しているデータ基盤環境の概要や導入経緯、運用のTipsをご紹介させていただこうと思います。 ぐるなびでの導入経緯 過去環境からの変遷 現データ基盤環境の概要 Hadoopのエコシステムを利用 他システムとの連携 気軽に分析・集計ができる検証環境 構築作業説明 エコシステムバージョンアップ 注意した点〜入念にテストを実施 マスターノード移行 注意した点 構築作業でハマった箇所 Hiveのバージョンアップに伴うバッチ動作確認 Hiveの認証方式廃止問題 権限付与 なりすまし機能 コマンド 日々の運用 クラスタの運用について 自作のコンフィグ自動更新ツールによってファイル展開を容易にする 今後の展開 今後の環境
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
