2018/6/20 JJUGナイトセミナーでの講演資料(修整版)。JDKの新しいリリースモデルを解説しています。Read less
CVPR 2018 ( http://cvpr2018.thecvf.com/ )の参加速報を書きました。 この資料には下記の項目が含まれています。 ・DNNの概要(DNN以前の歴史や最近の動向) ・CVPRで議論されているサブタスクとホットな領域 ・CVPR 2018での動向や気付き ・これから引用されそう(流行りそう, 面白そう)な論文 ・cvpaper.challengeで考案した、研究アイディア ・今後の方針 (・論文まとめはこちらにあります Link: https://github.com/cvpaperchallenge/CVPR2018_Survey ) cvpaper.challenge はコンピュータビジョン分野の今を映し、創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆(・社会実装)に至るまで広く取り組み、あらゆる知識を共有しています。 http
一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL*1周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを使って実行してみる 一休のETLの現状について 一休のETL周りは以下の画像のようになっていました。 課題 ETLの処理時間が伸びた(出社後も処理が続いていた) エラーのリカバリ作業に時間がかかる(ログが確認しにくい, サーバーに入って作業しなければいけない) 複雑な依存関係の定義がしにくい(どれとどれが依存しているかわからない) リソース負荷(全て並列で実行していた) 処理毎のボトルネックが把握できない ツールの問題というよりは正し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く