Evernoteからの卒業とその受け皿について
おそらく、生産性ツールやコラボレーションツールとしての進化の方向性を模索した感があって、当初会った「第二の脳」コンセプトはどこにいたのやら・・。 今回強く感じたのはEvernoteが遂げてきた進化と、今後の方向性が、完全に自分の期待値から外れていると言うこと。同じバンドメンバーなら解散待ったなしの方向性のズレ。 ぶっちゃけ、 タスク管理はTodoistPKMはObsidianネタの管理はWorkflowyDaily NoteはLogseq（これはObsidianに統合予定）と既に「メモの一時保管場所」と「参考情報置き場」にしかEvernoteを使っていなかったので、その為だけに年間9300円はちと高いなってことで、このたびEvernoteから卒業することを決めました。（2024年の8月までSubscriptionが残っているので、暫くは併用するけど・・ね） 私のことが嫌いになってもEver
Cloud Composerにデータマート集計基盤を移行しました - ZOZO TECH BLOG
こんにちは、MLデータ部データ基盤ブロックの奥山（@pokoyakazan）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テーブルは、大きく分けて以下の2種類に分類されます。 システムDBのデータやログデータなどが、特に加工されることなく連携されている一次テーブル 一次テーブルから必要なデータを使いやすい形に集計したデータマート 本記事では、後者のデータマートを集計するジョブを制御するワークフローエンジンを、DigdagからCloud Composerに移行した事例について紹介します。Cloud Composerとは、GCPにてApache Airflo
単純なバッチだけどDataflowで構築する - Qiita
Web API形式にすれば簡単でよいのですが、制限時間があるのが困ります。 それ以外はパイプライン処理を定義するサービスになっていますが、アプリケーションを1つ実行できればいいだけなので、パイプライン制御用のフレームワークなどは特には欲しくありません。 ちょうどいいのがなくて困ります... 嫌なら使わなければいいじゃないか、ということで、世の中の人たちも、いろいろ工夫をされているようです。 世の中での工夫 Cloud FunctionsからGCEインスタンスを起動する Google Compute Engine を用いた機械学習モデル学習バッチのスケジュール実行 (2019-10-07) 邪道だけど安くて簡単 - GCPで重いバッチ処理 (2019-12-19) Cloud FunctionsでGCEインスタンスを起動し、処理が完了したら自前でインスタンスを停止する、という作戦です。 GC
Google Compute Engine を用いた機械学習モデル学習バッチのスケジュール実行 - MicroAd Developers Blog
こんにちは、機械学習エンジニアの河本 (@nnkkmto) です。マイクロアドのシステムにおいて、機械学習が必要な部分の研究開発及び実装を担当しています。 この記事では GCP (Google Cloud Platform)、特に GCE (Google Compute Engine) を用いた機械学習モデル学習バッチのスケジュール実行について紹介できればと思います。 はじめに 前提 全体の流れ 各処理の詳細 スケジューリング Cloud Scheduler Cloud Pub/Sub Cloud Functions インスタンス起動による学習バッチの実行 preempted 時のリトライ処理 終わりに はじめに 現在マイクロアドでは、以下にあるようにGCP を用いた機械学習基盤の構築を進めていて、Kubeflow を用いた実行環境へ移行予定です。 オンプレ×Google Cloud Pl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
