メルペイにおける大規模バッチ処理 | メルカリエンジニアリング
この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや、アプリケーションのログを有効活用できるような基盤づくりをデータプラットフォームチームとして行っています。 データプラットフォームではラムダアーキテクチャに基づき、スピードレイヤとして Cloud PubSub と Cloud Dataflow を利用した仕組みに加え、バッチレイヤとして Cloud Composer と Cloud Dataflow を利用した仕組みを構築しています。 この記事ではバッチレイヤのアーキテクチャについてご紹介します。 スピードレイヤのアーキテクチャについては 「GCPでStreamなデータパイプライン始めました」 を参照くださ
MEMBER MESSAGE
まずは、突然のお知らせになってしまったこと、本当にごめんなさい。Shiggy Jr.は解散します。 去年の夏頃、喉に「声帯結節」という症状があることがわかりました。日に日に思うように歌えなくなる現実に直面し、立ち止まらざるをえなくなって初めて、これまでの7年間、毎日の出来事についていくのに必死で置いてきぼりにしてきた気持ちが沢山あったことに気が付きました。自分が歌う意味やこれからの人生について、より深く考えるようになりました。そして30代を目前にした今、もう1度自分のペースで人生を歩んでみたいと思い、考え抜いた末に出した答えが、バンドから離れるということでした。 茂幸君が作り上げた世界を1番いい形で表現すること、その主人公になりきることが、ずっと私のやりたいことでした。必死にそこに食らいついてきたし、それが本当に楽しかったです。でも、自分が自分として表現出来る世界を見てみたい、という気持ち
RailsのControllerにApplicationService相当のロジックを書くのはありなしや？ - 猫型の蓄音機は 1 分間に 45 回にゃあと鳴く
誤解を産んでいそうだったので追記します。ここでいうApplicationServiceというのは、いわゆるレイヤードアーキテクチャのアプリケーション層のApplicationServiceレイヤの話です。別の言葉だと、「Usecase層」とか言う言葉で呼ばれたりするアレのことです。追記おしまい。 Railsにおいては、ApplicationService相当のロジックをコントローラーに書いても良いものとする— 猫でもわかるしんぺい入門 (@shinpei0213) June 4, 2019 これについてです。 結論から先にいうと、ぼくは「正しい」と思っています（ただ、自分ではあまりやらず、ApplicationServiceに切り出しちゃいますが、これは好みの問題だと思っています）。 なぜ正しいと思うのか。それを考える際に、まずは「一般的に、なぜControllerとApplication
趣味の釣りが好きすぎて、脱サラして居酒屋まで開店した「釣りバカ」店主の話 - メシ通 | ホットペッパーグルメ
好きなことで生きていく 「好きなことをして生きていきたい」 人生100年時代と言われる現代、定年という概念が崩れるなかで、そう願う人が増えているように感じます。 「好きなことだけして稼げたら……」 「趣味を仕事にできたら……」 みなさんもそう考えたこと、ありませんか？ そんななか、趣味である「釣り」を思いきり活かして「店主自らが釣ってきた魚を囲んで、仲間たちと大宴会しながらお店を経営している」という、羨ましすぎる居酒屋を発見しました。 とにかく釣りが好き！ 魚が好き！ まさに「釣りバカ」な店主の魚と愛を味わいたいなら、まずはぜひ五反田に足を運んでみて欲しいのです。 釣りバカすぎて、釣りを仕事にしてしまった ▲五反田駅から目黒川を渡ってすぐ 五反田駅の西口から徒歩3分。目黒川沿いのビル1階にあるのが、釣りバカ店主の営む居酒屋「おまつり本舗」さんです。 ▲これでもか！ とヱビス様の暖簾が 店内
手ぶらで楽しめる「バーベキュー場」9選！駅から徒歩10分以内で行ける【東京】 ｜じゃらんニュース
だんだん暖かくなり、半袖で過ごす人も見かけるようになってきたこの時期。外でBBQをしながら、美味しいお肉とビールで乾杯したくなりますよね。 今回は、東京都内の駅から徒歩10分以内で行ける「バーベキュー場」を9つご紹介します！車やBBQ道具、食材を揃えなくても手ぶらBBQが楽しめますよ！ ぜひ、行きやすいバーベキュー場をチェックしてみてくださいね。 記事配信：じゃらんニュース 【東京駅より徒歩3分】ザファームトーキョー 手ぶらでBBQが出来るビアテラス＆ベーカリーカフェ「THE FARM TOKYO（ザファームトーキョー）」が、東京駅より徒歩3分の場所に、2019年4月5日（金）から10月31日（木）の期間オープン！農機などでおなじみのヤンマーさんが運営されているだけあって、自然を意識した内観です。 手ぶらでBBQが楽しめる「YM BOYS」では、ラムチョップとガーリックシュリンプが付くプレ
制限時間５分で競うオリジナルラーメン選手権
趣味は食材採取とそれを使った冒険スペクタクル料理。週に一度はなにかを捕まえて食べるようにしている。最近は製麺機を使った麺作りが趣味。（動画インタビュー） 前の記事：トングでカニを捕まえた（デジタルリマスター版） ＞ 個人サイト 私的標本 趣味の製麺 ラーメン作りは10分から5分へ それにしても5分である。茹で時間3分のインスタントラーメンでも、ちょっと具を用意したりすれば5分は掛かる。その刹那の時間で一体どんなラーメンが作れるだろう。 生麺の茹で時間が2分半だとして、まず最初の1分半で具材を用意し、麺を茹で始め、その間に調味料や加熱する具を煮てスープを作り、ラスト1分で丼に盛り付けるという流れが基本の調理フォーマットか。 例えば、万能ねぎを刻み、麺を茹で、鍋で豚肉と調味料（醤油、だしの素など）を煮てスープと煮豚を作り、丼に盛ったところで、別鍋で熱した胡麻油をジューっと掛けるというのはどうだ
Direct instruction marking in Ruby 2.6
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ARPANET, Part 2: The Packet