冪等なデータ処理ジョブを書く - クックパッド開発者ブログ
こんにちは、マーケティングサポート事業部データインテリジェンスグループの井上寛之（@inohiro）です。普段はマーケティングに使われるプライベートDMP（データマネジメントプラットフォーム）の開発を行っています。本稿では、その過程で得られた冪等なデータ処理ジョブの書き方に関する工夫を紹介したいと思います。今回は、RDBMS上で SQL によるデータ処理を前提に紹介しますが、この考え方は他の言語や環境におけるデータ処理についても応用できるはずです。 まずクックパッドのDMPと、冪等なジョブについて簡単に説明し、ジョブを冪等にするポイントを挙げます。また、SQL バッチジョブフレームワークである bricolage を使った、冪等なジョブの実装例を示します。 クックパッドのDMPと冪等なジョブ クックパッドのプライベートDMPは、データウェアハウス（社内の巨大な分析用データベースで、クックパ
OSSへフィードバックしてみたいけど、英語でどう書けばいいのか分からない - 2019-07-12 - ククログ
結城です。 ここまで、OSSへのフィードバックをやってみようとした時に躓きがちなポイントについて、フィードバックするトピックの見つけ方、報告に盛り込むとよい内容、その情報の送り届け先の選び方の知見をそれぞれ述べてきました。 ところで、それらの技術的な内容以前のハードルとして、言語の壁という物もあります。実際にOSS Gateワークショップでも、フィードバック内容をまとめた後、英語でそれを書き直すという段階で手こずっておられる方がかなり多い印象があります。 ITエンジニア向けに「こういう英語表現を覚えよう」という情報を紹介する記事は時々見かけます。ですが、ワークショップでビギナー参加者の方が英語を書くのに苦労している様子を実際に見ている印象では、必要なのはそういった記事で紹介される「実際の現場でよく使われる単語や熟語の情報」ではなく、「実際の現場で英文を書く時に行われる考え方の解説」の方であ
Goを学ぶときにつまずきやすいポイントFAQ | フューチャー技術ブログ
他の言語になれた人が、初めてGoを書いた時にわかりにくいな、と思った部分はどういうところがあるのか、難しいポイントはどこか、という情報を自分の経験や、会社の内外の人に聞いたりしてまとめてみました。まだまだたくさんあるのですが、多すぎるのでまずはこんなところで。コンテナで開発することがこれからますます増えていくと思われますし、その時にコンテナとの相性が抜群なGoをこれから使い始める人もどんどん増えていくと思います。 Goは特に言語のコアをシンプルに、何かを実現するときはそのシンプルな機能を組み合わせて実現しよう、というコンセプトです。つまり、他の言語で実現したいこと・できていることに比べて、Goは組み合わせ（イディオム）でカバーする領域が広くなります。そのあたりのとっかかりになる情報を提供することが、これからGoを触る人にとってつまずきを減らすことになると思います。 Go Conferenc
REST API のテストに Postman 使ってたけど Visual Studio Code の REST Client に乗り換えた - かずきのBlog@hatena
くっ、名前だけ知ってたけどこんなの便利だとは…！！ marketplace.visualstudio.com Azure API Management の Visual Studio Code 拡張機能で API のテスト呼び出しに REST Client が使われてるので使い始めてみたのですが「あっ、ハイ。便利っすね…」という感想しか出てこないくらい便利でした。 普通に HTTP のリクエストをテキストで用意しておくと Send Request 押すだけでレスポンスを出してくれる…。 先人の方々が沢山紹介してくれてる記事があるので詳しい使い方とか推しのポイントはそちらを見るとわかりやすいと思います！ qiita.com 私の推しポイント 上記記事にも書いてありますが、1ファイルで複数のリクエストを書いておいて、個別に実行できるので特定の API をテストで叩くためのファイルを 1 つ用意
オンラインvimトレーニングで休日にvimmerへの一歩を進めてみよう | DevelopersIO
はじめに ローカルでのTerminalを使った開発 EC2インスタンス等へログインした後に発生するテキスト編集作業 など、vim等のテキストエディタを使うシーンというのはそれなりに発生します。いざその場面に遭遇した際に、テキストエディタ操作で手間取ってしまうことは避けたいものです。 vimのローカルトレーニング用テキストとしてvimtutorというコマンドがあります。 % vimtutor =============================================================================== = V I M 教 本 (チュートリアル) へ よ う こ そ - Version 1.7 = ===========================================================================
これで分かった！CSS GridとFlexboxの使い方を習得できるチートシート、ゲームまとめ
この記事では、CSS FlexboxとGridをつかってお好みのレイアウトを作成するコツやポイントをまとめた使い方ガイドやチートシート、ゲームなどをまとめて紹介しています。 ゲーム感覚で新しいCSSプロパティを学習することができたり、記述方法をど忘れしてしまったときなどにも便利で、お好みのレイアウトをオンラインで作成できるツールもあります。覚えようと思ってなかなか手がつかなかったひとも、これならすぐにはじめることができますよ。 CSS Gridの使い方ガイド、チートシート、ゲームまとめ Grid Garden CSS Gridレイアウトプロパティを使うことで、人参に水を与えながら自分の農園を育てていく、ゲーム感覚でGridプロパティを学ぶことができます。ゲームの各レベルでは、ゲーム達成に利用できる他のプロパティについてもサンプル例と一緒に解説されています。 Bonus – CSS Dine
年収200万円から見る東京
はてブを見てたら「年収200万円で東京住んでるとかあり得ない。釣りだろ」みたいなコメントを見かけて、ちょっともにょっとしたので、思ったことを書いてみる。 ちなみに、TRADING ECONOMICSによると、南アフリカの平均月収は20,855ZAR(=約16万円=年収約192万円)【2019年第1四半期のデータ】 年収200万円で東京に住んでる人はものすごくたくさんいるという事実 東京における非正規雇用の比率東京都総務局統計部が出している労働力に関するデータ「平成３０年平均 ＞ 第 ３ 表 年齢階級別就業状態（男女計）」によれば、東京都の就業者数は平成30年の平均で約792万人だった。うち、25~34歳は約160万人で、20%を占める。若者がそんなに少なくないことがうかがえる。 また、「第 ８ 表 年齢階級、雇用形態別の役員を除く雇用者数」によれば、平成30年平均で、正規雇用は429万人、
これが現代の科学力……！ 「スーパーマリオメーカーはチューリング完全」はなぜたった1年半で証明されたのか
「マリオメーカー学会」というものをご存じでしょうか。自作ステージを作って遊べるゲーム「スーパーマリオメーカー」に斜め上過ぎる楽しみ方を見いだした“研究者”の集まりで、これまでには「クリアに20万年ほどかかるステージ」「ギミックを巧みに活用した計算機」などが開発されています。 話がぶっ飛んでいて何が何だか分からないかもしれませんが、きっとそれだけ研究が進んでいるということでしょう。今回は、5分間で数学を語るイベント「日曜数学会」から、同学会のハイレベルさが伝わる発表「スーパーマリオメーカーはチューリング完全」を書き起こしました。 拡大画像でスライドを見る スーパーマリオメーカーはチューリング完全 イベント：2019年6月29日開催の第15回「日曜数学会」（Twitter：@nichimath） 発表者：yos1upさん（Twitter：@yos1up） 発売から約2週間で、計算機になったスー
一風堂、参院選で投票したら替玉か玉子を無料に 「ラーメンは伸びないほうが良い。投票率は伸びたほうが良い」
一風堂、参院選で投票したら替玉か玉子を無料に 「ラーメンは伸びない方が良い。投票率は伸びた方が良い」【全ポスター画像】
Prometheusで本番環境の監視をして3か月経ちました - WILLGATE TECH BLOG
本番環境の監視をZABBIXからPrometheusに切り替えてから3か月程度経過しました。 今回は Prometheus 導入に関してハマったところ 現在のPrometheus活用状況 といった所を紹介したいと思います。 「Prometheusって何？」という方はこちらをご覧ください。 tech.willgate.co.jp Prometheus導入でハマったところ メール送信設定 Rプロキシ経由にする 現在のPrometheus活用状況 現在の構成 ECインスタンスの監視 設定のバージョン管理 種類豊富なexporter 柔軟なPromQL Grafanaとの組み合わせ まとめ その後の取り組み（2019/11/12 追記） Prometheus導入でハマったところ 紹介するところ以外でも色んなところでハマったのですが、代表的なところを紹介します。 メール送信設定 Alertmanag
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
