DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
PREP法とは? 文章構成力を上げる3つの方法。SDS法・穴埋め文章作成法も | 次々に読まれる文章とは？
次々読まれる文章の「文章構成」の実践編として、今回は具体的な3つの「文章構成のテンプレート」を紹介していきます。 テンプレートは、当てはめるだけで目的に沿った文章の流れができる「文章構成の型」です。構成が決まっていると、安心して「内容（メッセージ）」に集中できますので、あなたの文章クオリティアップにつながります。 テンプレートを具体的に解説する前に、テンプレートを効果的に活用するために必要な前提を共有させてください。 文章を書けなくしている「思い込みの罠」「文章は始めから、順番通りに書かなければならない」という思い込みは、ありませんか？ もし、その思い込みを少しでもお持ちなら、すぐに捨ててください。「書き始め」から順番に書かなければならないと思っていると、手が止まり、文章自体が書けなくなってしまいます。 まず、ここで大前提としてお伝えしたいのは、「文章はどこから書いてもいい」ということです
オライリー『退屈なことはPythonにやらせよう』 プログラミング未経験者向けの技術書 - はてなニュース
オライリー・ジャパンは、単純作業を自動化する方法が学べる技術書『退屈なことはPythonにやらせよう──ノンプログラマーにもできる自動化処理プログラミング』を発売しました。プログラミング未経験者を対象にしており、手作業だと時間がかかる処理を一瞬でこなすPython 3プログラムの作り方が紹介されています。価格は3,996円（税込）です。 ▽ O'Reilly Japan - 退屈なことはPythonにやらせよう Pythonは、さまざまなプログラムを分かりやすく簡潔に書けるという特徴を持つプログラミング言語です。『退屈なことはPythonにやらせよう──ノンプログラマーにもできる自動化処理プログラミング』は、ファイル名の変更や表計算のデータ更新といった単純作業を一瞬でこなせるプログラムの作り方を学べるというもの。基本をマスターすれば、プログラミング未経験者でも「面倒な単純作業を苦もなくこな
Automate the Boring Stuff with Python
By Al Sweigart. Over 500,000 copies sold. Free to read under a CC license. "The best part of programming is the triumph of seeing the machine do something useful. Automate the Boring Stuff with Python frames all of programming as these small triumphs; it makes the boring fun." - Hilary Mason, Data Scientist and Founder of Fast Forward Labs "I'm having a lot of fun breaking things and then putting
VALUのメリットデメリットから考える一般人のVALUの使い方 - あなたそれ、甚だナンセンスだわよ！
VALUについて凄い一部の間で話題になってますわよ。 そこで改めてVALUってどんなものでどんな経緯で拡散され、どんな形で使っていって、どんな人がやっててるのかをまとめてみましたわよ。 ■VALUのサービスとは【変更もあったようなので改めて】■ 簡単にいうと「個人が企業の変わりとなり投資ができて配当をもらえる！」というもの。 インフルエンサーというネット界隈の有名人達が、 「これは儲けれます！私に投資したらあなたにリターンが返ってくる！新しい経済システムだ！」 ということでどんどん拡散されたんですね。 インフルエンサーの梅木さんのブログ記事をみてみましょう。↓ https://web.archive.org/web/20170605085141/http://thestartup.jp/?p=17896 クラウドファンディングのリターンは非金銭的な「お礼」とか「物品」であり、「お金」ではあ
正規表現：最短一致でマッチさせる表現 | WWWクリエイターズ
※Vimのmagicを利用した正規表現は、記述方法が異なりますので、ご注意下さい。こちら「 正規表現：特殊文字（メタ文字）の一覧 」をご覧ください。 最短マッチを見つける正規表現 さて、具体例を見ていきましょう。例えば、から<a></a>で囲まれたアンカータグを「１つだけ」取り出す事を考えます <nav> <a href="/about">About</a> | <a href="/access">Access</a> | <a href="/contact">Contact</a> </nav> 改行以外のすべての文字を表す「.」を利用して、「<a . *</a>」と言った正規表現が思いつきます。ですが、これだと「最長一致」を探してしまい、上記の例だと、３つのアンカータグをひと続きでマッチしてしまいます。 // アンカータグを検出？（デリミタに#を利用） #<a.*>(.*)</a>#
webpackとRollup：似て非なるもの | POSTD
先日、Facebookは 膨大なプルリクエスト をReactにマージして、既存のビルドシステムを Rollup ベースのシステムに移行しました。 その結果 、 何人もの人々 から「なぜwebpackではなくRollupを選んだのか」という質問が寄せられました。 これは、もっともな疑問でしょう。 webpack は、近年JavaScriptコミュニティで最も評価されているツールの1つです。毎月のダウンロード数は何百万件にもおよび、何万個ものウェブサイトやアプリケーションに使用されています。巨大なエコシステムがあり、コントリビュータも多くいます。さらにオープンソースプロジェクトとしては珍しく、 かなりの寄付金 が集まっています。 それに比べるとRollupは小規模です。しかしReact以外にも、Vue、Ember、Preact、D3、Three.js、Momentなど、数々の有名なライブラリに
YouTubeの動画に虚偽の著作権主張……無差別かつ大量 「異議をとなえなければ広告収入が奪われる」
ゲームのプレイ動画に著作権を持たない会社から著作権を主張された――YouTubeの動画に対して虚偽の著作権を主張され、広告収益を得られなくなる問題が、Twitterの投稿をきっかけに注目を集めています。 Nintendo Creators Program 発端となったのは、任天堂と広告収益をシェアできる「Nintendo Creators Program」に登録し、プレイ動画をYouTubeに投稿していたやまなしレイ（@yamanashirei）さんのツイート。任天堂のゲーム実況動画を投稿すると、任天堂以外の団体（詳細不明のため、個人の可能性も）から著作権を主張され、異議をとなえなければ広告収入が奪われるケースもあるとして注意喚起し、一連の流れをブログにも投稿しました。 ブログによると、投稿された動画は通常のゲーム実況動画でしたが、一件の動画に対し15団体から著作権を主張されたケースもあっ
平社員が経営陣に一言「全員辞表を出してください」朝倉祐介氏がミクシィ復活劇の舞台裏を振り返る
走らない馬を走らせる3要素「理、心、運」 朝倉祐介氏（以下、朝倉）：はい、朝倉でございます。 （参加者から「ミクシィ！」の声） 朝倉：私は、15歳の時に競馬の騎手の候補生としてキャリアをスタートしました。以来、会社の経営も含めて、世の中で起こるだいたいすべてのことは、馬に例えて理解をしています。 （会場笑） 今日は、「走らない馬の走らせ方」すなわち衰退期に入った会社をいかに立て直すか。これを、株式会社ミクシィでの企業再生の経験をベースにシェアできればと思います。 走らない馬を走らすにあたって、私は3つの要素が必要だと考えています。理、心、運。 理。これはすなわち戦略だとか方針。頭で考えることですね。心。これは頭で考えたことをやり抜くタフネスさ、エグゼキューションの部分。運は読んで字の通りです。 問題は、この理と心と運、後付けでどれぐらい結果に貢献していたのか。この比率なんですけれども、私、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
