DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフロ…
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフロ…
AWS Greengrass – AWS Lambdaをネットワーク接続性のあるデバイス上で動かす | Amazon Web Services
Amazon Web Services ブログ AWS Greengrass – AWS Lambdaをネットワーク接続性のあるデバイス上で動かす 私が最初に AWS Greengrassについて投稿したのは、re:Invent期間中でした。(AWS Greengrass -ユビキタス, 現実世界におけるコンピューティング) 我々は、ご興味をお持ちいただいたお客様を招待制という限定プレビューのかたちでローンチさせていただきました。 そのときに私がお知らせしたように、多くのAWSの顧客は、接続が遅く、時には断続的、信頼できない場合がある、現場でデータを収集して処理したいと考えています。Greengrassでは、AWSプログラミングモデルを小型で簡単なフィールドベースのデバイスに拡張することができます。 AWS IoTとAWS Lambdaをベースに構築されており、AWS Cloudで利用可能
さいきんReact, Reduxでやっている設計 - しゅみは人間の分析です
はじめに ブラウザでGUIアプリケーションを作らなくても良い牧歌的な時代は終わりつつあります。個人的な意見としてはブラウザはドキュメントビューアのままでいて、複雑なGUIアプリケーションはネイティブアプリケーションとして実装されてほしいのですが、そうは言ってもお仕事で人間にとって負担の低いUIを作っていく必要があるのです。 Railsでサーバアプリケーションを書きつつ管理画面はネイティブでなんてことはコスト的に実現できません。かといって長期的に運用されるシステムを作ると、システムを運用するためのUIが操作しやすいに越したことはありません。Bootstrapを使っててきとうなフォームを並べただけの画面を作って怒られた経験はありませんか？ たとえサーバ開発者だとしても、我々は使いやすいUIを求め続ける必要があります。 react, redux 複雑なGUIを作るためのフレームワークも乱立の時代
JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
（特に初心者）エンジニアなら、本屋で技術書を買え！！AMAZONで買うな！！ 〜本屋で技術書を買うメリットをここから説明するぞ。別にAMAZONをディスっているわけでもなく、街の本屋を守りたいわけでもないけど、そう俺が守りたいのは未来の優秀なエンジニアだ！！ - アフィリエイトブログ -面倒くさがりの私がたった２ヶ月でウェスト-10cm!!なんつって。
（特に初心者）エンジニアなら、Amazonで技術書を買うな、本屋で買え！！ AMAZONアフィリエイトが大事な収入源のこのブログでこんな事をいうのもアレなんですが。。 とりあえず、本当に技術書をいきなりAMAZONで購入は辞めましょう。（特に初心者） 本屋をオススメする理由 理由１ まずは立ち読みして、その本のレベルが自分と合うかを確認できる これ大事 初心者向けに紹介される本も油断するな！！ リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice) 作者: Dustin Boswell,Trevor Foucher,須藤功平,角征典 出版社/メーカー: オライリージャパン 発売日: 2012/06/23 メディア: 単行本（ソフトカバー） 購入: 68人 クリック: 1,802回 この商品を含むブログ (132件) を見る ↑の
「好きな技術」がある時/ない時 - 圧倒亭グランパのブログ
「好きな技術はなんですか？」 こう聞かれた時、今の自分は真っ先に「crystal言語」と答えます。ですが、昔の自分は好きな技術を明確には持っていませんでした。この 好きな技術がある時/ない時 を振り返ってみると、いろいろと違うなと感じたのでまとめます。 目次 目次 好きな技術がない時 好きな技術がある時 嬉しい二つの効果 周辺知識が自然とついてくる 自分に「特定のイメージ」がつく 好きな技術を持つには まとめ 好きな技術がない時 好きな技術がない時を振り返ってみると、総じて 受け身 でした。 「好きな技術は？」と聞かれても答えられない ウォッチしている技術もなく、躓いた時に調べる程度 「みんなやってるから」という理由で勉強会に参加 周りと比べて自分だけ知らない技術は慌てて調べる 「この本良いよ」という本は買うが、積ん読が増えていく 自発的な行動ではなく、周りが発端となって行動しています。こ
minne ものづくり部 はじめました - Pepabo Tech Portal
こんにちは。minne事業部の ponoda です。 minneは様々なジャンルの作家さまが心を込めて作った作品があつまるハンドメイドマーケットですが、運営する我々も全員が普段からハンドメイドをしているわけではありません。そこで「もっと作家さまの気持ちを理解して、より良いサービスにしていこう！」という掛け声のもと ものづくり部 が始動しました。 今回はターナー色彩株式会社さんから講師をお招きして開催した社内ワークショップの様子をレポートします。 ものづくり部 とは 冒頭でも触れましたが、ものづくり部とは「ユーザーである作家さまたちの気持ちを理解して、minneをより良いサービスにしていくこと」を目的とした活動です。素材メーカーさんやminneのユーザーである作家さまを講師にお招きして定期的に社内でワークショップを開催しています。 ワークショップの開催は業務時間内ですし、職種に制限はないので
新卒3年目のHaskell好きのScala使いが、はてなでテックリードになるまでの道｜ハイクラス転職・求人情報サイト アンビ（AMBI）
新卒3年目のHaskell好きのScala使いが、はてなでテックリードになるまでの道 「若手エンジニア、どんな活躍してますか？」の第7回目は、はてなが手がける、サーバー監視サービス「Mackerel」の開発エンジニアにお話を聞きました。リモートでありながら、抜群の存在感を発揮する先輩の背中を、超優秀な後輩はいかにして追いかけたのでしょうか。 はてなといえば、ブログサービス、ソーシャルブックマークサービスを展開する企業として知られていますが、サーバー監視サービス「Mackerel」も主力プロダクトのひとつ。今回お話を伺ったお2人も、Mackerelの開発メンバーです。そのうちの一人、2017年4月にMackerelのテックリードになったばかりの濵田さんは2015年入社の若手。愛知からリモートで働く、前テックリードの辻川さんの背中を、ディスプレイ越しに見ながら実績を積み上げてきました。 はてな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Testable Lambda: Working Effectively with Legacy Lambda
効果的にGitHubを使うために
ヤマハルータ「RTX1210」の最新ファームウェア公開、クラウドとのVPN接続設定機能を追加
