TalendをDigdagとEmbulkに移行した - ZOZO TECH BLOG
はじめまして！ ZOZOテクノロジーズ開発部の平田（@TrsNium）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL Serverから取得しBigQueryに転送しています。 以前のデータ基盤では「Talend」と「Embulk・Digdag」でデータの収集と転送をしていました。 Talendは、タスクのスケジューリングとデータ転送を行うツールです。 Digdagはタスクのスケジューリングをするツールで、Embulkはデータを転送を実行するツールです。 「Talend」と「Digdag・Embulk」は別々のチームが管理・運用をしており、運用負荷が高いという問題がありました。 そ
Serverless FrameworkとAWS Serverless Application Modelのコマンドをまとめてみた | DevelopersIO
Serverless FrameworkとAWS Serverless Application Modelのコマンドをまとめてみた 2018年5月12日追記 AWS SAMにも専用のCLIツールが発表されたようです。最新の情報は各種ドキュメントを参照してください。 はじめに こんにちは、中山です。 サーバーレス環境を構築する際に何らかのフレームワークを利用されている方は多くいると思います。Serverless FrameworkやApexなどさまざまなフレームワークが存在しており、私も日々これらのツールを利用しています。それぞれ特色がありますが、共通する点として基本的にコミュニティベースで開発されているという側面があります。これだけサーバーレスという技術トレンドの盛り上がりがあるにも関わらず、AWS公式のフレームワークが中々発表されなかったのですが、AWS re:Invent 2016が開
PythonでSeleniumを使い毎朝の業務を自動化させた - アウトプットして苦悩する
1. はじめに 私は業務で毎朝以下のルーティンを任されています 行程 : 使用するシステム : 業務内容 : 所要時間 ① : Aシステム : Bシステムにデータを送信(大体40のデータ) : 10秒 ② : Bシステム : 1データに対し1つのPDFを作成 : 3分 ③ : Aシステム : 1データに対し1つのPDFを添付して送信 : 30分 Aシステムはブラウザ上(IE専用)、Bシステムはjavaで作成されたシステムです 図化すると下記のような感じ (なんか透けてる) ①,②はすぐに終わるので良いとして、③はひたすらPDFを添付し続けるという苦行を30分間も強いられます。しかもAシステムは画面が遷移する度に「読み込み中」ポップアップが3秒程(長いときは5秒以上)表示されます。勉強してるPythonでseleniumを使って自動化してみました 本記事ではその際に手こずった点をあげていこう
Serverless アプリケーションをローカルで開発する - Qiita
AWSに代表されるServerless Architectureはクラウド上での動作が前提ですが、Serverless Frameworkのプラグインを用いることにより、ローカル環境でも動作させることが可能になるのでご紹介します。AWSにデプロイすることなく開発が可能になるので、より素早く開発ができます。また、AWSのアカウントを持っていない方もServerlessの世界を体験できるかと思います。ここではじゃんけんを行うAPIの開発を通して、ローカルでの開発方法を説明します。完成版のソースコードは以下にあります noralife/serverless-janken 構成 API Gateway、Lambda、DynamoDBを用いたアーキテクチャをここでは想定します。ローカル開発環境ではそれぞれ serverless-offline、javascriptファイル、DynamoDB Loca
Serverless Framework でのAPI Gateway + Lambda + DynamoDB構成をローカル環境で開発する
Serverless Framework でのAPI Gateway + Lambda + DynamoDB構成をローカル環境で開発する Serverless Frameworkでの開発の際、ローカル環境で実行させることでAWSのコストを発生させないようにするセットアップ手順を紹介します。 Serverless Frameworkとは自分でやろうとすると結構面倒な、API Gatewayの設定、Lambda関数の作成を自動的に行なってくれるフレームワークです。 アプリケーションのコードど簡単な設定ファイルを用意すればすぐにAWS上に公開することができ、より一層Serverlessが普及していくのではないかと思います。 内部的にはCloudFormationのスタックが作成されてデプロイが行われるようですが、あまり内部の動作は気にせずに使うことができます。 インストールはNPMから行います。
話題の Portals を使った画面遷移 UX の未来 | ウェブボウズ
ご無沙汰しております。ウェブボウズを立ち上げて 1 年が経ちました。皆さま如何お過ごしでしょうか。私は、この 1 年間ひとつもブログポストできていません。さらには私の坊主頭（スキンヘッド）にちなんでウェブボウズという名前をつけた個人ブログでありましたが、5 年間共にしたこの Hair-less style から心機一転して 2019 年は髪を育んでいく方針を固めましたので、もはやボウズでもなくなってます。変わり続けることだけが普遍であると胸に刻んで今年も強く生きていきたいと考えております。 さて、最近 Signed HTTP Exchanges やら Performance Budget やらさまざまな面白いことに関わらせていただいて忙殺と幸せを噛み締めている中でも、Chrome Dev Summit 2019 でも大きくフィーチャーされました Portals という新しい HTML 要素
エンジニア向け無料バーを開く理由｜ばるーん
はじめまして、ばるーんです。 このたび3/18から、エンジニア向けの無料バーのBarloonをオープンすることになりました。（読み方はバルーンです） 簡単な自己紹介と、なぜ無料バーをオープンするのか？っていうところ書いていければと思ってます。 【2019/3/30 追記】 Barloonオープンしました！ 店の様子が気になった人は#Barloonで見れます。 自己紹介あらためましてばるーんです。 自己紹介するときはナカタです、っていってます。 いままではフリーランスとして、フロントエンドまわり（主にReactやReact Native）をやっています。 とくにReact Nativeは2016年の頭から案件でやってるので、経験だけは長いです。 その関係で、2016年の4月からReact Native JapanっていうReact Native Meetupを運営しているコミュニティを主催し
素面の人間ってなんなんだろう？ - 関内関外日記
snjpn.net松本人志は作品作りについて薬物使用を「ドーピング」としたらしい。 www.sponichi.co.jp太田光は「良い面と悪い面」と言ったらしい。 このあたりの価値判断、基準というものは、とりあえず置いておく。おれもまだよくわかってないので。 しかし、いずれにせよ、ドラッグを決めたら決めたで影響がある、という認識は共通している。 すなわち、それはオラフ、違う、シラフではないということだ。そこには、ナチュラルな人間がいろいろな表現、芸術をするべきだ、あるいはするに越したことがない、という志向がある。 だが、素面の人間、ナチュラルな人間とはなんだろうか。おれにはそこが気になる。 これは、おれの身体というものから思うに至ったことである。おれは、双極性障害を患っている。オランザピン（ジプレキサ）を飲まなければ、一方で酷い抑うつ状態、身体がまったく動かないほどの鉛様麻痺、スローモーシ
Engadget | Technology News & Reviews
Nintendo Switch 2: Everything we know about the coming release
「いだてん」ピエール瀧容疑者代役に三宅弘城…クドカンファミリー俳優 - スポーツ報知
コカインを摂取したとして麻薬取締法違反の疑いで逮捕されたテクノユニット「電気グルーヴ」のメンバーで、俳優のピエール瀧（本名・瀧正則）容疑者（５１）が出演していたＮＨＫ大河ドラマ「いだてん」（日曜・後８時）で、瀧容疑者の代役が俳優の三宅弘城（５１）に決定したことが１８日、分かった。後日、正式に発表される。 関係者の話を総合すると、ＮＨＫはここ数日のうちに、三宅に代役を任せることで一本化。すでに撮影に入っているかどうかは不明だが、関係各所との調整を終えたうえで、一両日中に発表する用意を整えているようだ。 「いだてん」で瀧容疑者は、主人公の陸上選手・金栗四三（中村勘九郎）が信頼を置く足袋店「播磨屋」の店主・黒坂辛作を演じていた。すでに６月放送回まで撮影は進んでいたが、瀧容疑者はストーリー上、重要な役どころで、出演シーンをすべてカットして対応するのは困難であることから、制作陣は代役で撮り直すことを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アウシュビッツが捏造だと思うなら、アウシュビッツに行こう｜アメリカはいつも夢見ている｜渡辺由佳里｜cakes（ケイクス）
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein