EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog
広告技術部のUT@mocyutoです。 ついに桜が開花し、やっと春の訪れを感じはじめましたね。 外で気持ちよく飲みたい季節になってきました。 はじめに システム概要 なぜ移行するのか Celeryをやめたい LevelDBをやめたい 移行計画 アーキテクチャ ECS Athena CI/CDフロー Pluginか自前実装か 移行後 よかったこと まとめ はじめに 今回はEC2上のPythonのバッチをECSのDigdagに置き換えた話をします。 システム概要 今回の移行対象は広告配信に関するバッチ処理を行うシステムでした。 役割としては以下のようなものがあります。 広告の配信候補を作成 広告の枠情報を作成 クリックなどのイベントの集計 なぜ移行するのか 大きく分けて以下の２つの理由がありました。 Celeryをやめたい LevelDBをやめたい Celeryをやめたい 今まではバッチにはP
Google退職します｜xyx
2019/3/15が最終出社日でした。インターン期間も含めると4年ちょっと勤めたことになります。 ちょうど昇進してプロジェクトも一区切りついたタイミングで他にすごくやりたいことができたので転職という形です。 素晴らしい環境なのに情報が少なくて、入ると良さそうなのに敬遠している人を何度か見たので、この記事が参考になれば幸いです。辞める人が言うのも変な話ですが。 あと、IT業界は最近良くなりつつあるものの、世知辛い話が世の中に溢れていて、ポジティブな話があまりないというのも悲しく感じていました。日本でエンジニアとして2000万円稼げる環境があるというのを知ってほしい。いずれ海外に行ってみようかと考えている場合の第一歩としてもかなりオススメです。 何してたの? いわゆる(ソフトウェア)エンジニア(社内用語だとSWE; “すうぃ”と読む)です。 たまに勘違いしている人がいて悲しいのですが、Goog
【Python】🍜機械学習で「隠れた名店」を探してみた。（そして実際に行ってみた）🍜 - Qiita
１.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを使って隠れた名店をレコメンドで発掘するやり方を解説していきます。 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく機械学習でラーメンレコメンド（隠れた名店をレコメンドで発掘）に挑戦してみることにしました。 今回は、集大成として、Word2vecでモデリングしたmodelを使って隠れた名店をガチで発掘し、実際にそのお店に行って確かめるところまでやります！ 有名店のラーメンに対して類似度が高いラーメン店を探すイメージです。 techgymさんのブログに掲載いただきました！ありがとうございます。 【人工知能の無駄遣い?】AIプログラミングの面白記事をまとめてみました。 ２.
[Docker]アラフォーがDockerに挑んでみた（黎明編） - Qiita
はじめに 業務でDockerが絡むシステムを担当することになってしまい、「現場入ってから追々理解してもらえばだいじょうぶっすー」という言葉を信じていたのだけど、「追々じゃなく今理解せんとこれ開発出来んやん」ということに気付いたので今更ながらDockerの扉を叩くことにしました。 アラフォーの日々少なくなってゆく脳細胞で理解出来るでしょうか。 なぜ今Dockerなのか（私の場合） 現場の方からは「アプリ単位のVMみたいなもんやと思ってもらえればー」と聞いていた。ふーん、そっかぁ。そういうもんがあるんやな、ぐらい知っとけばいいんかな。と思ってました。 ところが、いざ実作業に入ると確かにDockerをよく知らなくても、既存のAPIなりを呼んでいけば仕様を満たす実装は出来る。 けどテストクラス書くときに 「これってbeforeでDockerの状態をまずお膳立てしてやらんとテストしようがないけどどう
![[Docker]アラフォーがDockerに挑んでみた（黎明編） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9ebeaa68a2eb3ee286e809d40b09bad8cf73533/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRG9ja2VyJTVEJUUzJTgyJUEyJUUzJTgzJUE5JUUzJTgzJTk1JUUzJTgyJUE5JUUzJTgzJUJDJUUzJTgxJThDRG9ja2VyJUUzJTgxJUFCJUU2JThDJTkxJUUzJTgyJTkzJUUzJTgxJUE3JUUzJTgxJUJGJUUzJTgxJTlGJUVGJUJDJTg4JUU5JUJCJThFJUU2JTk4JThFJUU3JUI3JUE4JUVGJUJDJTg5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01YzRiOGRiMGI2OTliZjI3ZWJhMTA0Zjc3ZGMwYjczYQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBLYXJ1bmUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWFkMTk3OGU5NzRjNTdjNTE3NGQ2YmQ0ODE2MDM4MWIy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Daf3aab9877b33d602916690bbd42f382)
Kubernetes(GKE)にお安く入門する - LiBz Tech Blog
目次 目次 はじめに 経緯 そもそもKubernetesとは なぜEKS(AWS)ではなくてGKE(GCP)なのか 無料のクラスタをつくる とりあえずk8sクラスタをつくってみる ノード(インスタンス)が1つだけのノードプールをつくる 3つのノードが登録されているノードプールを消す 作成したクラスタに接続 起動したクラスタのPodを確認してみる podとは？ kubectlコマンドでpodの状態を見てみる preemptibleインスタンスのnodeを立ててスペックを確保する preemptibleインスタンスとは？ ＼(^o^)／ここから有料です＼(^o^)／ preemptibleインスタンスが1つのnode-poolをつくってみる Datadogで監視してみる ReplicaSetとDaemonSet ReplicaSetとは... DaemonSetとは... Datadogをいれ
Google、rel=prev/nextのサポートを終了……実は数年前からすでに使っていなかったというオチあり
[レベル: 中級] rel="prev" および rel="next" のリンク要素のサポートを終了したことを Google は Twitter で告知しました。 Spring cleaning! As we evaluated our indexing signals, we decided to retire rel=prev/next. Studies show that users love single-page content, aim for that when possible, but multi-part is also fine for Google Search. Know and do what's best for *your* users! #springiscoming pic.twitter.com/hCODPoKgKp — Google Webmaste
ゼロから始めるPOM入門 [Python3 + Selenium + POM] - Qiita
概要 この記事ではPOM(Page Object Model)を使ったブラウザ自動化ツールの開発方法を説明します。 入門編なので内容は軽めです。 環境 言語： Python3 ブラウザ: Chrome やること 「ブラウザ自動化ツール」というキーワードでググる 「約 〇〇〇〇 件 （〇〇 秒） 」という検索結果ページ上部に表示されるテキストを取得してprint()関数で出力する 準備 Seleniumのインストール（入っていない場合） pip install selenium Chromeドライバのダウンロード 以下のリンクからご利用のChromeのバージョンに適したドライバをダウンロードし、作業ディレクトリに設置します。 http://chromedriver.chromium.org/downloads POM(Page Object Model)とは？ POM(Page Object
![ゼロから始めるPOM入門 [Python3 + Selenium + POM] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e06f0037d92021ee02a36ee9370e72233ad9612/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgyJUJDJUUzJTgzJUFEJUUzJTgxJThCJUUzJTgyJTg5JUU1JUE3JThCJUUzJTgyJTgxJUUzJTgyJThCUE9NJUU1JTg1JUE1JUU5JTk2JTgwJTIwJTVCUHl0aG9uMyUyMCUyQiUyMFNlbGVuaXVtJTIwJTJCJTIwUE9NJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jNDI0OTQ3NGMxZTNlY2MzM2UwMjEzMzFkZjRhNDBkYQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5X2Z1amlzYXdhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iZTMzZGFhYjVmZjljNTE5NzdkNGJiZjMzNTk4M2Q2MA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gVVVVTeagquW8j-S8muekvg%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dd474c7359f46dc4dc0b70d418685db01)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
