ブログ サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 ［ＰＲ］ 2019/12/13 2019/12/25 | Python Webスクレイピング サーバーレス メール 目の前のパソコンではなく、サーバーを用いればプログラムを24時間体制で動かすことができます。Pythonで仕事を自動化するには様々な事例が考えられますが、さらに応用範囲が広がります。 そのためにはサーバーを準備する必要がありますが、ビジネスパーソンに現実的ではありません。 しかし、サーバーレスを利用すればその必要がなくなります。Pythonのコードをクラウドサービスに登録するだけで、クラウド上でプログラムを稼働できます。 例えば、特定のWebページを定期的にチェックしたり、クラウドストレージに追加されたファイルを即時に変換するなど、自分のパソコンを起動しないで実行できます。 今回はサーバーレスがどのよう
11年目のフルスタックエンジニアがおすすめする「2023年のうちに読んでおくべきテックブログ」14選 2023.12.27 テクノロジー こんにちは、フォルシアのエンジニアの西海です。 エンジニアの皆さんは日々様々な技術ブログを読んで勉強をされているかと思います。 今年の私はAI画像認識関連の記事を読み、アイディアを開発で活用したほか、記事のレベルが高いなと普段から感心しているヤフーさんやメルカリさんの技術ブログを中心に読んできました。 ところで、2023年も終わりが近づき、ふと「今年公開された記事の中で、見落としている良記事がまだあるのではないか」と考えました。 そこで、「下記のような基準でエンジニアからの反響が大きかった記事を探すと、まだ読んでなかった良記事に出会えるのではないか？」と考え、実際に探して50記事程読んでみました。 先日発表された「開発体験が良い」イメージのある企業ランキ
Cloud FunctionsはGoogle CloudのFaaS(Function as a Service)です。 Google Cloudの勉強のためにある処理をCloud Functionsを使って実装してみようと思った際に、関数を定期実行させる方法が分からなかったので、調べて試してみました。 概要 Cloud SchedulerとCloud Pub/Subを利用することでCloud Functionsを定期実行することが可能です。 Pub/Sub を使用して Cloud ファンクションをトリガーする | Cloud Scheduler のドキュメント Cloud Schedulerジョブで設定されたスケジュールに応じてPub/Subのトピックにメッセージが発行されます。トピックのサブスクライバーとしてCloud Functionsの関数を設定することで、メッセージの通知をトリ
【個人開発】ラーメン待ち時間シェアアプリ「ちゃくどん」を作ってみました【Rails, Hotwire, AWS, Docker, GitHubActions】 - Qiita
GitHubリポジトリはこちら なぜちゃくどん？ ちゃくどんを開発した理由は、Twitter上の待ち時間を共有するカルチャーに着目したのがきっかけです。ツイートには、いつ、どれくらいの行列で、どのくらいの待ち時間で、といった情報が含まれます。 私自身、ラーメンを食べる前にはこれらの情報を確認した上で、来店に臨んでおりましたが、投稿される情報はバラバラだったり、そもそも情報がなかったりします。ある日、Twitterでの着丼情報が見つからないまま、人気ラーメン店に突撃したものの、予想以上に行列が進まず、敢えなく断念することがありました。長時間の待ち時間を無駄にし、食べたかったラーメンを食べられなかった苦い経験はもう二度とごめんです。これは、特に時間が限られている旅行中でもありがちな問題だと思います。 そこで、これらの情報を簡単に投稿できて、整理された状態で確認できるプラットフォームがあると、こ
ISUCON12が大盛況のうちに無事終わって早3ヶ月が過ぎました。もうすっかり冬ですね。 この記事はISUCONアドベントカレンダー 2日目の記事です。 私はISUCON12の予選作問チーム(兼ポータル運用係)だったので、この記事ではISUCON12の予選作問に当たってチームでどのような出題を考えていたのか、没ネタ、やらなかったこと、やれなかったことを含めてざっくばらんに公開してしまいたいと思います。 予選に参加されたかたは、実際にどの要素が採用されていたのかなどを問題を思い出しつつ、ご笑覧ください。 アイディア出し まず最初に、予選作問チーム全員で問題の要素ネタを出しました。 箱庭諸島(CGIゲーム)みたいなやつ データベースがファイルデータベース - 初期実装がRDBじゃない - ファイルロックが必要 ユーザーアクセスのタイミングでターン進行処理がある(定期実行バッチの代わり) これを
こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めているVertex Feature Storeの機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 MLOps基盤に関する取り組みについては以下のテックブログでも取り上げていますので、こちらもご参照ください。 techblog.zozo.com techblog.zozo.com techblog.zozo.com 推薦基盤ブロックが抱える機械学習システムの課題 機械学習システムの課題に対する取り組み Feature Store 概要 Feature Storeの選定 Vertex
インフラ構築経験ほぼ無しの私がモダンスタックで新サービスを公開するまでの歩み - エス・エム・エス エンジニア テックブログ
エス・エム・エスで介護施設への入居マッチングサービス「安心介護紹介センター」の開発をしている中村と申します。「安心介護紹介センター」は2022年3月にローンチしたばかりの新規サービスで昨年から開発プロジェクトの担当をしています。 安心介護紹介センターはゼロからプロダクトを作るプロジェクトだったので、インフラの構成や監視など全てをゼロから考えて作る必要があったのですが、開発チームのメンバーでその経験が豊富な人はおらず、私にいたっては経験ゼロ。いつもインフラについては社内のインフラチームだったり他の誰かに設計・構築してもらい、自分はアプリケーションのコードを書くのみで、ALBもIAMもSecurity Groupも名前と役割は知っているけれど、自分でAWS環境で設定したことはありませんでした。またローカル環境構築のためにDockerを利用してはいましたが、コンテナでサービスを運用したこともあり
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
この記事は ドワンゴ Advent Calendar 2022 の 21 日目の記事です。 N予備校 Android アプリでは、コードの依存関係を明確にして、ビルドの速度を向上させるためにマルチモジュール構成を採用しています。マルチモジュールを導入した経緯やモジュール構成については以下の記事にまとめていますので、そちらをご覧ください。 blog.nnn.dev マルチモジュールに移行するにあたって、CI 環境の整備に非常に苦労しました。インターネット上には、マルチモジュールのアプリを CI でテストする方法についての情報が少なかったのも大変でした。 この記事では、アプリをマルチモジュールに移行するにあたって CI 環境を変えた経緯をまとめつつ、各 CI 環境でマルチモジュールのテストをする設定ファイルなどを記載します。これからアプリをマルチモジュールに変えていく方々のお役に立てれば幸いで
Ubie Discovery でエンジニアをしている @guchey です。 症状検索エンジン「ユビー」はiOS/Androidアプリ版も提供しており、リグレッションテストにMagicPodを導入しています。 今回はMagicPod導入の経緯とUbieでの活用事例についてお話しします。 MagicPodとは MagicPodは、モバイルアプリテスト、ブラウザ(ウェブアプリ)テストの両方に対応したAIテスト自動化クラウドサービスです。 個人的には以下の特徴が気に入っています。 テスト実行回数が無制限である テストシナリオの作成が直感的で簡単 PoC的に導入したのですが、1日程度で自動テストをCIで実行できる状態に持って行けたのでそのまま継続利用しています。 Ubieのアプリ開発の課題 Ubieではcapacitorjsを使って、症状検索エンジン「ユビー」を開発しています。Web/iOS/An
はじめに MSP技術推進部の基幹化推進チームの池田（@ikeponsu）です。 私達のチームでは、マルチサイズプラットフォーム事業（MSP）におけるデジタルトランスフォーメーション（DX）の取り組みを行っています。その取り組みの1つに、ケアラベル作成自動化システムの開発・導入があります。 このケアラベル作成という業務ですが、元々は人の手で1つずつ行われていたものでした。以前書いた「Go言語でケアラベル発行の自動化」の記事の中ではプロトタイプの紹介をしましたが、今回は実際にプロダクトで使われる様になったシステムの構成や、どの様に導入を行ったかといった内容を紹介します。 techblog.zozo.com 弊社のケアラベル 以前書いた記事でも少し紹介しましたが、ここではそもそも弊社のケアラベルがどういったものなのか、説明していきたいと思います。 ケアラベルとは上記の様な、繊維製品になくてはなら
Core Web Vitals とはlink 最近のフロントエンド周辺では Google が提唱した Web Vitals と呼ばれる指標が非常に注目されています。 これは Web で多くのユーザーが快適なユーザー体験を得るために、こういったポイントに特に気を使いましょう、というものを数値化したものです。 この中でも特に重要と定められている “LCP (Largest Contentful Paint)”, “FID (First Input Delay)”, “CLS (Cumulative Layout Shift)” の 3 つは Core Web Vitals と呼ばれています。 それぞれの観点を簡単に説明すると次のようになります。 LCP: 重要な要素がどれだけ早く読み込まれたか FID: 最初の入力ができるまでにどれくらいかかったか CLS: がくっとレイアウトが変わることがな
WindowsのタスクスケジューラとPowerShellを使ったエクセルVBAの定期自動実行 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 仕事で「エクセルの案件表を別のエクセルにクエリで表示し、それをフィルター関数でシート毎に担当者別の表にし、VBAで条件付き書式を設定して罫線などで修飾し、定期的に遠隔地のプリンタから出力する」という課題をこなしたので、方法を記録しておきます。 仕事のデータは使えないので替わりに下記のデータを利用します。 なかなかちょうど良い感じのが無くて困りました… 厚生労働省｜女性の活躍推進企業データベースオープンデータ 作業の都合上、遠隔地のプリンタでは無く自PC内にPDFデータを出力することにします。 実現すること 1. 既存の参照元からエクセル
【Unity】ゲーム開発の現場でなぜJenkinsが利用され続けるのか - hikyaru-suzuki’s blog
はじめに QualiArtsのカレンダー | Advent Calendar 2022 - Qiita、19日目担当の鈴木光です 私はバックエンドエンジニアですが、クライアントのビルド周りも携わるので今回はゲーム開発現場におけるJenkinsについてのお話をさせていただきます Jenkinsについて 皆さんご存知の通り、Jenkinsは非常に汎用的なCI/CDのプラットフォームです。Jenkins自体はJavaで実装されたOSSのソフトウェアなので基本的に自前でホストする必要がありますが、それゆえに構築してしまえばベンダーロックインされることなく多くの現場で活用することが可能です 最近はGitHub Actionsを筆頭にCircle CI, Gitlab CI, AWS Code BuildやGoogle Cloud Buildなど様々なマネージドCIサービスが業界を席巻していますが、露
Difyワークフローを使ってエンジニアのモーニングルーチン自動化を試す / 開発者向けブログ・イベント | GMO Developers
この記事は GMOインターネットグループ Advent Calendar 2024 8日目の記事です。 Difyのワークフロー機能を使って日々の情報収集を自動化しようと試みたので、その際の手順やできたこと・できなかったことをまとめます。 はじめに こんにちは。GMOソリューションパートナーの洲崎です。 もうすぐ2024年も終わりになりますが、皆さんはどんな1年をお過ごしになったでしょうか。 今年もたくさんAI関連サービスや新しいLLMが登場しましたね。 LLMの精度も上がり、周辺のサービスが整備されていくことで、できることがたくさん増えたなあと感じます。 実現したいこと 日々のニュース収集（テキストおよび音声）を自動化し、Discodeにまとめて送信させる。 Difyについて 生成AIのパイプラインをノーコードで作成できるサービスです。 今回はこちらを使って朝の情報収集を効率化できないかと
みなさん初めまして。 QAエンジニアのujeです。 食べチョクでは、2022年4月から正式に自動テスト改善チームが発足いたしました。 チームメンバーは機能開発との掛け持ちにはなりますが、Webエンジニア5名・QA1名で取り組んでいます。 自動テスト改善チームの発足に伴い、食べチョクのテストにまつわる振り返りと、改善チームが取り組んでいることをお話しいたします。 これまで 食べチョクはサービスリリースから5年がたつプロダクトです。 特にここ1年半は食べチョクに参加してくれる仲間が増えており、サービス開発のスピードも上がっています。 食べチョクは2020年まで、テストカバレッジが低く、またなかなか向上しない状態でした。 システム全体に影響がある改修をする際は、毎回全画面を一通り手作業で触りテストするなど労力のかかる状態でした。 この状態を脱するため、2020年末から少しずつ自動テスト改善の動き
（※本記事のML基盤は下記に更改されました。よろしければ下記の技術記事をご覧ください） https://www.wantedly.com/companies/bandainamco-nexus/post_articles/891629 こんにちは！ バンダイナムコネクサスのデータ戦略部で機械学習PJTのPMをしている高野です。 データ戦略部ではグループ内事業の意思決定に貢献するために様々な分析PJTを進めていますが、同時に機械学習機能開発も行っています。 そこで今回の記事では機械学習機能提供の要となるML基盤について紹介します。 ML基盤とは？下記図のように、ML基盤とはバンダイナムコグループ内の各サービスに対して機械学習機能を提供するシステムになります。 (機能提供対象としているサービス一覧はこちら) 機械学習モデル開発 / デプロイは機械学習エンジニアが担当し、基盤開発 / 安定稼働を
技術部データ基盤チームに所属しているまつもとです。ペパボではGoogle Cloud Platform(以下 GCP)をメインで利用した社内データ活用基盤「Bigfoot」を開発・運用しています。BigfootはBigQueryによるデータウェアハウス・データマートを各部署へ提供することが大きな役割となっています。BigQueryへのETLはGCPのワークフローオーケストレーションサービスであるCloud Composerによって構成しています。データのExtractとLoadは基本的にEmbulkとStitchを利用していますが、対応していないデータソースについてはPythonでExtractとLoadのコードを個別に実装しています。 新たなデータソースに対応するために都度ETLを実装するのは非効率であるため、最近急速に対応データソースの数を増やしているOSSのETLシステム Airby
みなさんこんにちは、GMOアドマーケティングのM.H.です。 日に日に溜まっていく膨大なデータを解析したり、機械学習モデルに投げるデータの前処理をしたりするための大規模データの分散処理フレームワークは幾つかありますが、その技術を活用するためにクラウド上のリソースを使ってビッグデータを処理したいケースがあるかと思います。 今回はGoogle Cloud Platformの各種サービスを複合的に活用し、特にCloud WorkflowsとCloud Functionsを組み合わせることで、Dataprocのクラスタを動的に作成・削除しながらジョブを実行する方法について書いていきます。 やりたいこと Dataprocは、Apache SparkやApach Hadoopなどの分散処理のフレームワークをGoogle Cloud Platform(以下 GCP)マネージドで動かすためのサービスです。
【Botter Advent Calendar2023】仮想通貨で月に1万円を稼ぐC級Botterになろう｜QASH_NFT
本記事は仮想通貨botter Advent Calendar 2023に掲載させていただく記事です。（12/2 表 裏はしろいの鯖によくいるへっぽこさん） シリーズ 2はまだまだ空いてますよ！ 仮想通貨botterアドベントカレンダー2023に参加しました#botは儲からないからやめた方がいい https://t.co/2graakuF3M — へっぽこ野郎.lens⚙🌊📘(🌸, 🌿)🛡️⚔️ (@CryptoHamHepyar) December 1, 2023 はじめに はじめまして。qash_NFTと申します。普段はBOTを用いたアービトラージを主体として、クラウド代とメンタルを溶かしながらお金拾いしております。 今回は、仮想通貨取引においてC級Botter(月に1万円稼ぐBotter）になるには？というのを真面目に考えてみる記事です。（稼げるとは言っていない） 仮想通貨の
社内データパイプラインツールを Mercari Dataflow Template としてOSS化しました | メルカリエンジニアリング
Merpay Advent Calendar 2020 の10日目の記事です。 こんにちは。Merpay Solutions Teamの @orfeon です。 ３ヶ月ほど前のブログ記事でメルペイでのFlexTemplateの活用例を紹介しましたが、ここで使われていたソフトウェアを先日、OSSとして公開しました。 この記事ではこのOSSとして公開したMercari Dataflow Templateについて紹介します。 BigQueryから取得したデータを別のDatabaseサービスに保存したり、異なるデータソースからのデータをSQLで結合・加工したり、AWSのS3にデータを出力したりなどなど、GCP上での何らかのデータの処理に関わられている方は役立つケースがあるかもしれないのでぜひご一読頂ければ幸いです。 Mercari Dataflow Templateとは何か Mercari Dat
こんにちは。セーフィー株式会社 バックエンドエンジニアの村田 (@naofumimurata)です。 この記事はセーフィー株式会社 Advent Calendar 2022 の12月15日の記事です！ 本記事ではセーフィーにおけるdriftctlというツールを活用したIaC化推進に向けた取り組みについてご紹介したいと思います。 セーフィーのインフラ環境と課題 driftctlとは driftctlの使い方 準備 スキャンの実行 出力形式の変更 .driftignoreファイルによるスキャン対象からの除外 GitHub Actions による定期実行 ワークフローの解説 取り組みの結果 driftctlを使ってみて 良い点 カバレッジが出せる 「何をコード管理しないか」をコード管理できる 気をつける必要がある点 リソースが多い環境だとrate limit 超過のエラーで失敗する まとめ セー
はじめに メイン機以外で定期実行されるクローラを作りたいと思ったわけですが、その場合ローカル環境に全く依存しない形が取れれば最高だということで、Docker環境の構築に乗り出しました。 全体図 Python実行環境とSeleniumHQ/docker-seleniumはDocker Composeを利用して別のコンテナとして立てます。 そしてSeleniumHQ/docker-seleniumを通じてVNC接続することで、簡単にクローラの挙動をチェックできます。 ちなみに、SeleniumHQ/docker-seleniumがあれば、ChromeやChromeDriverのセットアップは不要です。 環境構築 Docker 最近はWindows10 Homeでも簡単にインストールできるようになったようです。 Dockerのインストーラの指示に従っていれば使える状態になります。 VSCode(
広告配信プロダクトのDWHにSnowflakeを採用しました | CyberAgent Developers Blog
広告配信プロダクトのDWHにSnowflakeを採用しました この記事は CyberAgent Developers Advent Calendar 2020 1日目 と Snowflake Advent Calendar 2020 1日目 の記事です。 AI事業本部 Dynalystで開発責任者をしている黒崎( @kuro_m88 )です。 CyberAgent Developers Advent Calendarは入社以来書き続けて6年目になりました。今年は弊社公式で開催されなかったため、有志で立ち上げてみました。 今年はSnowflakeというクラウドデータプラットフォームを自プロダクトで採用した話をさせていただこうと思います。 Snowflakeとは？ クラウド上で構築されているSaaSのデータプラットフォームです。大量のデータを取り込んだり、保管したり、それらのデータを加工したり
リクルート『スタディサプリ』のデータ分析基盤を支える技術と活用事例──RECRUIT TECH MEET UP #3 - TECH PLAY Magazine
200万人近い利用者を要する、リクルートのオンライン学習サービス『スタディサプリ』。そのデータ基盤が約2年の期間を経て、BigQueryを中心としたGCP環境に移管された。従来の基盤における技術的負債や課題をどう解決したのか。リリースに至るまでに開発チームがどのように取り組み、どう成長したのかを紹介する。 ■登壇者プロフィール 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア マネージャー 戸井田 明俊氏 新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年リクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア 橘高 允伸氏 2019年リクルート新卒入社。デー
Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZOTOWNの検索パーソナライズプロジェクトのアーキテクチャ設計から運用まで、MLOpsチームの児玉氏が苦労したポイントなどを話しました。最新資料はこちら。 アジェンダと自己紹介児玉悠氏（以下、児玉）：みなさんお疲れさまです。自分は「ZOZOTOWNを支える検索パーソナライズ基盤」というタイトルで発表いたします。 本日のアジェンダは、まずZOZOTOWNの検索パーソナライズのプロジェクトの概要について説明します。そのあとにプロジェクトの組織体制について話して、アーキテクチャの話に入っていきます。そのアーキテクチャの設計の話で、リリース前の検証段階でいくつか変更ポイントがあったので、それについても説明します。最後に、今使っているElastic Clou
もう令和も4年なので定時バッチを cron で運用するのは卒業してサーバレスにしました。 - あしたのチーム Tech Blog
engineer.ashita-team.com (この記事はあしたのクラウド のインフラ移行に関する連載記事です) 先日、約一年間かけてようやくリングフィットアドベンチャーをクリアして、ちょっとだけ筋肉の成長を感じている @snaka です。 今回は「定時バッチのしくみ」の改善についてお話します。 移行前の定時バッチのしくみ 移行前のインフラ構成では、定時バッチを cron で実行するという伝統的な手法をとっていました。 おおよそのしくみは以下のとおりです。 移行前の定時バッチのしくみ EC2インスタンスの一つで cron を稼働させておく ( 3台構成の App サーバうち 1 台で実行していました ) cron で実行されるスクリプトでは基本的に Sidekiq のキューにジョブを投入して終了する バッチサーバで起動している Sidekiq でキューを監視してジョブが投入されたらそれ
こんにちは。EC基盤本部 SRE部の渡邉です。去年の今頃はリモートワークによる運動不足を解消するために毎朝ロードバイクで走っていたのですが、3か月目に突入したころ急に飽きてしまいました。継続することの大切さを痛感しています。 さて、以前公開した記事でもSplunkを導入した話について書きました。今回はSplunkをもっと活用していくために、効率的なサーチ方法やダッシュボード作成のTIPSを紹介します。 メトリクスのダッシュボード作成TIPS あらかじめ、よく使うサーチやメトリクスのダッシュボードを作成しておくと、都度SPL（サーチ処理言語）を書く手間が省けます。しかし、1枚のダッシュボードに漠然とパネルを作ってしまうと、動作が重くなったり視認性が悪くなってしまいがちです。今回はメトリクスのダッシュボードを作る際に行ったちょっとした工夫を紹介します。 Timechartに別要素を追加する S
どうも。マイベストのデータエンジニア snhryt です。[1] 今回の記事の主役はこちら↓ なんやかんやDataformと4年来の付き合いな私。 コミッターをしているとか、そんな立派な貢献ができているわけではないのですが、ミドルユーザーの端くれとして、今のDataformについて思うことや昔話を書いてみます。 TL;DR DataformでTransformationに求められる大体のことは実現できる。ただし、もどかしい部分は結構ある これからデータ基盤を構築しようとしている人で、もし導入のしやすさだけで安直にDataformを採用しようとしているなら、一度立ち止まって考えてみてほしい 私はDataformを使う。今はまだ Data Transformationツール情勢 世界のModern Data Stackをまとめている The Modern Data Stack Reposito
こんにちは，コミューンで一人機械学習（ML）チームで機械学習エンジニアとして働いている柏木（@asteriam_fp）です． 今年ももうあと少しですね，やり残したことは今年のうちにしたいものですが，僕は最近やっとジムに入会して適度に運動を始めることにしました！運動はメンタルヘルスにも影響があり，心が落ち着いたり，前向きな気持ちになる効果があるそうで，まだそこまでの実感はないですが継続していきたいと思います！ はじめに 本ブログでは，前回のテックブログで紹介した投稿レコメンド機能の初回リリース時の課題であった新着投稿に対しても，ニアリアルタイムでレコメンドを提供できるようにした取り組みの紹介になります． ただし，今回の取り組みは現状ではベストだと思いますが，理想的な状況ではないので，その辺りも最後に紹介したいと思います． はじめに 投稿レコメンド機能における課題 投稿レコメンド機能とは 課題
スムーズな開発体験を支えるデータベースリストアの仕組み - スタディサプリ Product Team Blog
こんにちは。SRE の @int128 です。 背景 スタディサプリではいろいろな役割の人が協力してプロダクトを開発していくための文化と仕組みがあります。 例えば、Pull Request を作成すると自動的にプレビュー環境がデプロイされる仕組みや本番相当のデータで動作確認するための仕組みなどがあります。 これらは、開発途中の画面をすぐに Designer や Product Manager と共有したり、本番相当のデータでデザインやユーザ体験を確認したりする、といったスムーズな開発体験を支えています。 スタディサプリでは、本番環境と同等*1のデータベースを開発環境で利用するための仕組みを「データベースリストア」と呼んでいます。 データベースリストアは2010年代の前半から動いており、スタディサプリの開発体験を支える重要な仕組みとなっています。 本稿では、スムーズな開発体験を支えるデータベ
公開論文から学ぶ Google のテクノロジー : パート 1：分散処理基盤（コンテナ技術）とデータセンター編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年に渡って構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google Cloud で提供されるマネージドサービスの多くは、これらのミドルウェアをマルチテナント化して提供しているものであり、いわば、Google Cloud を利用することで、Google 以外の企業でも「Google のサービスを支える技術」が活用できるのです。Google Cloud を活用する開発者の中には、このような Google の技術に興味を惹かれて、Google Cloud を使い始めたという方も少なくないかも知れません。
SmartHR、LayerX のアーキテクチャをそれぞれ話す「マイクロサービス？モノリス？2 社のアーキテクチャから見るPros/Cons」。ここで株式会社 LayerXのmosa氏が登壇。ここからは、開発を進める中で出てきた追加要件と、モジュラモノリスの検討について紹介します。前回はこちらから。 マイクロサービス間でのデータ同期方法 榎本悠介氏（以下、榎本）：実際にデータ同期をどうやるか、マイクロサービス間でどうやってデータを同期させるかという話に移ります。前提として、プライベートAPIを叩いてデータを同期するのは悪手だと思っています。 申請された情報を渡して請求書レコードを作らせる、申請情報を入れる時に、（スライドを指の）バクラク請求書部分がAPIになっていると同期処理になってしまうので、もともとやりたかった、ただ申請をしたかっただけの人にとっては遅くなったり、他の障害に引きずられて本
ROXXのエンジニアの夕暮おこはです。 先日Agent bankの求人検索エンジンをMySQLの全文検索からElasticsearchに移行しました。 それ自体特に技術的に新しいことはありませんが、移行開始からβリリースまでの期間が一週間とそれなりに短く、チームとしてどう動いたのか興味があるとのご意見をいただくことがありましたので、記憶が新しいうちにどういった動きがあったか備忘録的にまとめてみました。 移行を決めるまで 移行を決めてからはスムーズに行けましたが、移行を決めるまでは正直お世辞にもうまくいったとは言えない状況でした。 反省の意味を込めてこの経緯もまとめてみます。 APMによる可視化と全文検索のbigram化 去年ごろから社内でdatadogによるモニタリングをしっかりやっていこうという機運が高まり、APMをいろんなところに仕込んだことで、本番環境のクエリの実行時間などが詳細に把
こんばんは、カスタマーエンジニアの Ax(あっくす)こと小野です。 この記事は、Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud の 24 日目の記事になります。 クリスマスまであと少し！ということで、サンタさんに伝えたいことない？と毎日子供に聞いている今日このごろです（※）。 （※: 執筆開始した時点(2022/12/12)の話です。我が家に煙突はありませんがきっとプレゼントは無事に届くはずです） TL;DR; Google Cloud では "バッチ ジョブ" をマネージド・サービスで実行することができる Batch と Cloud Run jobs が代表例となる Cloud Run 使いは制約を満たせるなら Cloud Run jobs がお勧め Google Compute Engine (以降、GCE)
概要 サービスのデプロイをECSで行っている場合、バッチ実行も同じコンテナ上から実行したいケースがあります。そのとき、ECSの機能として”タスクのスケジューリング”というものがあり、コンソール上からポチポチ設定するだけで定期的にタスクを起動し、外部からコマンドを注入して任意のバッチ実行が可能です。 しかし、タスクのスケジューリング機能を使っている場合、タイムアウトやリトライ等の細かい設定を行うことができません。具体的なリスクとして、想定以上にバッチ実行に時間が掛かり利用料が予想以上に掛かってしまうことが挙げられます。 本件についてAWSサポートに問い合わせしたところ、Step Functionsの利用を推奨いただきました。本記事では取り組んでみた内容のログ、および参考文献の整理をします。 Step Functionsとは Step Functionsを利用すると、AWS独自のJSON形式の
cronで定期実行していたMySQLのバックアップタスクがエラーを吐くようになった。mysqldumpでエラーになっている。 mysqldump: Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces MySQLを5.7.31にバージョンアップしたことで権限の要求が変わったらしい。PROCESS権限が必要とおっしゃっている。 解決手段 とりあえず、PROCESS権限を持たせればよさそうなので、次のコマンドでmysqldumpを実行するユーザーに権限を与える。 mysql > GRANT PROCESS ON *.* TO 'your-user'; で権限を付ける。your-userはコマンドで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 - ガンマソフト
11年目のフルスタックエンジニアがおすすめする「2023年のうちに読んでおくべきテックブログ」14選
Cloud Functionsを定期実行させてみる | DevelopersIO
ISUCON12予選作問ネタメモ - 酒日記 はてな支店
Vertex Feature Storeの機械学習システムへの導入 - ZOZO TECH BLOG
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
【2023年】AWS全サービスまとめ | DevelopersIO
Android アプリをマルチモジュールにしたときのCI環境を整える - ドワンゴ教育サービス開発者ブログ
Ubieのアプリ開発を支えるMagicPodを使った自動テスト
ケアラベル発行の完全自動化のアプローチと効果について - ZOZO TECH BLOG
Lighthouse CIでサイトのスコアを定期的にチェックしよう
食べチョクの自動テスト改善活動 〜これまでとこれから〜 - 食べチョク開発者ブログ
バンダイナムコグループの機械学習機能を実現するML基盤について | MLエンジニア tech blog
ペパボのデータ基盤『Bigfoot』におけるAirbyteの本番運用 - Pepabo Tech Portal
Cloud FunctionsとCloud Workflowsを使ってDataprocを動かしてみよう
driftctlによるIaC化推進に向けた取り組み - Safie Engineers' Blog!
DockerでPython-Seleniumスクレイピング環境を立てた - Qiita
Elasticsearchで個人ごとに検索結果を表示するには？ ZOZOTOWNを支える検索パーソナライズ基盤アーキテクチャ | ログミーBusiness
使い勝手の良いSplunkダッシュボードの作り方 - ZOZO TECH BLOG
2025年にDataformを使うことへの葛藤などなど
ニアリアルタイムで投稿レコメンドをユーザーに届ける - Commune Engineer Blog
「絡み合う複数のSaaS」の開発で難しいドメイン境界の設定 モジュラモノリスは依存関係解消の銀の弾丸とはならなかった
検索エンジンをElasticsearchに移行するまでに起きたこと、やったこと
Google Cloud で "バッチ ジョブ" を実行する 2 つの方法
AWS Step FunctionsでECSタスクを定期実行する仕組みをSAMでデプロイする
mysqldumpでPROCESS権限(PROCESS privilege)を要求される - いっさいがっさい