こんにちは、@zaq1tomo （ざきとも、と読みます）です。 Chompy でよく注文するお店は「カリーカイラス」さんで、サクサクのカツが入ったボリューム満点「カツカリー」がおすすめです。 普段は、フードデリバリーサービス Chompy のユーザーアプリ（注文するお客さま向けのアプリ）のサーバー・クライアントの開発や、この記事で書いている「らくとく便」という機能の配達ロジック周りの開発などを担当しています。 Chompy に入る前は、Gunosy、Mercari、LINEなどで企画・開発・分析などを行っていました。 この記事では、先日のプレスリリースでお知らせした「らくとく便」という機能ができるまでの経緯についてご紹介します。 Chompy にちょっとでも興味あるという方にもっと Chompy のことを知ってもらえれば、これから新しくサービスを立ち上げようというエンジニア・PMの方々の参
新規プロダクトへAutifyを導入してメンテナンスコストを大幅に削減した話 - Link and Motivation Developers' Blog
はじめに はじめまして、リンクアンドモチベーションでQAエンジニアをしている久原です。 今回は私が新卒入社約半年後、エンジニアとして圧倒的初心者のタイミングで任された、Autifyを使ったE2Eテスト自動化プロジェクトについて記事を執筆しようと思います。 本題に入る前に、Autifyとは、一言で言うとノーコードテスト自動化サービスです。 E2Eテストの自動化をノーコードで実現できるサービスになっており、コードをかけない・読めない方でもテストシナリオの作成やメンテナンスができるというメリットがあります。 なぜテスト自動化が必要だったのか？ 当時のプロダクト開発のロードマップは以下のようになっており、機能2,3の開発の間に機能1は触れないものの、リポジトリを共有した状態で開発を進めているのでデグレリスクがあるという課題がありました。 しかし、約半年間繰り返し手動テストを行うのはあまりにも非効率
ジモティーiOSチーム所属のエンジニアの橋本です。 普段はiOSアプリの開発に従事していますが､ Webやネイティブアプリ（iOS/Android）の各種計測データの収集や社内への展開などの業務にも従事しています。 今回は､自分が担当しているデーター活用周りでの取り組みのご紹介をしたいと思います。 組織のコンディション判断と意思決定に利用されるデータ Webアプリやネイティブアプリ（iOS/Android）が生み出す様々なデータは 収集･蓄積・加工 ▶ 分析･活用 という過程を経るわけですが､その利用目的は大きくは2つです。 ジモティーというサービスの現状がどうなのか､ サービスのコンディションの善し悪しを判断するための利用 ユーザーの利用状況の傾向を把握し､次の打ち手を決める判断材料としての利用 この利用目的を達成するためにデータをどのように利用者に届けるかが重要となります。 エンジニア
この記事はSmartBank Advent Calendar 2024 6日目の記事です。 昨日は kassy さんの「成長するスタートアップ労務の醍醐味と挑戦をUXリサーチャーが聞いてみた！」という記事でした。 はじめに サーバーサイドエンジニアの mokuo です。普段は、カード決済やあとばらいチャージに関連する機能の開発や運用を行っております。 本日は、サーバーサイドエンジニア向けの記事になります。 本記事でお話しすること システムには断続的に行われる一連の処理、というものがあります。この中で非同期処理を行うこともあるでしょう。 例) EC サイトにおける注文処理のワークフロー このような機能を開発・運用していると、以下のような課題に直面することがあります。 処理の流れが把握し辛い 変更を行うのが困難 データの整合性を担保するのが難しい しかし、適切に設計を行うことで、これらの課題を
OpenVPNのeasy-rsaをつかってAWS Client VPNのクライアント証明書を管理する方法を紹介します。クライアント認証では認証局(CA)のルート証明書が肝です。 AWS Client VPNは2種類のクライアント認証を提供します。 Active Directory 認証 証明書を使用した相互認証 本ブログでは、OpenVPN easy-rsaを使う、相互認証におけるクライアント証明書の基本的な管理方法について紹介します。 ポイント VPNエンドポイント作成時の証明書指定 相互認証のVPNエンドポイントを作成する場合、ACMにインポートしたサーバー証明書とクライアント証明書を指定 サーバーとクライアントの証明書が同じCAから発行される場合、VPN作成時のクライアント証明書のARNには、サーバー証明書のARNを指定できる。クライアント証明書のACMインポートは不要 クライアント
Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネットをインポートする サービスの作成 デプロイ 本番環境の作成 パイプラインの作成 バックエンドサービスの作成 接続確認 データソースの追加 アドオン 単発の ECS タスクを実行 ECS タスクの定期実行 削除 長所 短所 まとめ 参考URL AWS Copilot とは Amazon ECS を簡単にデプロイツールで ECS CLI の後継です。2020年11月に GA になりました。 AWS Copilot のメリットは Doc
KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組みを構築した話 - Nealle Developer's Blog
こんにちはSREチームの森原です。テックブログ投稿は今回が初めてですが、今後は高頻度で投稿する予定です！ 今回は、タイトルそのままですが「KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組み」を作ったのでご紹介します。 背景 ニーリーでは毎月特定の日時のDBのスナップショットをKPIの集計に使用しています。以前はAWS Backupを用いて毎月のスナップショットを作成していましたが、こんな課題がありました。 作成時刻に最大1時間のズレが起きる AWS Backupのバックアップウィンドウによるもの 手動のオペレーションがありセキュリティ的によろしくない 自動取得している日時以外にも取りたいことがあるが、手作業でスナップショットを作成する必要がある この課題を解決するために、秒単位で時間指定したスナップショットを作成できる&手動トリガーもできる仕組みを構築すること
はじめに 4月26日に「Re:ゼロから始めるweb開発 (GAS使用) Part0」を投稿しましたが，現状すぐに作りたいものがなかったので，GASの練習も兼ねて，簡単なスクレイピング処理を書いてみました． 普段はpythonのプログラム書いて，cronで定期実行することでスクレイピングしていて不自由は感じていなかったのですが，パソコンの電源をずっとつけておかないといけないため，自宅のパソコンずっとつけっぱなしなのは嫌なので，GAS使ってやってみようかなと思いました． GASについて GASについてや，メリットに関しては，「Re:ゼロから始めるweb開発 (GAS使用) Part0」ですでに書いたので，そちらを見てもらえたと思います． GASによるwebスクレイピングのアウトライン データの保存先となるGoogleSpreadSheetを作成 スクリプトファイルを作成し，いろいろ書いて保存
Cloud FunctionsはGoogle CloudのFaaS(Function as a Service)です。 Google Cloudの勉強のためにある処理をCloud Functionsを使って実装してみようと思った際に、関数を定期実行させる方法が分からなかったので、調べて試してみました。 概要 Cloud SchedulerとCloud Pub/Subを利用することでCloud Functionsを定期実行することが可能です。 Pub/Sub を使用して Cloud ファンクションをトリガーする | Cloud Scheduler のドキュメント Cloud Schedulerジョブで設定されたスケジュールに応じてPub/Subのトピックにメッセージが発行されます。トピックのサブスクライバーとしてCloud Functionsの関数を設定することで、メッセージの通知をトリ
【個人開発】ラーメン待ち時間シェアアプリ「ちゃくどん」を作ってみました【Rails, Hotwire, AWS, Docker, GitHubActions】 - Qiita
GitHubリポジトリはこちら なぜちゃくどん？ ちゃくどんを開発した理由は、Twitter上の待ち時間を共有するカルチャーに着目したのがきっかけです。ツイートには、いつ、どれくらいの行列で、どのくらいの待ち時間で、といった情報が含まれます。 私自身、ラーメンを食べる前にはこれらの情報を確認した上で、来店に臨んでおりましたが、投稿される情報はバラバラだったり、そもそも情報がなかったりします。ある日、Twitterでの着丼情報が見つからないまま、人気ラーメン店に突撃したものの、予想以上に行列が進まず、敢えなく断念することがありました。長時間の待ち時間を無駄にし、食べたかったラーメンを食べられなかった苦い経験はもう二度とごめんです。これは、特に時間が限られている旅行中でもありがちな問題だと思います。 そこで、これらの情報を簡単に投稿できて、整理された状態で確認できるプラットフォームがあると、こ
ISUCON12が大盛況のうちに無事終わって早3ヶ月が過ぎました。もうすっかり冬ですね。 この記事はISUCONアドベントカレンダー 2日目の記事です。 私はISUCON12の予選作問チーム(兼ポータル運用係)だったので、この記事ではISUCON12の予選作問に当たってチームでどのような出題を考えていたのか、没ネタ、やらなかったこと、やれなかったことを含めてざっくばらんに公開してしまいたいと思います。 予選に参加されたかたは、実際にどの要素が採用されていたのかなどを問題を思い出しつつ、ご笑覧ください。 アイディア出し まず最初に、予選作問チーム全員で問題の要素ネタを出しました。 箱庭諸島(CGIゲーム)みたいなやつ データベースがファイルデータベース - 初期実装がRDBじゃない - ファイルロックが必要 ユーザーアクセスのタイミングでターン進行処理がある(定期実行バッチの代わり) これを
こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めているVertex Feature Storeの機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 MLOps基盤に関する取り組みについては以下のテックブログでも取り上げていますので、こちらもご参照ください。 techblog.zozo.com techblog.zozo.com techblog.zozo.com 推薦基盤ブロックが抱える機械学習システムの課題 機械学習システムの課題に対する取り組み Feature Store 概要 Feature Storeの選定 Vertex
インフラ構築経験ほぼ無しの私がモダンスタックで新サービスを公開するまでの歩み - エス・エム・エス エンジニア テックブログ
エス・エム・エスで介護施設への入居マッチングサービス「安心介護紹介センター」の開発をしている中村と申します。「安心介護紹介センター」は2022年3月にローンチしたばかりの新規サービスで昨年から開発プロジェクトの担当をしています。 安心介護紹介センターはゼロからプロダクトを作るプロジェクトだったので、インフラの構成や監視など全てをゼロから考えて作る必要があったのですが、開発チームのメンバーでその経験が豊富な人はおらず、私にいたっては経験ゼロ。いつもインフラについては社内のインフラチームだったり他の誰かに設計・構築してもらい、自分はアプリケーションのコードを書くのみで、ALBもIAMもSecurity Groupも名前と役割は知っているけれど、自分でAWS環境で設定したことはありませんでした。またローカル環境構築のためにDockerを利用してはいましたが、コンテナでサービスを運用したこともあり
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
【2020年版】とりあえず入れておくべきおすすめPythonパッケージ25選【Python】 - なろう分析記録
Pythonはパッケージを使うことで高度なことが手軽に実現できる Python上達の近道はパッケージを知ること Pythonは追加パッケージを導入することよって統計解析から画像処理まで様々なことが出来るようになります。 今回は数多く存在するPythonパッケージの中から、メジャーなものを２５個ご紹介したいと思います。 パッケージのインストール・管理にはpipを使う pipを使うことでPythonパッケージを簡単にインストール・管理することが出来ます。 pipコマンド 現在入っているパッケージの確認 pip list 現在入っているパッケージリストの書き出し pip freeze > requirements.txt コマンドを実行する前にcdコマンドを使ってあらかじめrequirements.txtを書き出す場所に移動しておきましょう。 pip freeze Pythonパッケージのインス
普段はアプリケーションレイヤの仕事をしているため、「データベースはデータを入れておくただの箱」という発想でした。が、さすがにこれはまずいだろう、と思いたち、勉強中です。 とくにデータベースが専門領域というわけではないので、間違いがあれば教えてください。 検証バージョンPostgreSQL 10.5 自前ビルドはじめにPostgeSQL におけるデータの実態はファイル。 言うまでもないが、ディスクに書きこむことでデータを永続化する。 しかし、メモリと比較してディスクへの読み書きは非常に遅い。 参考 プログラマーが知っておくべき「PC内部の通信速度」 そのため、ディスクアクセスをできる限り減らして、より高速にアクセスできるメモリで処理しておき、ある程度まとめてディスクに書き出せば早いじゃないか。(No Force = コミット 時にディスクへ書き込まない。いつか誰かがやる。) しかしこの仕組み
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
概要 Lambdaを使うとき、「コールドスタート」の課題があることをよく耳にします。これについて、過去の経緯、直近のアップデート状況なども踏まえつつまとめてみた記事です。 AWS初心者の目線なので不足点などあるかもですが、その場合にはご指摘いただければありがたいです。 前提となる知識 1. Lambdaは実行時にコンテナを生成している 以下のスライドはAWS公式からの引用ですが、Lambda関数実行時の流れを表したものです。これに記載の通り、Lambdaの裏側では、実行時にコンテナが生成されています。なお、以降は実行時に生成されるものを関数インスタンスと呼びます。 (出典)全部教えます！サーバレスアプリのアンチパターンとチューニング 2. LambdaはVPC外のサービスである AWSのサービスは、自分で作ったVPC内に設置されるものと、そうでないサービスの2つに分かれます。 設置
この記事は ドワンゴ Advent Calendar 2022 の 21 日目の記事です。 N予備校 Android アプリでは、コードの依存関係を明確にして、ビルドの速度を向上させるためにマルチモジュール構成を採用しています。マルチモジュールを導入した経緯やモジュール構成については以下の記事にまとめていますので、そちらをご覧ください。 blog.nnn.dev マルチモジュールに移行するにあたって、CI 環境の整備に非常に苦労しました。インターネット上には、マルチモジュールのアプリを CI でテストする方法についての情報が少なかったのも大変でした。 この記事では、アプリをマルチモジュールに移行するにあたって CI 環境を変えた経緯をまとめつつ、各 CI 環境でマルチモジュールのテストをする設定ファイルなどを記載します。これからアプリをマルチモジュールに変えていく方々のお役に立てれば幸いで
ブログ サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 ［ＰＲ］ 2019/12/13 2019/12/25 | Python Webスクレイピング サーバーレス メール 目の前のパソコンではなく、サーバーを用いればプログラムを24時間体制で動かすことができます。Pythonで仕事を自動化するには様々な事例が考えられますが、さらに応用範囲が広がります。 そのためにはサーバーを準備する必要がありますが、ビジネスパーソンに現実的ではありません。 しかし、サーバーレスを利用すればその必要がなくなります。Pythonのコードをクラウドサービスに登録するだけで、クラウド上でプログラムを稼働できます。 例えば、特定のWebページを定期的にチェックしたり、クラウドストレージに追加されたファイルを即時に変換するなど、自分のパソコンを起動しないで実行できます。 今回はサーバーレスがどのよう
Ubie Discovery でエンジニアをしている @guchey です。 症状検索エンジン「ユビー」はiOS/Androidアプリ版も提供しており、リグレッションテストにMagicPodを導入しています。 今回はMagicPod導入の経緯とUbieでの活用事例についてお話しします。 MagicPodとは MagicPodは、モバイルアプリテスト、ブラウザ(ウェブアプリ)テストの両方に対応したAIテスト自動化クラウドサービスです。 個人的には以下の特徴が気に入っています。 テスト実行回数が無制限である テストシナリオの作成が直感的で簡単 PoC的に導入したのですが、1日程度で自動テストをCIで実行できる状態に持って行けたのでそのまま継続利用しています。 Ubieのアプリ開発の課題 Ubieではcapacitorjsを使って、症状検索エンジン「ユビー」を開発しています。Web/iOS/An
待望の機能！AWS Systems Manager Change Calendar でより柔軟な定期処理実行が可能に！！ | DevelopersIO
待望の機能！AWS Systems Manager Change Calendar でより柔軟な定期処理実行が可能に！！ 園部です。 re:Invent 2019 明けに登場した AWS Systems Manager Change Calendar を取り上げていきたいと思います！待ち望んでいた方も多いのではないでしょうか？ Using AWS Systems Manager Change Calendar to prevent changes during critical events 本題に入る前に、少し前置きを書きたいと思います。（興味のない方はスキップして、次へ進んでください） 今日の巨大化・複雑化したシステムにおいて、定期処理（タスク）の管理は重要な課題の一つです。処理の内容はもちろんのこと、実行環境、処理（タスク）管理、スケジューリングも重要な要素となっています。 実行環境
こんにちは、フォルシアのエンジニアの西海です。 エンジニアの皆さんは日々様々な技術ブログを読んで勉強をされているかと思います。 今年の私はAI画像認識関連の記事を読み、アイディアを開発で活用したほか、記事のレベルが高いなと普段から感心しているヤフーさんやメルカリさんの技術ブログを中心に読んできました。 ところで、2023年も終わりが近づき、ふと「今年公開された記事の中で、見落としている良記事がまだあるのではないか」と考えました。 そこで、「下記のような基準でエンジニアからの反響が大きかった記事を探すと、まだ読んでなかった良記事に出会えるのではないか？」と考え、実際に探して50記事程読んでみました。 先日発表された「開発体験が良い」イメージのある企業ランキング上位30社に入っている企業のうち、社員数800名未満のベンチャー・中小企業を対象とする。 「はてなブックマーク数＋掲載元媒体のいいね・
はじめに MSP技術推進部の基幹化推進チームの池田（@ikeponsu）です。 私達のチームでは、マルチサイズプラットフォーム事業（MSP）におけるデジタルトランスフォーメーション（DX）の取り組みを行っています。その取り組みの1つに、ケアラベル作成自動化システムの開発・導入があります。 このケアラベル作成という業務ですが、元々は人の手で1つずつ行われていたものでした。以前書いた「Go言語でケアラベル発行の自動化」の記事の中ではプロトタイプの紹介をしましたが、今回は実際にプロダクトで使われる様になったシステムの構成や、どの様に導入を行ったかといった内容を紹介します。 techblog.zozo.com 弊社のケアラベル 以前書いた記事でも少し紹介しましたが、ここではそもそも弊社のケアラベルがどういったものなのか、説明していきたいと思います。 ケアラベルとは上記の様な、繊維製品になくてはなら
Core Web Vitals とはlink 最近のフロントエンド周辺では Google が提唱した Web Vitals と呼ばれる指標が非常に注目されています。 これは Web で多くのユーザーが快適なユーザー体験を得るために、こういったポイントに特に気を使いましょう、というものを数値化したものです。 この中でも特に重要と定められている “LCP (Largest Contentful Paint)”, “FID (First Input Delay)”, “CLS (Cumulative Layout Shift)” の 3 つは Core Web Vitals と呼ばれています。 それぞれの観点を簡単に説明すると次のようになります。 LCP: 重要な要素がどれだけ早く読み込まれたか FID: 最初の入力ができるまでにどれくらいかかったか CLS: がくっとレイアウトが変わることがな
WindowsのタスクスケジューラとPowerShellを使ったエクセルVBAの定期自動実行 - Qiita
仕事で「エクセルの案件表を別のエクセルにクエリで表示し、それをフィルター関数でシート毎に担当者別の表にし、VBAで条件付き書式を設定して罫線などで修飾し、定期的に遠隔地のプリンタから出力する」という課題をこなしたので、方法を記録しておきます。 仕事のデータは使えないので替わりに下記のデータを利用します。 なかなかちょうど良い感じのが無くて困りました… 厚生労働省｜女性の活躍推進企業データベースオープンデータ 作業の都合上、遠隔地のプリンタでは無く自PC内にPDFデータを出力することにします。 実現すること 1. 既存の参照元からエクセルにパワークエリでデータを読みこみ、自動更新 2. フィルター関数で特定項目ごとにデータを分けて表示する 3. データの行数に応じてVBAで条件付き書式を適用し、可変の罫線や背景色を付ける 4. 一定の日時に自動でシート毎のPDFファイルを作成する エクセルフ
[レポート] Lambda関数のパフォーマンスチューニング SVS224-R AWS Lambda function performance tuning #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 本エントリはSVS224-R AWS Lambda function performance tuning のレポートとなります。 セッション情報 All AWS Lambda functions are not created equal. Learn the best practices for tuning memory, runtime, initialization, concurrency, and more, in a data-driven way, to squeeze every drop of performance out of Lambda functions. By the end of this session, you'll understand the key Lambda performance knobs you can
![[レポート] Lambda関数のパフォーマンスチューニング SVS224-R AWS Lambda function performance tuning #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
【Unity】ゲーム開発の現場でなぜJenkinsが利用され続けるのか - hikyaru-suzuki’s blog
はじめに QualiArtsのカレンダー | Advent Calendar 2022 - Qiita、19日目担当の鈴木光です 私はバックエンドエンジニアですが、クライアントのビルド周りも携わるので今回はゲーム開発現場におけるJenkinsについてのお話をさせていただきます Jenkinsについて 皆さんご存知の通り、Jenkinsは非常に汎用的なCI/CDのプラットフォームです。Jenkins自体はJavaで実装されたOSSのソフトウェアなので基本的に自前でホストする必要がありますが、それゆえに構築してしまえばベンダーロックインされることなく多くの現場で活用することが可能です 最近はGitHub Actionsを筆頭にCircle CI, Gitlab CI, AWS Code BuildやGoogle Cloud Buildなど様々なマネージドCIサービスが業界を席巻していますが、露
GARMINのBody Batteryを計測できる時計が身の回りで流行っていて、Slackに「いまbody battery70です」とか書いて元気さをアピールしたり、Body Batteryめっちゃ下がってるので難しいことをする気力はないという表明をしたりしていた。 わざわざ近況を手で書かなくても、Slackのstatusとして見えるようになってると便利そうと思ったので自動化するスクリプトを書いてみることにした。 既存手法と実装方針 GARMINはfitbitとちがって個人向けのAPIを用意してくれていない。同僚が申請してみたところビジネスプランを書けって弾かれたと話していた。そのため人々はさまざまな苦労の末にデータを取り出している。 Garmin connectのストレス測定結果をPixela + Serverlessで草化 - Qiita スクショをAWS S3にアップロードして画像解
産休に入って時間があるので、今まで手動でチェックしていた保育園の新園開設情報ページの更新をスクレイピングして監視することにした。1 0. 注意事項 スクレイピングに関しては実行前に一度 こちらを読むことをお勧めします。 今回自分のケースでいうと、事前に以下を確認している。 個人利用であること 週に一度アクセスするだけなので、アクセス対象に負荷をかけないこと アクセス対象のサイトのポリシーを確認し、問題ないこと また、普段Androidを書いているので微妙なPythonのコードとかあるかもしれないし、AWSの各種サービスの構成も「もっとこうすれば？」みたいなのあるかもしれない。その場合はコメントで教えてください。 1. 概要 AWS CloudWatch EventでAWS Lambdaを実行するscheduleのルールを作成 キックされるLambda関数で自治体の新園開設情報ページを見に行
sidekiq pro / enterpriseのwikiを読んだので気になった機能の概要をMEMO✍ - Madogiwa Blog
今回はタイトル通り、sidekiq pro / enterpriseのwikiを読んだので、忘れないように気になった機能の概要をメモしておきます✍ ⚠私が拙い英語力 + 技術力で理解した内容のMEMOです。内容が間違っている可能性があるので、注意してください。⚠ 前提事項 sidekiq pro Batches Reliability Client-side Reliability Expiring Jobs sidekiq enterprise Rolling Restarts Rate Limiting Concurrent Bucket, Window Unlimited Periodic Jobs Unique Jobs おわりに 前提事項 整理した内容は、2019/04/30現在のsidekiqのwikiに記載されている内容です。 Home · mperham/sidekiq W
みなさん初めまして。 QAエンジニアのujeです。 食べチョクでは、2022年4月から正式に自動テスト改善チームが発足いたしました。 チームメンバーは機能開発との掛け持ちにはなりますが、Webエンジニア5名・QA1名で取り組んでいます。 自動テスト改善チームの発足に伴い、食べチョクのテストにまつわる振り返りと、改善チームが取り組んでいることをお話しいたします。 これまで 食べチョクはサービスリリースから5年がたつプロダクトです。 特にここ1年半は食べチョクに参加してくれる仲間が増えており、サービス開発のスピードも上がっています。 食べチョクは2020年まで、テストカバレッジが低く、またなかなか向上しない状態でした。 システム全体に影響がある改修をする際は、毎回全画面を一通り手作業で触りテストするなど労力のかかる状態でした。 この状態を脱するため、2020年末から少しずつ自動テスト改善の動き
Fargateタスク停止時のイベントに関するAmazon SNSアラートを送信するチュートリアルをAWS CDKで実装してみた | DevelopersIO
こんにちは。サービスグループの武田です。 Fargateやってますか（挨拶）。Fargateを使って簡単なシステムを作っていたら、タスク停止時にアラートを通知する設定をしておくと幸せになれるというアドバイスをもらいました。公式ドキュメントにチュートリアルがありますので、今回はこれをCDKで実装してみました。 チュートリアル: タスク停止時のイベントに関する Amazon Simple Notification Service アラートを送信する - Amazon Elastic Container Service ソースコード全体はGitHubに上げてあります。 TAKEDA-Takashi/tutorial-fargate-task-stopped-alert 環境 検証環境は次のようになっています。 $ sw_vers ProductName: Mac OS X ProductVers
（※本記事のML基盤は下記に更改されました。よろしければ下記の技術記事をご覧ください） https://www.wantedly.com/companies/bandainamco-nexus/post_articles/891629 こんにちは！ バンダイナムコネクサスのデータ戦略部で機械学習PJTのPMをしている高野です。 データ戦略部ではグループ内事業の意思決定に貢献するために様々な分析PJTを進めていますが、同時に機械学習機能開発も行っています。 そこで今回の記事では機械学習機能提供の要となるML基盤について紹介します。 ML基盤とは？下記図のように、ML基盤とはバンダイナムコグループ内の各サービスに対して機械学習機能を提供するシステムになります。 (機能提供対象としているサービス一覧はこちら) 機械学習モデル開発 / デプロイは機械学習エンジニアが担当し、基盤開発 / 安定稼働を
技術部データ基盤チームに所属しているまつもとです。ペパボではGoogle Cloud Platform(以下 GCP)をメインで利用した社内データ活用基盤「Bigfoot」を開発・運用しています。BigfootはBigQueryによるデータウェアハウス・データマートを各部署へ提供することが大きな役割となっています。BigQueryへのETLはGCPのワークフローオーケストレーションサービスであるCloud Composerによって構成しています。データのExtractとLoadは基本的にEmbulkとStitchを利用していますが、対応していないデータソースについてはPythonでExtractとLoadのコードを個別に実装しています。 新たなデータソースに対応するために都度ETLを実装するのは非効率であるため、最近急速に対応データソースの数を増やしているOSSのETLシステム Airby
みなさんこんにちは、GMOアドマーケティングのM.H.です。 日に日に溜まっていく膨大なデータを解析したり、機械学習モデルに投げるデータの前処理をしたりするための大規模データの分散処理フレームワークは幾つかありますが、その技術を活用するためにクラウド上のリソースを使ってビッグデータを処理したいケースがあるかと思います。 今回はGoogle Cloud Platformの各種サービスを複合的に活用し、特にCloud WorkflowsとCloud Functionsを組み合わせることで、Dataprocのクラスタを動的に作成・削除しながらジョブを実行する方法について書いていきます。 やりたいこと Dataprocは、Apache SparkやApach Hadoopなどの分散処理のフレームワークをGoogle Cloud Platform(以下 GCP)マネージドで動かすためのサービスです。
はじめに メイン機以外で定期実行されるクローラを作りたいと思ったわけですが、その場合ローカル環境に全く依存しない形が取れれば最高だということで、Docker環境の構築に乗り出しました。 全体図 Python実行環境とSeleniumHQ/docker-seleniumはDocker Composeを利用して別のコンテナとして立てます。 そしてSeleniumHQ/docker-seleniumを通じてVNC接続することで、簡単にクローラの挙動をチェックできます。 ちなみに、SeleniumHQ/docker-seleniumがあれば、ChromeやChromeDriverのセットアップは不要です。 環境構築 Docker 最近はWindows10 Homeでも簡単にインストールできるようになったようです。 Dockerのインストーラの指示に従っていれば使える状態になります。 VSCode(
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZOTOWNの検索パーソナライズプロジェクトのアーキテクチャ設計から運用まで、MLOpsチームの児玉氏が苦労したポイントなどを話しました。最新資料はこちら。 アジェンダと自己紹介 児玉悠氏（以下、児玉）：みなさんお疲れさまです。自分は「ZOZOTOWNを支える検索パーソナライズ基盤」というタイトルで発表いたします。 本日のアジェンダは、まずZOZOTOWNの検索パーソナライズのプロジェクトの概要について説明します。そのあとにプロジェクトの組織体制について話して、アーキテクチャの話に入っていきます。そのアーキテクチャの設計の話で、リリース前の検証段階でいくつか変更ポイントがあったので、それについても説明します。最後に、今使っているElastic Clo
広告配信プロダクトのDWHにSnowflakeを採用しました | CyberAgent Developers Blog
広告配信プロダクトのDWHにSnowflakeを採用しました この記事は CyberAgent Developers Advent Calendar 2020 1日目 と Snowflake Advent Calendar 2020 1日目 の記事です。 AI事業本部 Dynalystで開発責任者をしている黒崎( @kuro_m88 )です。 CyberAgent Developers Advent Calendarは入社以来書き続けて6年目になりました。今年は弊社公式で開催されなかったため、有志で立ち上げてみました。 今年はSnowflakeというクラウドデータプラットフォームを自プロダクトで採用した話をさせていただこうと思います。 Snowflakeとは？ クラウド上で構築されているSaaSのデータプラットフォームです。大量のデータを取り込んだり、保管したり、それらのデータを加工したり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chompy「らくとく便」ができるまで｜zaq1tomo
ジモティーのデータ活用フローのご紹介 - ジモティー Tech Blog
非同期処理においてデータの整合性を保つアーキテクチャパターン - inSmartBank
AWS Client VPNクライアント証明書の管理手順を整理してみた | DevelopersIO
AWS Copilot をひと通り使ってみた - 本日も乙
Google Apps Script(GAS)を使ったwebスクレイピング - Qiita
Cloud Functionsを定期実行させてみる | DevelopersIO
ISUCON12予選作問ネタメモ - 酒日記 はてな支店
Vertex Feature Storeの機械学習システムへの導入 - ZOZO TECH BLOG
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
PostgreSQL WALログの仕組みとタイミングを理解したい
【2023年】AWS全サービスまとめ | DevelopersIO
Lambdaのコールドスタートを改めて整理する - Qiita
Android アプリをマルチモジュールにしたときのCI環境を整える - ドワンゴ教育サービス開発者ブログ
サーバーレス ＋ Pythonで定期的にスクレイピングを行う方法 - ガンマソフト
Ubieのアプリ開発を支えるMagicPodを使った自動テスト
11年目のフルスタックエンジニアがおすすめする「2023年のうちに読んでおくべきテックブログ」14選
ケアラベル発行の完全自動化のアプローチと効果について - ZOZO TECH BLOG
Lighthouse CIでサイトのスコアを定期的にチェックしよう
GARMINのBody BatteryをSlack statusに設定する - hitode909の日記
保育園の新園開設情報ページの更新を監視したい - 言いたいことはそれだけか
食べチョクの自動テスト改善活動 〜これまでとこれから〜 - 食べチョク開発者ブログ
バンダイナムコグループの機械学習機能を実現するML基盤について | MLエンジニア tech blog
ペパボのデータ基盤『Bigfoot』におけるAirbyteの本番運用 - Pepabo Tech Portal
Cloud FunctionsとCloud Workflowsを使ってDataprocを動かしてみよう
DockerでPython-Seleniumスクレイピング環境を立てた - Qiita
Elasticsearchで個人ごとに検索結果を表示するには？ ZOZOTOWNを支える検索パーソナライズ基盤アーキテクチャ