こんにちは。セーフィー株式会社 バックエンドエンジニアの村田 (@naofumimurata)です。 この記事はセーフィー株式会社 Advent Calendar 2022 の12月15日の記事です！ 本記事ではセーフィーにおけるdriftctlというツールを活用したIaC化推進に向けた取り組みについてご紹介したいと思います。 セーフィーのインフラ環境と課題 driftctlとは driftctlの使い方 準備 スキャンの実行 出力形式の変更 .driftignoreファイルによるスキャン対象からの除外 GitHub Actions による定期実行 ワークフローの解説 取り組みの結果 driftctlを使ってみて 良い点 カバレッジが出せる 「何をコード管理しないか」をコード管理できる 気をつける必要がある点 リソースが多い環境だとrate limit 超過のエラーで失敗する まとめ セー
社内データパイプラインツールを Mercari Dataflow Template としてOSS化しました | メルカリエンジニアリング
Merpay Advent Calendar 2020 の10日目の記事です。 こんにちは。Merpay Solutions Teamの @orfeon です。 ３ヶ月ほど前のブログ記事でメルペイでのFlexTemplateの活用例を紹介しましたが、ここで使われていたソフトウェアを先日、OSSとして公開しました。 この記事ではこのOSSとして公開したMercari Dataflow Templateについて紹介します。 BigQueryから取得したデータを別のDatabaseサービスに保存したり、異なるデータソースからのデータをSQLで結合・加工したり、AWSのS3にデータを出力したりなどなど、GCP上での何らかのデータの処理に関わられている方は役立つケースがあるかもしれないのでぜひご一読頂ければ幸いです。 Mercari Dataflow Templateとは何か Mercari Dat
Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、
リクルート『スタディサプリ』のデータ分析基盤を支える技術と活用事例──RECRUIT TECH MEET UP #3 - TECH PLAY Magazine
200万人近い利用者を要する、リクルートのオンライン学習サービス『スタディサプリ』。そのデータ基盤が約2年の期間を経て、BigQueryを中心としたGCP環境に移管された。従来の基盤における技術的負債や課題をどう解決したのか。リリースに至るまでに開発チームがどのように取り組み、どう成長したのかを紹介する。 ■登壇者プロフィール 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア マネージャー 戸井田 明俊氏 新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年リクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア 橘高 允伸氏 2019年リクルート新卒入社。デー
もう令和も4年なので定時バッチを cron で運用するのは卒業してサーバレスにしました。 - あしたのチーム Tech Blog
engineer.ashita-team.com (この記事はあしたのクラウド のインフラ移行に関する連載記事です) 先日、約一年間かけてようやくリングフィットアドベンチャーをクリアして、ちょっとだけ筋肉の成長を感じている @snaka です。 今回は「定時バッチのしくみ」の改善についてお話します。 移行前の定時バッチのしくみ 移行前のインフラ構成では、定時バッチを cron で実行するという伝統的な手法をとっていました。 おおよそのしくみは以下のとおりです。 移行前の定時バッチのしくみ EC2インスタンスの一つで cron を稼働させておく ( 3台構成の App サーバうち 1 台で実行していました ) cron で実行されるスクリプトでは基本的に Sidekiq のキューにジョブを投入して終了する バッチサーバで起動している Sidekiq でキューを監視してジョブが投入されたらそれ
こんにちは。EC基盤本部 SRE部の渡邉です。去年の今頃はリモートワークによる運動不足を解消するために毎朝ロードバイクで走っていたのですが、3か月目に突入したころ急に飽きてしまいました。継続することの大切さを痛感しています。 さて、以前公開した記事でもSplunkを導入した話について書きました。今回はSplunkをもっと活用していくために、効率的なサーチ方法やダッシュボード作成のTIPSを紹介します。 メトリクスのダッシュボード作成TIPS あらかじめ、よく使うサーチやメトリクスのダッシュボードを作成しておくと、都度SPL（サーチ処理言語）を書く手間が省けます。しかし、1枚のダッシュボードに漠然とパネルを作ってしまうと、動作が重くなったり視認性が悪くなってしまいがちです。今回はメトリクスのダッシュボードを作る際に行ったちょっとした工夫を紹介します。 Timechartに別要素を追加する S
こんにちは。伝説のスーパーサイヤ人で実はサトシナカモトの遠い親戚でもある Yamoshi Nagatomo です。先日予告したとおり、今日は『和らしべ』から衝撃の提案を致します。 仮想通貨の投機的なバブルが一段落し、仮想通貨を一般に広く普及させるために、価格変動がなく法定通貨の代わりに決済に使えるステーブルトークンの重要性が認識され始めています。取引所の避難トークンとして以前より幅広く利用されているTether社の発行するUSDTやその亜種の数々、フェイスブックが主導で進めるコンソーシアム（共同事業体）に創る仮想通貨Libraの衝撃も記憶に新しいと思います。 日本だと、LCNEMが前払い式支払い手段の制限付きのステーブルトークンを発行していたり、先日エクスコインという会社がステーブルを発行しようとして色々と規制の問題で日本での導入を延期したことが話題になっていたかと思います。三菱UFJが銀
スムーズな開発体験を支えるデータベースリストアの仕組み - スタディサプリ Product Team Blog
こんにちは。SRE の @int128 です。 背景 スタディサプリではいろいろな役割の人が協力してプロダクトを開発していくための文化と仕組みがあります。 例えば、Pull Request を作成すると自動的にプレビュー環境がデプロイされる仕組みや本番相当のデータで動作確認するための仕組みなどがあります。 これらは、開発途中の画面をすぐに Designer や Product Manager と共有したり、本番相当のデータでデザインやユーザ体験を確認したりする、といったスムーズな開発体験を支えています。 スタディサプリでは、本番環境と同等*1のデータベースを開発環境で利用するための仕組みを「データベースリストア」と呼んでいます。 データベースリストアは2010年代の前半から動いており、スタディサプリの開発体験を支える重要な仕組みとなっています。 本稿では、スムーズな開発体験を支えるデータベ
公開論文から学ぶ Google のテクノロジー : パート 1：分散処理基盤（コンテナ技術）とデータセンター編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年に渡って構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google Cloud で提供されるマネージドサービスの多くは、これらのミドルウェアをマルチテナント化して提供しているものであり、いわば、Google Cloud を利用することで、Google 以外の企業でも「Google のサービスを支える技術」が活用できるのです。Google Cloud を活用する開発者の中には、このような Google の技術に興味を惹かれて、Google Cloud を使い始めたという方も少なくないかも知れません。
SmartHR、LayerX のアーキテクチャをそれぞれ話す「マイクロサービス？モノリス？2 社のアーキテクチャから見るPros/Cons」。ここで株式会社 LayerXのmosa氏が登壇。ここからは、開発を進める中で出てきた追加要件と、モジュラモノリスの検討について紹介します。前回はこちらから。 マイクロサービス間でのデータ同期方法 榎本悠介氏（以下、榎本）：実際にデータ同期をどうやるか、マイクロサービス間でどうやってデータを同期させるかという話に移ります。前提として、プライベートAPIを叩いてデータを同期するのは悪手だと思っています。 申請された情報を渡して請求書レコードを作らせる、申請情報を入れる時に、（スライドを指の）バクラク請求書部分がAPIになっていると同期処理になってしまうので、もともとやりたかった、ただ申請をしたかっただけの人にとっては遅くなったり、他の障害に引きずられて本
re:Invent 直前/開催中のServerless関係のアップデートをまとめてキャッチアップ！Serverless Night Osakaレポート #reinvent | DevelopersIO
こんにちは、大阪オフィスかずえです。昨日開催されたServerless Night Osakaに参加してきましたのでレポートします。 Serverless Night Osaka ～re:Invent で発表されたサーバーレスの最新情報をご紹介 セッション1: Serverless周辺のアップデートまとめ by AWSJ下川さん Lambda Update SQL使用に立ちはだかるブロッカー(と、その改善アップデート) DB Conncetionの問題 Lambdaスケール→DBコネクションが枯渇 これまでの方法 同時リクエスト数を制御 or 入り口でスロットリングする DB接続数を制限 分散型DBを使う(DynamoDBなど) [NEW] RDS Proxy (Preview) コネクションプールの管理を行い、DBコネクション要求が過剰に発生した場合にも、クライアントの接続を待機させたり
ROXXのエンジニアの夕暮おこはです。 先日Agent bankの求人検索エンジンをMySQLの全文検索からElasticsearchに移行しました。 それ自体特に技術的に新しいことはありませんが、移行開始からβリリースまでの期間が一週間とそれなりに短く、チームとしてどう動いたのか興味があるとのご意見をいただくことがありましたので、記憶が新しいうちにどういった動きがあったか備忘録的にまとめてみました。 移行を決めるまで 移行を決めてからはスムーズに行けましたが、移行を決めるまでは正直お世辞にもうまくいったとは言えない状況でした。 反省の意味を込めてこの経緯もまとめてみます。 APMによる可視化と全文検索のbigram化 去年ごろから社内でdatadogによるモニタリングをしっかりやっていこうという機運が高まり、APMをいろんなところに仕込んだことで、本番環境のクエリの実行時間などが詳細に把
こんばんは、カスタマーエンジニアの Ax(あっくす)こと小野です。 この記事は、Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud の 24 日目の記事になります。 クリスマスまであと少し！ということで、サンタさんに伝えたいことない？と毎日子供に聞いている今日このごろです（※）。 （※: 執筆開始した時点(2022/12/12)の話です。我が家に煙突はありませんがきっとプレゼントは無事に届くはずです） TL;DR; Google Cloud では "バッチ ジョブ" をマネージド・サービスで実行することができる Batch と Cloud Run jobs が代表例となる Cloud Run 使いは制約を満たせるなら Cloud Run jobs がお勧め Google Compute Engine (以降、GCE)
cronで定期実行していたMySQLのバックアップタスクがエラーを吐くようになった。mysqldumpでエラーになっている。 mysqldump: Error: 'Access denied; you need (at least one of) the PROCESS privilege(s) for this operation' when trying to dump tablespaces MySQLを5.7.31にバージョンアップしたことで権限の要求が変わったらしい。PROCESS権限が必要とおっしゃっている。 解決手段 とりあえず、PROCESS権限を持たせればよさそうなので、次のコマンドでmysqldumpを実行するユーザーに権限を与える。 mysql > GRANT PROCESS ON *.* TO 'your-user'; で権限を付ける。your-userはコマンドで
AWS CDK で EventBridge + Lambda で定期実行処理（バッチ処理）を実装してみた | DevelopersIO
はじめに プロフィールビューアーサービスProflly（プロフリー）の開発にて、定期的にデータを集計して、集計結果を保存しておく処理を、AWS CDK（TypeScript） を使って EventBridge + Lambda にて実装してみました。その定期実行処理（バッチ処理）の実装方法を紹介させていただきます。 作成するアーキテクチャ EventBridgeを利用して月初の AM 1:00 (JST) に Lambda を定期的に実行するように作成します。 環境 AWS CDK 1.121.0 TypeScript 3.9.7 実装内容 利用するパッケージをインストール 今回作成するアーキテクチャに必要なパッケージをインストールします。 npm install --save-dev @aws-cdk/aws-dynamodb @aws-cdk/aws-lambda-nodejs @aw
Terraform Cloud に新機能 Drift Detection がやってきた！Drift を継続的に監視&通知してくれる
はじめに 現在開催中の HashiCorp の年次カンファレンス、HashiConf Europe で、Terraform Cloud の新機能 Drift Detection が発表されました。 Drift Detection 機能は現在 Public beta 期間です。 Terraform Cloud Business Plan で利用可能です。 どうしても気になる方は DM で相談してください (お約束はできませんが)。 GA リリースの際には (時期はまだ未定) たぶん Terraform Enterprise でも使えるようになる。 構成 Drift と向き合う Terraform を運用していく上での一般的な課題の1つとして、Terraform で管理しているリソースに対して、Terraform 外からの操作によって変更が加えられた場合に、状態 (state) に不一致 (d
【Botter Advent Calendar2023】仮想通貨で月に1万円を稼ぐC級Botterになろう｜QASH_NFT
本記事は仮想通貨botter Advent Calendar 2023に掲載させていただく記事です。（12/2 表 裏はしろいの鯖によくいるへっぽこさん） シリーズ 2はまだまだ空いてますよ！ 仮想通貨botterアドベントカレンダー2023に参加しました#botは儲からないからやめた方がいい https://t.co/2graakuF3M — へっぽこ野郎.lens⚙🌊📘(🌸, 🌿)🛡️⚔️ (@CryptoHamHepyar) December 1, 2023 はじめに はじめまして。qash_NFTと申します。普段はBOTを用いたアービトラージを主体として、クラウド代とメンタルを溶かしながらお金拾いしております。 今回は、仮想通貨取引においてC級Botter(月に1万円稼ぐBotter）になるには？というのを真面目に考えてみる記事です。（稼げるとは言っていない） 仮想通貨の
terraformとクラウドの状態の差分を定期的に監視する仕組みを作った話 - ITANDI Engineer Blog
はじめに イタンジSREチームの田渕です！ イタンジではクラウド管理のIaCツールとしてterraformを使っています。 terraformとクラウドの状態の差分を定期的に監視する仕組みを作ったところ、うまくワークし、かなり運用負荷が下がったため、皆様にも紹介します！ 導入の背景 terraformを理想的に運用できていれば、常にtfstateの状態とクラウドの状態が一致しているはずですが、現実はいくつかの理由で差分ができてしまうことがあります。 代表的なものは以下の3つでしょうか。 applyする際に不適切な書き方をした場合に、applyは想定通りに成功するがplanをした際に差分が出てしまう。 awsやterraform provider等の仕様変更により、今までは差分がなかった部分で差分が出てしまう。 稀に何らかの事情で手作業を行ってしまい、terraformへの反映も漏れてしまい
最近ギョームでやったこと (6) 〜 一歩踏み込んだ Web サイトの監視について考察して仮実装してみた 〜 - ようへいの日々精進XP
tl;dr 悩み事 どんな風に解決しようと試みたか 作ったもの リポジトリ こだわり 苦労したところ Puppeteer (1) Puppeteer (2) 差分抽出 動いている様子 参考 ということで まとめ 最後に tl;dr お疲れ様です. かっぱです. YAMAP に入社してもうすぐ一年が経とうとしています. あっと言う間の一年でした. この一年の振り返りを... と思いましたが, 最近の悩み事を技術で解決してみようと思って試験的に実装した内容を紹介させていただきます. そして, この記事は, YAMAP エンジニア Advent Calendar 2019 の 25 日目の記事になる予定です. qiita.com 悩み事 YAMAP では, yamap.com 以外にもいくつかの外部サイトを運営しています. これらのサイトのデプロイ作業を含む各種運用に携わっていますが, これらの
Google Apps Script(GAS)を利用したスクレイピングを使うメリットと利用方法まとめ - DAINOTE
Pythonでいろいろスクレイピングしてきましたが、Google Apps Scriptでのスクレイピングがかなりよいです。 今回はGoogle Apps Script(GAS)でスクレイピングをオススメする理由を、Pythonを利用する場合と比較して解説します。 GASを利用したスクレイピングのメリット Pythonなどのサーバーサイドの言語を書くのに比べて、Google Apps Scriptを利用したほうが便利な場合があります。Google Apps Scriptを利用したスクレイピングをするメリットについて、ご紹介します。 メリットは、以下の通りです。 環境構築一切不要 定期実行が超絶簡単 学習コストが超絶低い 取得結果をだれにでもスクレイピング結果をリアルタイムに共有しやすい 伝家の宝刀IMPORTXML関数で、コードを書かずにスクレイピング 環境構築一切不要 普通にPython
メリークリスマス（素振り）。 入社と同じタイミングで始まったラジオの放送回数で入社からの週数を把握しています、入社114週のSRE所属の今*1です。 最近の趣味はパネルでポンです。 pic.twitter.com/hCnUnIhhP1— temama (@Tkonsoy) 2021年9月8日 この記事はKAYAC Tech Advent Calendar 2021 8日目の記事です OSSへの憧れ もともと学生時代からLinuxが好きで、ユーザーたちで一つのモノを作るOSSという文化に憧れを持っていました。 OSや低レイヤーへの好奇心はあったものの難しかったので（意識が低い）、趣味でLinuxを触っている知識が活かせそうなサーバー、インフラ辺りのレイヤーのお仕事としてカヤックのSREとして*2雇っていただけました。 そしてカヤックには、我らが藤原組長を始めとする先輩社員の皆様のOSSツール
opencv-python を AWS Lambda で実行してみた - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先日の re:Invent 2019 の発表で、RDS + Lambda のコネクションプール周りやコールドスタート問題の軽減の話もあり、どんどん AWS Lambda で解決できる幅が広がっているのを感じます。 Lambda のセッションについてはクラスメソッドさんの Developers.IO にて紹介されてます。 [速報]コールドスタート対策のLambda定期実行とサヨナラ！！ LambdaにProvisioned Concurrencyの設定が追加されました #reinvent [速報]これでLambdaの
はじめに VAddyはDynamic Security Application Testing(DAST)による脆弱性診断を行なってくれるクラウド型Web脆弱性診断ツールです。 SQLインジェクションやクロスサイトスクリプティング(XSS)など、9つの項目をスキャンできます。今回はSUZURIでの活用事例を紹介します。 VAddyとは VAddyの実行プロセスは大きく分けてクロール・スキャン・レポートの3ステップです。 検査対象アプリケーションのURLとパラメータをVAddyに登録する「クロール」、対象アプリケーションに検査リクエストを送信して脆弱性を診断する「スキャン」、検査結果を通知してくれる「レポート」です。 VAddyサポートサイトに基本的な使い方が書かれているので、これを読むことで簡単にはじめることができます。 とても便利なVAddyですが、シナリオが増えればクロールを手動でやる
ちょっとこわいGoogle Cloud Pub/Sub によるFaaS アーキテクチャ - GMOインターネットグループ グループ研究開発本部
はじめに あけましておめでとうございます、新卒のY.Cです。この肩書きで投稿するのは最後になりそうです。Google Cloud Functions を使おうとすると大体セットで出てくる Pub/Sub ちゃん、君は誰やねんこっちは定期実行したいだけなんじゃ、とずっと思っていたのですが最近和解できたのでpubsubちゃんの魅力とこわさについて書いてみようと思います。pubsubを知っている人はこわいアーキテクチャまで飛ばしてください。 TL;DR Cloud Pub/Sub はメッセージ送受信を実現するキュー push型は処理の分割点、pull型は集約点という見方もできる メッセージ先を間違えると無限ループするのでこわい Cloud Pub/Sub 概説 pubsubは一言で言うとただのキューです。では、なぜ定期的にcloud functionsを発火させたいだけなのにキューを経由しなけれ
[レポート] サーバーレスアプリケーションの最適化 SVS401-R #reinvent | DevelopersIO
AWS re:Invent 2019 SVS401-R - [REPEAT] Optimizing your serverless applicationsのセッションレポートです。 AWS re:Invent 2019 SVS401-R - [REPEAT] Optimizing your serverless applicationsのセッションレポートです。昨年も同様のセッションが存在し、そのアップデートのため最初から名前に[REPEAT]がついているようでした。昨年のセッションレポートは以下になります。 [レポート] SRV401 : サーバーレスアプリケーションの最適化 #reinvent セッション情報 登壇者 CHRISTOPHER MUNNS - Principal Developer Advocate, Amazon Web Services 概要 Are you an
![[レポート] サーバーレスアプリケーションの最適化 SVS401-R #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
コカコーラ大好き、カジです。 お客様よりFargateを検証環境で複数構築していて、夜間停止したいとご要望をもらいました。 その方法について調査しましたので、ご紹介します。 参考元 以下のブログが大変参考になりました。ありがとうございました。 【小ネタ】FargateのAutoScallingをスケジュールベースで動かす方法 - Qiita 上記ブログでは、1つのFargateのECSクラスタ、サービスの停止起動ですが、私の方で、複数Fargateに対応できるようLambdaを修正しました。 （私は、Python素人なので、社内のPython詳しいメンバーにも助けてもらいました。感謝） 構築するもの 以下の3つでできます。 ECSのタスク起動数を変更するLambda 上記Lambda実行用のIAM Role 上記Lambdaを実行する（キックする）CloudWatch Events 前提条
こんにちは、ECプラットフォーム部の濱砂とSRE部の杉山、柴田です。普段はZOZOTOWNのリプレイスや運用に携わっています。 ZOZOTOWNでは、アプリケーションレイヤーで使用しているキャッシュストアをAmazon ElastiCache（以下、ElastiCache）にリプレイスしました。本記事では、リプレイスに至った背景や方法、発生した課題などについてご紹介します。 プロジェクトの概要 キャッシュストアのリプレイスとは ZOZOTOWNでは、現在システムリプレイスを進めています。その中で、Web（IIS）サーバーのメモリ領域に保持しているセッション情報を外部メモリストアにオフロードするプロジェクト（以下、セッションオフロード）があります。キャッシュストアのリプレイスはセッションオフロードのフェーズ1でターゲットとしていました。 後続のフェーズに本丸であるセッションオフロードや、Co
概要 サービスのデプロイをECSで行っている場合、バッチ実行も同じコンテナ上から実行したいケースがあります。そのとき、ECSの機能として”タスクのスケジューリング”というものがあり、コンソール上からポチポチ設定するだけで定期的にタスクを起動し、外部からコマンドを注入して任意のバッチ実行が可能です。 しかし、タスクのスケジューリング機能を使っている場合、タイムアウトやリトライ等の細かい設定を行うことができません。具体的なリスクとして、想定以上にバッチ実行に時間が掛かり利用料が予想以上に掛かってしまうことが挙げられます。 本件についてAWSサポートに問い合わせしたところ、Step Functionsの利用を推奨いただきました。本記事では取り組んでみた内容のログ、および参考文献の整理をします。 Step Functionsとは Step Functionsを利用すると、AWS独自のJSON形式の
AWSでサーバレスな定期バッチ環境を作るには結局どれ使えばいいの？（Lambda vs Fargate vs Batch） - Qiita
それでは、一つずつ説明していきます。 環境構築の容易さ Lambdaはコードをアップロードさえすれば、実行環境が構築でき、その導入障壁の低さが魅力と言えます。 FargateとBatchはコンテナベースのコンピューティングサービスであり、事前にバッチアプリケーションを含んだDockerイメージを用意しておく必要があります。 実行環境の拡張性 Lambdaは標準で使用できるランタイム（プログラム言語とバージョン）に限りがあります。ただ主要言語はほぼサポートされており、カスタムランタイムも作成できるため、さほど不自由さを感じないのではないでしょうか。 また、そのままだと標準ライブラリしか使えないため、 Serverless Framework や AWS SAM を使用して、ローカルの実行環境をパッケージ化してデプロイする運用が一般的かと思います。ただ、OS依存のネイティブライブラリの導入には
業務自動化これ一本!? KNIME 初心者への完全ガイド！ KNIMEの使い方 入門から応用まで - デジタル推進課
本ブログでは、KNIME 初心者のための完全ガイドを作成しています。 KNIME初心者でもこれだけやれば、「KNIMEなんて簡単！」「自動化？まかせて！」「まだExcelでレポート作ってるの？」と言えるような人になれるようになることを想定しています。 Excelしか使ったことない・使う気のない方々に、KNIMEを使ってもらえるよう、私が実際に某外資系企業で教えているノウハウを惜しみなく掲載中です。 自動化ツールKNIMEを社員全員が使える、ハイテク企業を目指しましょう！ また、まっきーに下記のような業務を依頼してみたいということがございましたら、お気軽にお問合せフォーム、もしくはTwitter DMよりご連絡ください。好意にしている企業さん経由での受注も可能です。 KNIMEトレーニング KNIME作成の請負業務 KNIMEコンサルティング BIツールを用いたダッシュボード開発 データ分析
とある理由から、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作りたくなった為、AWS Lambda上でSelenium + Headless ChromeをPythonで動かす為の基盤作成を行った際の記録です。 作業時に部分的に参考になる資料は沢山あったものの、事前準備から始まり、Lambdaをどう作るかの作成部分、Lambdaからスクレイピングを実施する為のコード内記述、実行後に多くのケースでハマるポイントへの対処などなど、通しで書かれた内容が少なかった事もあり、振り返りの意味も含めて一度まとめてみます。 やりたいこと 冒頭にも書いたとおり、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作る為の実行基盤を作るのが目的です。 何故AWS Lambda上で動かす必要があったのか スクレイピング処理をLambda上で実行させる理由は
はじめに こんにちは、テクノロジー戦略室の新城です。私は2022年6月に中途入社し、入社してまだ半年ですがMLOpsの推進という仕事を担当しています。 現在レバレジーズではレバテックダイレクトの求人マッチ度判定のような、レコメンドシステムを多くのサービスで活用しています。 一方で機械学習モデルを本番運用したはいいが、データサイエンティストがモデルの改善フローを回しにくく、再トレーニングしたモデルのデプロイが頻繁にできないといった問題が顕在化してきました。 そこで、今回は社内営業支援ツールにおいてMLOpsを導入し実際にデータサイエンティストがモデルの改善プロセスを回せるようになったその事例を紹介できればと思います。 背景 レバレジーズのMLシステムはMLOps レベル0と言われる状態に近く、データサイエンティストがモデルを作成し、プロダクトへモデルを一度組み込むとその後の改善は行いにくく、
Systemdのtimer設定チートシート（コマンドまとめ）
Systemdはいまや多くのLinuxで標準的に使われているシステム管理用の仕組みです。 systemdの機能のひとつに、定期的・定時にコマンドを実行するtimerという機能があります。最近では、cronの代わりとしてsystemdのtimerを使う場面も多くなりました。 しかしcronに比べてsystemd.timerの情報は圧倒的に少なく、実装や移行の妨げになっていると感じます。 cronよりも最初の導入が少し厄介ですが、使いこなせると少ない労力で柔軟な設定が可能になります。最強に便利なツールであることは確かなので、ノートとして残しておきます。 Systemd timerとはなにか timerはsystemdのもとで動く、定期実行の仕組みです。 設定はcronと同様、設定ファイルを配置してコマンドを実行するだけ。 systemdが導入されているLinux（ほぼすべてのディストリビューシ
この記事は EC ブログリレーの19日目の記事です。18日目はtagamyさんによるWebエンジニアがWindows 10を使うべき8つの理由でした。 こんにちは、Tatsumi0000です。業務では、iOSアプリの開発をしています。RxSwiftに苦戦しながら業務を進めています。 普段開発しているiOSアプリがどのくらいのDLされているか知りたくなることはありませんか？ App Store Connectにログインすれば見れます。しかし、私は見に行くのは面倒だったので、毎朝10時に昨日のiOSアプリの新規DL数を投稿するSlackのbotを作成しました。新規DL数は、Apple公式のWeb APIである、App Store Connect APIから新規DL数を取得しています。動作環境としては、Go言語で書いたコードをGitHub Actionsのスケジュール機能を使って動かしています。
Pull Requestでレビューしたい！ はてなブログでホストされたエンジニアブログだとしても - LIVESENSE ENGINEER BLOG
どうも、かたいなかです。 採用広報チームでのブログ推進の一環として、はてなブログにある弊社エンジニアブログ記事をGitHubで管理するしくみを整えました。 この記事では、どのようなGitHubでの記事編集フローを構築したかをまとめます。 記事のレビューのフローがバラバラ・・・ GitHubで記事を管理できるように GitHub Actionsでtextlintを実行 GitHub Actionsではてなブログ側の変更を取り込む 定期実行のワークフローで公開された記事を公開済み記事のディレクトリに移動 GitHubで記事を管理できるようにしてどうだったか 参考 記事のレビューのフローがバラバラ・・・ 弊社のエンジニアブログの記事の運用での大きな問題のひとつに、レビューのフローが記事によってバラバラになってしまっていることがありました。 具体的には、以下のような一長一短ある複数のフローが、記事
B! 6 0 0 0 Google Spreadsheetsに色々とりあえずでもいいから保存していこう、ということで Raspberry PiでBME280を使って測定している温度、湿度、気圧の値を 保存するようにしました。 Raspberry Pi & BME280 Blynk 記録方法 Google Spreadsheets API 書き込みスクリプト Raspberry Piで定期実行 Raspberry Pi & BME280 HiLetgo BME280 温度 センサー 湿度 センサー 気圧 センサー Arduino センサー 大気圧センサ 温湿度センサー ブレイクアウト Arduinoに対応 [並行輸入品] Amazonで見る 楽天市場で見る BME280は温度、湿度、気圧を測定できるセンサーで、 Raspberry Piとかに接続して測定するときによく使われるものです。 Ra
はじめに 株式会社 RetailAI X Advent Calendar 2022 の 8 日目の記事です。 昨日は@tanabe_shogoさんの『Node.jsを使って、BigQueryからデータを取得するWebAPIを作る』でした。 本日は ML エンジニアの@atsukishが担当します。普段は機械学習モデルの開発以外にも、機械学習モデルの安定的な開発・運用基盤である MLOps の開発も担当しております。MLOps については以下の弊社テックブログでわかりやすい解説がありますので、こちらも参照ください。 機械学習モデルを安定的に開発・運用していくためには、MLOps のような機械学習向けの運用基盤が必要となります。次の図に示すように MLOps において機械学習モデルのアルゴリズムに該当するソースコード（ML Code）はごく一部であり、必要となる周辺要素は膨大で複雑です。ML
【初心者向け】AWS Systems Managerの変更管理を試してみた【前編】 - APC 技術ブログ
目次 目次 はじめに どんなひとに読んで欲しい 概要 料金 前提 試してみた Automation IAMロール作成 Automationの実行 メンテナンスウィンドウ メンテナンスウィンドウ作成 メンテナンスウィンドウ実行状況の確認 おわりに お知らせ はじめに こんにちは、クラウド事業部の山下です。 今回は多数あるAWS Systems Managerの機能の中でも、これまであまり使用したことがない「変更管理」のカテゴリに分類されるサービスについて調査・検証してみました。 Systems Manager 「変更管理」カテゴリの各サービスの概要説明と併せて簡単な設定手順もご紹介いたします。 どんなひとに読んで欲しい Systems Managerの機能について理解を深めたいひと Systems Managerの各機能の設定方法を知りたいひと 概要 まずは「変更管理」のカテゴリに分類される
40以上のバッチ、アプリケーションに影響するElastiCacheのアップグレードを行ったんだぁ。がんばったんだぁ。
ある日の出来事 スターフェスティバルのDPontaroです。 GWに差し掛かる頃でしたでしょうか。社内slackでこんなやり取りがありました。 といった流れで作業していくこととしました。 調査開始 関連アプリケーション ひとまずアップデートを行うことで、どのアプリケーションに影響があるのか調査を行うこととなりました。 本番環境で対象となっていたElastiCacheインスタンスは2台。 ありがたいことに、使用状況のドキュメントが残されており Redis上のどのdbが、どのアプリケーションで使用されているかまとめられていました。 ドキュメントによると、関連するアプリケーションは10ほどありましたが、 ほとんどがセッション情報や、クエリのキャッシュ情報なので 大きなリスクは無さそうだなと”この時は”思いました。 さて、えてしてドキュメントというのはメンテが追いついていない可能性もあるため 記載
こんにちは。freee APIチームでエンジニアをしているkotegawaです。 去年のAdvent CalendarではAPIのスキーマ駆動開発についての記事を書いて、APIの基盤を整える話をしました。 おかげさまでfreeeの公開APIも当時からendpoint数が40個以上増え、今では freee アプリストア というfreee APIを使ったアプリのプラットフォームに60以上のアプリが並ぶほどの盛況ぶりになっています。 今回はそんなfreeeのAPIを使ってAPIチームがFirebaseを使って自らアプリを作ってみた話をしてみます。 freee アプリストアに掲載しているfreee製アプリ「外貨建取引管理アプリ」の例 この記事はfreee Developers Advent Calendar 2019の21日目の記事です。 会計のWebアプリを作った背景 そもそも本体のアプリを作ろ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
driftctlによるIaC化推進に向けた取り組み - Safie Engineers' Blog!
使い勝手の良いSplunkダッシュボードの作り方 - ZOZO TECH BLOG
『WJPY』 ERC20完全分散型日本円ステーブルトークン | ALIS
「絡み合う複数のSaaS」の開発で難しいドメイン境界の設定 モジュラモノリスは依存関係解消の銀の弾丸とはならなかった
検索エンジンをElasticsearchに移行するまでに起きたこと、やったこと
Google Cloud で "バッチ ジョブ" を実行する 2 つの方法
mysqldumpでPROCESS権限(PROCESS privilege)を要求される - いっさいがっさい
初めて自作OSSツールを業務コードに入れた話 - KAYAC engineers' blog
VAddyを使って脆弱性診断を自動化する - Pepabo Tech Portal
検証環境のFargateのタスクを定期停止・定期起動してみた #Fargate | DevelopersIO
ZOZOTOWNにおけるキャッシュストアのリプレイス - ZOZO TECH BLOG
AWS Step FunctionsでECSタスクを定期実行する仕組みをSAMでデプロイする
AWS Lambda(Python)でSelenium + Headless Chromeの実行
データサイエンティストの皆さん不安よな。MLOps動きます。 - Leverages Tech Blog
App Store Connect APIから新規DL数を取得 - Pepabo Tech Portal
Raspberry Piで測定した温度湿度気圧をGoogle Spreadsheetsに記録する
【MLOps】Vertex AIによるモデルモニタリングサービスの構築 - Qiita
Firebaseで作るお手軽業務アプリ - freee Developers Hub