広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介 - クックパッド開発者ブログ
メディアプロダクト開発部マーケティングサービス開発グループの我妻謙樹です。クックパッドにおける広告開発システム全般の新規開発・保守・運用を担当しています。 マーケティング事業全般やチーム体制については、前回の記事でご紹介しました。こちらを読んで頂ければ、メディアプロダクト事業部をめぐる組織体制や、マーケティングサービス開発グループの技術スタックについて概要を掴んでいただけると思います。 今回は、その記事でも触れた広告配信サーバーの技術的な取り組みについてご紹介します。その中でも特に、Amazon DynamoDB Accelerator (DAX) の活用に焦点を絞ってお伝えします。 背景 従来、広告をアプリ側で表示させるためには、マーケティングサービス開発グループがオーナーとして開発している広告 SDK を、クックパッド本体アプリに組み込み、非同期に広告配信サーバーにリクエストを行うこと
RaspberryPi 3 Model B+でIoT監視カメラをつくる（その７ カメラのAI化） | そう備忘録
追加インストール機械学習の為にGoogeのTensorFlow関連のモジュールを追加インストールした。 Edge TPUランタイムのインストール以下のコマンドでラズパイにEdge TPU（Tensor Processing Unit）ランタイム（スタンダード版）のインストールを行った。 尚、本来はCoral USB Acceleratorの様なEdge TPUユニットをラズパイに接続して機械学習を行うのが理想なのだろうが今のIoT監視カメラにCoral USB Acceleratorを追加すると外箱を作り直さないといけないのと、そこそこの値段がするので（１．５万円ぐらい）ラズパイ単体でTensor Flow Liteを動かすことにしている。 この為、最後の行のlibedgetpu1-stdのインストールは今回のプログラムをラズパイ単体で動かすだけであれば不要なのだが、今後Coral USB
昔はこういうの結構やられてた気がするけど最近あんまり見なくなったのでやってみました。 タイトルは から借用しました。 注意点 プラグイン自体の説明はあまりするつもりはないので、GitHub の README を読むなり使ってみるなりしてみてください。 私は結構頻繁にプラグイン乗り換えるので 2022 春バージョンと思ってください。 私が言うのもあれですが、プラグインはいっぱい入れればいいというものではありません。ひとつひとつを使いこなすのが大事です。多ければそれだけ管理も大変です。 競合があるプラグインは比較して選定しているつもりですが、あくまでも私の趣味の範囲での選定となります。絶対的な指標があってこっちの方が優れているといった判断をしているわけではありません。 私の Neovim の使い方 使い方が違うと参考にならないことが多いため前提としてどういうふうに Neovim を使っているか
AWSでTerraformの実行を自動化する環境を作成しました。 github.com AWS内で閉じた形で、Terraformを使い、自動的にAWSリソースを作成する前提です。 Terraformを実行する環境はCodeBuildで用意しました。 その実現方法を紹介します。 環境作成 ディレクトリ構成 terraform-auto-apply-example直下には、自動化の環境を作成するためのtfファイル（main.tf、codebuild.tf）があります。 exampleディレクトリ内のtfファイルが自動実行の対象になります。 terraform-auto-apply-example ├── Dockerfile ├── README.md ├── buildspec.yml ├── codebuild.tf ├── docker-build.sh ├── example │
みてねの動画再生にHLSを導入した話
こんにちは、みてねプロダクト開発部 基盤開発グループ SREチームの尾関です。 『家族アルバム みてね』（以下、みてね）ではユーザーがアップロードした大量の動画データをS3に保存していますが、非常に大きなコストがかかっています。 様々な方法でコスト削減を行ってきましたが、本記事ではその中でもユニークな、HLSを使った改善についてお話させていただきます。 みてねで動画をアップロードしてから再生できるまでの流れまず、従来(2022年3月頃まで)のみてねで動画をアップロードしてから再生するまでのフローを説明します。 アップロードした動画ファイル(original)が保存されるとともに、スマートフォンで再生するための少し解像度を調整した動画(smartphone)とサムネイル画像(small, medium, large)を保存しています。特に何の変哲もないシステムだと思います。 S3のストレージ
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
User-Agent Client Hints
This specification was published by the Web Platform Incubator Community Group. It is not a W3C Standard nor is it on the W3C Standards Track. Please note that under the W3C Community Contributor License Agreement (CLA) there is a limited opt-out and other conditions apply. Learn more about W3C Community and Business Groups. 1. Introduction This section is non-normative. Today, user agents general
GitHub Actions / GitHub CLI を使った PR レビューをサポートする取り組み - Uzabase for Engineers
NewsPicks でサーバーサイドエンジニアを務めている池川です。 サービス運営をされている会社さんであれば、どの会社さんでも何らかの障害を起こし、その対策のための MTG を実施されていると思います。 が、サービスを長く運営していると、過去に発生してしまった事故と似た事故を発生させてしまうということが往々にしてあります。 NewsPicks でも、そのような事故が発生し、どうしたものかということが MTG での話題にのぼりました。 そこで、 NewsPicks ではそのような事故を風化させないための取り組みとして、事故が発生しそうな PR に対して、 GitHub Actions を用いて注意をうながすメンションを投げるワークフローを設定しました。 簡単な取り組みとなっているので、ご参考になれば幸いです。 背景 使用したツール 処理フロー GitHub Actions での実装 実際の
Until now, one piece missing from WebAssembly standalone engines was the ability to spawn threads. Browsers have had this ability for some time via Web Workers, but standalone engines had no standard way to do this. This post describes the work of several collaborators to bring about wasi-threads, a proposal to add threads to WASI. It will explain the history to this proposal, the work done to get
こんにちは、コーポレートエンジニアの小石(@koipai)です。 この記事では、毎月10〜20人が入社してくるSmartHRにおいて、従業員PCにかかる初期セットアップを自動化して、オンボーディングをちょっと楽に、そしてリモートワークにも対応できるシステム構築をした話をしたいと思います。 なにが課題だったのか まず、前段となる話、つまり僕がSmartHRに入社してJamf Proを触り始める以前の話をすると、僕が入社した2019年11月時点、SmartHRでは既にJamf Proが導入済み、ゼロタッチデプロイっぽいことはやっていた、という感じでした。 SelfServiceによる「なんちゃってゼロタッチデプロイ」 Jamf ProにはSelfServiceという、Jamf独自のアプリ配布用アプリが存在します。 そして、SelfServiceでは管理者によって登録されたアプリを従業員が任意で
家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか？と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった
Playbookは外部ファイルのインポートや条件分岐やループなどの制御構文が使えるため、プログラミングと同様にソースコード品質管理の考え方を活用できます。 本記事では、筆者がPlaybookを作成する際に、後々メンテナンスしやすいように気を付けていることを紹介します。(もっと良い方法がある場合は、コメントいただけると助かります) インベントリ(Inventory) ターゲットノードにはホスト名とIPアドレスを書く インベントリ(Inventory)には、構成管理対象のノード(以下、ターゲットノード)を記載します。IPアドレス、ホスト名(FQDNも可)どちらの書き方も可能ですが、それぞれ以下の問題があります。 IPアドレス: ターゲットノードが何のサーバなのか分からず可読性が悪い ホスト名: Ansibleを動かすサーバがホスト名を名前解決できる必要がある 上記の問題を解決するため、ターゲッ
こんにちは、リードエンジニアの @dachi_023 です。今回はGitHub Actionsとecspressoでデプロイフローの構築をしたのでそれについて書いていきます。先に言っておくと簡単にセットアップできるし設定もシンプルなのでかなりおすすめです。 Actions | GitHub kayac/ecspresso: ecspresso is a deployment tool for Amazon ECS これまでのデプロイ コネヒトではECS環境へのデプロイに silinternational/ecs-deploy を採用しています。CodeBuildもしくはTravis CI上からecs-deployを利用してECS環境にアプリケーションをデプロイする構成です。 CI/CDツールの乗り換え検討 これまでずっとTravis CIを利用してきました。しかし 料金体系の変更 があった
WebDriver について調べる機会があったので簡単にまとめました。 この記事では curl を使って、WebDriver によるブラウザ操作をしてみます。 WebDriver と Selenium の歴史 Selenium は現在最も広く使われている、Web ブラウザの自動化・テストフレームワークです。 多くの言語をサポートしており、Java や C#などの言語から、Web ページを開いたり要素の検証ができます。 そのため Web サービスの End-to-end (E2E) テストの自動化で主に利用されています。 Selenium 1 (Selenium RC) と呼ばれていた時代は、ブラウザを操作するために Selenium Core という JavaScript をブラウザ上でロードしてました。 しかしブラウザのセキュリティ強化により、Selenium Core の JavaSc
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the
このエントリーは Java Advent Calendar の9日目のエントリーです。 qiita.com Virtual ThraedはJava 19でPreview (JEP 425)、Java 20でSecond Preview (JEP 436)となり、うまくいけば次のLTSであるJava 21で導入予定です。 パフォーマンスを考える時に、一般的にはスループットと応答性の2つがあります。スループットは単位時間あたりにどのくらいリクエストをさばけるか、応答性は処理のリクエストから結果が帰るまでの時間です。Virtual Threadのこの2者のうち、スループットを向上させるために導入されます。 では、なぜ今になってVirtual Threadが導入されるのかということを、歴史を振り返りながら考えてみるのがこのエントリーです。 いにしえの時代 - Java 1.0からJ2SE 1.4
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
ラズパイを使って何かアプリケーションを作りたいと思っている人赤外線センサーによる人間感知の機能の実装を作ってみたい人撮った写真をLINEに送る方法を知りたい人 こんにちは．けんゆー（@kenyu0501_)です． ラズベリーパイを使った防犯カメラを作ってみました． プログラムはPythonで組みますが，「やさしくはじめるラズベリーパイ」という本を参考にしました． さらにラズベリーパイで写真を撮った後，そのままLINEに送るアプリケーションを作ります． 人を感知するための赤外線センサーを用いて，シャッターを切ります． LINEに送るために，LINE Notify APIを使用するので，まずはその方法について解説していきます． LINE Notify APIを使えるように申請する．LINEに通知をするために，LINE Notify APIを利用しなければなりません． 以下のページから，LINE
Go 1.16リリース記念連載の最終回はsignal.NotifyContext()です。 ご存知のように、Go 1.7でcontext.Contextが入ってから、少しずついろいろなAPIがContext対応になりました。 1.7 netのDialerがDialContext()メソッドを追加 net/httpのhttp.RequestがContext()とWithContext()メソッドを追加。 os/execがCommandContextを追加 1.8 database/sqlが大幅にcontext.Context対応を追加 net/httpのhttp.ServerがShutdown()を追加 netにcontext.Contextに対応したリゾルバーを追加 1.13 net/httpのNewRequestWithContextと、Request.Clone()が追加 外部へのネッ
【CTO協会研修記録】 未経験エンジニアがISUCONで圧倒優勝するまでの話 - PLEX Product Team Blog
はじめに こんにちは、2024年4月に株式会社プレックスに新卒入社した佐藤祐飛です。現在は建設業界向けSaaSプロダクト「サクミル」の開発に携わっています。 2024年7月31日に、日本CTO協会主催の新卒合同研修でISUCON研修が開催され、50万点を超えるスコアで優勝することができました。 CTO協会様主催のISUCON研修優勝しました🏆 実はISUCON研修に勝つために2ヶ月間準備していたのですが、その成果が出てよかったです🔥 後日、「ISUCON 研修をガチった話」と題してテックブログを投稿する予定なのでそちらもチェックしていただけると嬉しいです‼️#ctoawakate https://t.co/fUr2hf8rkr pic.twitter.com/7FxYbmiIBu— yuhi (@yuhi_junior) 2024年7月31日 ISUCONは若手エンジニアにとってハード
Bluetooth通信実装のセキュリティ観点を4ステップ + 1で理解する - Flatt Security Blog
Bluetoothは、米国Bluetooth SIG,Inc.の商標です。 イントロ BLE通信 概観 GATTプロファイル ペアリング 脆弱性 1: Characteristicの権限指定ミスによる平文通信 観点: GATT Characteristicと属性 対策: characteristicへの暗号化必須属性の付与 脆弱性 2. Legacy Pairingにおける暗号化された通信のブルートフォース LE Legacy Pairingにおける鍵生成と鍵交換 TKの生成 random値の生成 STK/LTKの生成 観点: ペアリングフローの盗聴による経路復号 既成ツールを用いたTKの総当りと通信の復号実践 対策: Legacy vs Secure Connection 脆弱性 3. Secure ConnectionのJust Worksにおけるperipheralのspoofing
ULPを活用した電池駆動ESP32雨センサシステムを作る - The Negligible Lab
はじめに 明けましておめでとうございます🐇 とうとう昨年（2022年）の記事がただの1件から増えることがないまま2023年を迎えてしまいました。令和も何ともう5年です。さらにはもう2月ですね。 さて，新型コロナウイルスの流行が始まってから，筆者はほぼ在宅勤務となっています。その仕事机はちょうどバルコニー*1に通じる窓の直近に位置しています。このバルコニーには洗濯物も干しているのですが，雨が降り始めてもすぐ近くに座っている筆者がそれに気付かず，洗濯物を濡らしてしまうことが多々ありました。雨滴を検知して雨の降り始めをお知らせしてくれるシステムがあれば…いや，自分で作るのだ…！ そこで，雨が降り始めたらLINEに通知を送ってくれる雨センサシステムを製作します。 まずは図1，2に完成形を示します。 図1: ESP32マイコンによる雨センサシステム 図2: “素”のESP32マイコンを搭載する基板
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ワシの使っているNeovimプラグインは200個近くあるぞ
AWSでTerraformの実行を自動化する方法 - なになれ
postgres.new: In-browser Postgres with an AI interface
Announcing wasi-threads
Jamf ProでMacのゼロタッチデプロイをやってみた話 - SmartHR Tech Blog
Nature Remo＋AWS＋LINE Notifyで緩やかな自宅監視（１）
【Ansible】メンテナンスしやすいPlaybookの書き方 | 電算星組
GitHub Actions & ecspressoによるデプロイフロー構築 - コネヒト開発者ブログ
curlで覚えるWebDriver (1/2) | Folioscope
Amazon Linux 2023がGAされました | DevelopersIO
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
Virtual Thread導入の背景 - Javaのマルチスレッドの歴史を振り返る
ラズベリーパイで防犯カメラを作ってみた(LINEに通知する)
Go 1.16のsignal.NotifyContext() | フューチャー技術ブログ