はてなブックマーク

SREの林 aka もりはやです。 今回はAWSコスト削減についてです。 ＊注意＊参考のスクリーンショットでパブリックなIPやリソースIDが表示されていますが、検証環境のもので既に削除済みです TL;DR NAT gatewayの料金は意外と高い 歴史的経緯で沢山のNAT gatewayが存在した NAT gateway整理の流れ 1. 未使用のPrivate Subnet・Route tableを削除する 2. VPC内の同一AZのNAT gatewayを集約する 3 . 上記の対応で不要となったNAT gatewayを削除する NAT gatewayの"Monitoring"画面で、各種メトリクスが変動していないか 削除対象のNAT gatewayがRoute tableから利用されていないか確認 ついにNAT gateway削除！でもEIP(Elastic IP)は残るので注意 終わ

はじめに こんにちは、グループ情報セキュリティ統括室の廣瀬です。 ランサムウェアの攻撃は年々増加しています。ニュースで報じられるたびに、「次は自分たちの番だ」という不安が頭をよぎります。攻撃者は企業のインターネット公開資産を偵察し、脆弱な侵入口を探している。この脅威に対抗するには、まず「自社が外部からどう見えているか」を把握することが重要です。 私は前職でセキュリティベンダに所属し、インシデントレスポンスサービスやセキュリティアセスメント、ASA（Attack Surface Assessment）のサービス提供に携わっていました。数多くの企業の「外部からの見え方」を診断してきた経験から、この重要性を強く実感していました。 当室は2024年10月に発足したばかりの新しい組織です。グループ全体のセキュリティ強化という大きなミッションを前に、何から手をつけるべきか。私はこれまでの経験を活かし、

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。dbtの1つのmodelをソフトウェアの最小単位としてとらえて、入力データと期待されるデータを準備します。入力データをテスト対象のmodelが処理し、その出力結果と期待されるデータを比較し検証すること

はじめに こんにちは、Data Management Office、データサイエンスセクションの横山です。データサイエンスセクションでは、AIや機械学習などの技術を用いて、サービスを改善する施策を推進しています。 Oisixに「あなたにおすすめ」機能を開発し、実際のパイプラインとしてリリースし、サービス全体の売上向上を確認できました。 本記事では、「あなたにおすすめ」機能の内容とそれを支える機械学習システムについて解説します。 「あなたにおすすめ」とは 「あなたにおすすめ」は、過去の購入履歴からユーザーの嗜好を学習し、各ユーザーに対して購入しそうな商品を提示するパーソナライズ推薦機能です。 ユーザーが過去に購入していない商品を中心に推薦するように設計され、新しい商品との出会いが増えることを目指しています。 従来、Oisixのパーソナライズ推薦機能は、リターゲティング（写真の「もう一度買う」

初めまして。デザイナーの高橋です。普段はUI設計や改善を担当してます。 前回、出口さんの旬ページリニューアル事例のエントリーでは、 スマホファーストの考えに基づき、「読ませる」より「見せる」にデザインの方向性を決めて「ビジュアル訴求を高めた」事例について紹介しました。 では、どのようにして「見せる」ことを実現させるためにスマートフォン上のデザインで解決していったのか？ 今回はその事例をご紹介できたらと思います。 簡単に「見せる」と言っても、オイシックスの売り場の特徴はページの「長さ」にあります。 いかにしてお客さまがサイトに訪問していただいた時のテンションを維持したまま、ページの最後まで飽きずに「見て」いただくことが出来るかが、デザインの成功のカギだと考えています。 そのため、長さを極力意識させない工夫、またテンションを上げもらう工夫が必要です。 「見せる」ためにやったこと そのために具体

こんにちは、Data Management Office、データサイエンスセクションの横山です。本ブログでは、Oisix ECサイトにおける補完商品推薦システムの開発について紹介します。 背景 Oisix ECサイトでは、「安心・安全でおいしい食品」を軸に、バリエーション豊かな食材やミールキットを取り扱っています。 食品ECにおいては、「単品購入」ではなく合わせ買いによって食体験の満足度が高まるケースが多く存在します。たとえば、カレーと福神漬け、生パスタとトマトソースといったように、一緒に購入することで料理の完成度や楽しみが向上する補完商品が多数あります。 これまでOisixでは、一部の商品について社内の知見をもとにマニュアルで補完商品を選定してきました。マニュアル作業がボトルネックになり、多くの商品に対して補完商品を推薦できていないことはより良いユーザー体験を提供する上での課題でした。

はじめに こんにちは。Oisix開発部バックエンドセクションの栗崎です。 私たちエンジニアリング本部では、今年度からプロダクト開発組織を導入し、各チームが自らビジネス目標を持って事業成長を目指す取り組みが始まりました。 私はその中で、とくに「ユーザの解約率を改善する」ことをミッションとするチームに所属しています。 チームは始動しましたが、解約要因は多岐にわたり不確実性が高いのが現実です。そこで、まずは「Oisixを十分に活用できている理想の状態」と「解約に至ってしまう実態」のギャップ（課題）を特定し、それを埋めていくアプローチをとることにしました。 本記事では、その過程で手探りで始めたデータ分析と、そこから導き出した施策の仮説検証プロセスを紹介します。 課題の特定と解決のアプローチ 最初に「どうして解約（退会）に至ってしまうのか？」「解約のトリガーとなるものは何か？」をチーム内で話し合いま

2022年10月にオイシックス・ラ・大地にAndroidエンジニアとして入社した ohzonoです。 Androidアプリのビルド速度を25倍（※環境による）にしたのですが、未設定の場合であれば比較的簡単に実現できるため紹介したいと思います。 結論 TechBooster C99の第1章に書かれている内容を実装し、gradle-profilerで計測するとビルド速度が中央値の比較で25倍になりました。 詳細 雰囲気で乗り切っているひとのためのAndroidビルド高速化ノウハウを参考に TechBooster C99 第1章（以下TechBooster）にはタイトル通りで、Androidのビルド高速化に関する情報がまとめられています。 弊社のOisixアプリ（Android）ではgradleキャッシュを使っていなかったため gradle.propertiesに1行加えることでビルド速度を改善

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています髙橋です。 dbt開発の定型作業を効率化するツールを作成しました。「このSQLをdbtのモデルにして」と指示するだけでモデル作成から関連ファイル生成、Lintチェックまで完了しますし、「このモデルの差分をチェックして」でレグレッションテストも実行できます。 この記事では、ツールの機能紹介と、実装で工夫した点を共有します。 なぜ作ったか 私たちのチームではdbtを使ってデータ変換パイプラインを構築しています。複雑な依存関係を持った大量のモデルを運用しており、依存関係が複雑なほどレグレッションテストは重要ですが、その分手間もかかります。 一方で、ビジネスの要求に素早く応えることも求められます。弊社の行動規範「早いもの勝ち、速いもの価値」にあるように、スピードは重要な価値です。 定型

SREの林です。2022-08-05に行われた「Cloud Native Security Conference 2022」に参加してきましたので報告です。 参加にいたるまで CFPへの応募から採択まで 採択後からカンファレンス直前まで カンファレンス当日は緊張感が... カンファレンス終了、その当日にアーカイブが公開されるスピード感 まとめ 林コメント Okamosコメント event.cloudnativedays.jp 私（林）と同僚のOkamosは「AWS Security Hubの警告数”34,326”から始めたクラウドセキュリティ対策」のタイトルで参加しました。 セッションの概要や録画は以下のカンファレンスサイトで見れますのでよろしければご覧ください。 event.cloudnativedays.jp 資料は以下になります。(ドクセルさんを利用しています、ありがとうございます)

はじめに こんにちは。OisixでEC領域のプロダクトマネージャー（PM）をしている棚澤です。 近年、事業ドメインはますます複雑化し、サービスの高度化が進む中で、PMが担う「顧客価値の最大化」というミッションの難易度も上がっています。 「部署横断の連携がうまくいかない」「顧客価値の共通認識が揃わない」「開発した機能が成果につながらない」——そんな悩みを抱えるPMの方も多いのではないでしょうか。 Oisixも例外ではありません。今まで社内から 「受託開発組織」と揶揄されてきたエンジニアリングチームから、事業成果にコミットする 「自律的なプロダクト開発チーム」へと変革しようとしていますが、課題は山積みです。 Oisixの顧客体験を進化させ、事業成果にもしっかりとコミットできる組織になりたい。 その第一歩として、3年後実現したいお客さまの状態・事業の状態・PMは何をすべきかを言語化すべく、Tab

はじめに こんにちは、SREセクションの子安です。 Oisixのサービスでは、データベースに Amazon RDS for Oracle Enterprise Edition (EE) を採用し、可用性とスケーラビリティを確保するために Active Data Guard 構成を組んでいます。 サービスの特性上、商品の情報を閲覧するような「読み取り（参照系）」の処理がとても多いのが特徴です。 そのため、読み取り専用の リードレプリカ に処理を逃がすことで、書き込みを行う プライマリDB の負荷を減らし、サービス全体のパフォーマンスを安定させています。 今回は、この構成ならではの「リードレプリカでだけSQLのパフォーマンスが急に悪化する問題」と、それを解決するためにデータベースエンジニアとしての経験を活かして取り組んだ、ちょっとした工夫についてお話しします。 そもそも「実行計画」ってなんだっ

主にインフラ担当の長尾です。 先日、Microsoftの寺田佳央さん(Javaの神)にハックフェストを開催していただき、当社のエンジニア5名、Alterboothの加藤さん、松村さんの2名で参加してきました。 ハックフェストとは？ マイクロソフトのトップエンジニアの方々とテーマを決めて一緒に解決をしていく夢のようなイベントです。 しかも今回担当してくださったのが、日本に2人しかいないJavaチャンピオンの寺田さんということで、開発言語にJavaを使っているオイシックスとしては嬉しすぎる機会でした。 テーマ 当社が運営しているECサイト「oisix.com」は、17年間機能拡張を重ねた結果、開発スピードの低下やスケーラビリティの低さに悩まされてきました。今回はこの課題を解決するために、Spring Bootでマイクロサービス化して切り出していくというテーマを設定し、最も古く切り出し難易度が高

こんにちは、オイシックス・ラ・大地のデータプラットフォーム室でマネージャをしている普川です。 我々のチームでは主にレコメンドエンジン開発プロダクトに実装するモデルの開発や、需要予測のような業務で使うデータエンジニアリングを主に実施しています。データ分析の活動をどうビジネスの価値に変えていくかについて、今回は真正面から答えてみました。 あ、この記事はOisix ra daichi Inc. Advent Calendar 2018の２０日目の記事となっております。 目次 目次 この本がすごくいいんです。 データ分析の価値とは データ分析における問題解決の４つのフロー それぞれでのポイント 1.活動領域の決定 2.問題の可視化 3.データモデリング・エンジニアリング 4.ビジネスへの適用 案件を成功のための３つのポイント ①現場との関係作り ビジネスの理解 データの整備 「データ分析案件を育て

Androidエンジニアの @shanonim です。今年7月に弊社の定期宅配サービス「おいしっくすくらぶ」のAndroidアプリをリリースしました。 play.google.com 今回はその開発の裏側を紹介したいと思います。 目次 目次 定期宅配サービス「おいしっくすくらぶ」について Androidアプリ開発に至った背景 OisixのAndroidアプリ開発 Kotlinの採用 1. 優れた言語仕様 2. 導入事例が増えている 3. Javaとの100%互換 開発チーム 開発ツール 開発プロセス 1. issueの起票 2. milestoneの設定 3. 開発 4. 振り返り 開発を加速させるための施策 【開発戦略】技術的負債の返済 【スキルアップ戦略】技術顧問の招聘 まとめ 定期宅配サービス「おいしっくすくらぶ」について Oisixは食品販売のECサイトを運営しています。安心安全で

SREの林 aka もりはやです。 先日オンプレで稼働していたとあるPostgreSQLのDBを、Amazon Aurora PostgreSQL（以後はAurora）に移行を行ったところ CREATE INDEX が以下のエラーで作成できない問題に苦労させられたため、解決策と合わせて公開します。 これがベストな対応かは自信がないため、より良い方法をご存知の方はお気軽に教えてください。 以下はDBのリストア中に CREATE INDEX で発生したエラーです。 pg_restore: error: could not execute query: ERROR: could not write to file "base/pgsql_tmp/pgsql_tmp19647.47.fileset/1.2": No space left on device CONTEXT: parallel wo

はじめに 運用管理の課題 NetBoxへの移行 NetBoxとは NetBoxへの移行準備 Googleスプレッドシートのフォーマットを正規化してCSVとして扱う devicetype-libraryを活用する Ansibleを使用して、CSVファイルをインポートする Ansibleを活用したNetwork機器の自動化 まとめ はじめに こんにちは、SREの井上です。今回は、Oisix ra daichi Inc.（以後はORD）で機器管理をGoogleスプレッドシートからNetBoxへ移行し、NW機器のコンフィグを自動取得した社内事例を紹介いたします。 ORDでは、美味しい野菜を多くのお客様へお届けするために多数の拠点を置いています。多拠点をつなぐORDのネットワークは、本社が位置する大崎や物流拠点の海老名ステーション、もともと別ブランドだった「らでぃっしゅぼーや」「大地を守る会」のネッ

こんにちは、オイシックス・ラ・大地のデータプラットフォーム室でマネージャをしている普川です。 我々のチームでは主にレコメンドエンジン開発プロダクトに実装するモデルの開発や、需要予測のような業務で使うデータエンジニアリングを主に実施しています。 今回我がチームに未経験のメンバーが入ることになりました。チームに加わって貰う前に、最低限身につけてもらいたいスキルや知識は何か、それをどうやって獲得してもらうかをチームメンバーと一緒にまとめました。せっかくなのでブログで公開してみたいと思います。 目次 目次 今回やりたいこと 到達したいレベル 事前学習で気をつけたいこと 取り上げる教材について 取り上げる内容について カリキュラム 数学 線形代数 線形代数ののおすすめ本 微分 微分のおすすめ本 統計・確率 統計・確率でおすすめの本 エンジニアリング プログラミング Python プログラミングのおす

こんにちは。オイシックス株式会社でAndroidアプリ開発を担当しています、 id:shanonim です。弊社のエンジニア・デザイナーでクリエイターズブログを始めることになりました。 オイシックスは、2000年に創業した食品ECの会社です。有機・無農薬食材を中心とした「美味しくて健康になれる食品」をインターネットで購入できる事業を展開しています。インターネット上の食品専門スーパー「Oisix.com」の利用者数は、今年の4月時点で170万人を突破しました。🎉 また先日、同じ食品宅配事業を展開する株式会社大地を守る会と経営統合し、「オイシックスドット大地株式会社」となることが発表されました。 prtimes.jp 会社も事業も多くの変化がありますが、それとともにエンジニア・デザイナーの現場も常に変化し続けています。「Oisix Creator’s Blog」では、そんな日々の中で生まれる

はじめに 秋の気配が色濃くなり、鍋が恋しい季節になってきましたね。 Oisixでは、定番モノから変わり種まで、鍋のKitも販売しています。これからの寒い時期にいかがでしょうか。 改めましてこんにちは。Oisixエンジニアリング部の菊池です。開発ディレクションから監視まで、Oisixシステムに関わることを手広くこなしています。 「そろそろ君も何か書きなさい」という声が徐々に大きくなってきたので、拙筆ながらウェブサイトのCore Web Vitalsをテーマに投稿させていただきます。 Core Web VitalsはGoogleが定めるユーザー体験を測る重要な指標です。これらはSEOのランキングシグナルとして知られていますが、最も重要なのは「ユーザー体験の向上」がコンバージョン率（CVR）というビジネス成果にどれだけ影響するか、という点です。 本記事では、私たちが運営するECサイト Oisix

Androidエンジニアの篠原（@shanonim）です。12/9〜12/10の2日間、弊社キッチンスペースでハッカソンを開催しました。 oi-study.connpass.com 今回は、イベントの背景や当日の様子をお伝えしたいと思います。 開催のきっかけ キッチンハッカソン2017は、ハンズラボ株式会社との共同開催です。 ハンズラボの百木田さん（@ykarakita）と別のハッカソンで知り合った際、「自分たちでハッカソンを企画するならどんなテーマになるだろう」と考えて、 ハンズラボ →モノ×キッチン オイシックスドット大地　→食材×キッチン という共通のテーマを見つけました。 海外では『The Smart Kitchen Summit』を始めとしたキッチンテック界隈が盛り上がっていますが、日本ではまだそれほど知名度がありません。 そこで今回、これから伸びるであろうキッチンテックの流れに

SREの高木です。 Amazon Elastic Kubernetes Service(以下EKS)において、Node障害に備えてPodの分散配置を実現しました。 本記事でその事例をご紹介します。 背景 TL;DR 環境 Podの分散配置を実現するために使用する機能 Pod Topology Spread Constraints Descheduler Descheduler利用時の注意事項 PodDisruptionBudget (PDB) 検証 1. Podを起動したとき、Pod Topology Spread Constraintsの戦略に従ってPodが別々のNodeに配置されるか？ ここまでのまとめ 2. Podの配置状態がPod Topology Spread Constraintsを満たさなくなったとき、DeschedulerによってPod Topology Spread Co

はじめに こんにちは、Platformセクションのミカエルです。 今回扱うテーマは、デプロイ速度の遅さと、それによる不安を無くす方法についてです。 現代のマイクロサービスアーキテクチャにおいて、サービス間の通信の信頼性とダウンタイムの最小化は重要な課題です。特に、デプロイやインフラの運用変更時に発生する一時的なエラーやダウンタイムは、ユーザー体験に直接影響を与えるため、インフラ側で適切な「ガードレール」を整えておくことが必要です。 私たちは現在、基盤刷新プロジェクトにおいてDapr（Distributed Application Runtime）を活用しています。DaprはOSSで、分散アプリケーション開発を簡素化する優れたランタイムです。サービス間通信、状態管理、パブ・サブメッセージングなどの共通機能を提供し、アプリケーションコードから複雑なインフラストラクチャの詳細を抽象化してくれます

こんにちは！SREセクションの林（@morihaya55）です。 本記事はOisix ra daichi Inc. Advent Calendar 2018の17日目の記事です。 昨日は@yymzkの社内でキーボードつくる会を企画した話でした。 同僚がキーボード沼に沈んでいくのを横から暖かく見守るのは気持ちが良いですね、どんどん沈んで欲しいです。 ちなみに私は無難に既製品のErgoDox EZを使っています。分割キーボードは肩が広がる感じが良いですね。 さて今回は digdag + embulk でSaaSのレポートを検査する仕組みを作った話 と題してつらつらと書きます。 やったこと 目的 正常時の件数確認を楽に行いたい 異常時の検知をしたい 対策を検討した どうやったのか digdag、embulkとは Python、pandasとは embulkのプラグインの豊富さが凄い コードのご紹

SREの林 aka もりはやです。 タイトルの通りですし、PostgreSQL界隈の皆さんには当たり前のことですが”失敗事例の共有はいくらあってもいいはず”の気持ちで本記事を書いています。*1 TL;DR 詳細 最新バージョンでアプリを移行した矢先にAurora PostgreSQLのv16.1対応が発表 これを受けて、意気揚々とAurora PostgreSQLのバージョンアップを実施 またしてもCPU高騰、そして504多発 調査開始 ZabbixにはSlow queryを出力する機能がデフォルトである クエリチューニングするならEXPLAINを使う ANALYZEを実行することで解決 仕上げのDB全体へのANALYZE まとめ TL;DR 何よりもまず、アップグレードガイドを読みましょう！！！！！！ AWS公式ドキュメント _ Amazon Aurora PostgreSQL DB ク

負債解消Prjにおけるナビ運用CMS化の取り組み はじめに Oisixエンジニアリング部バックエンドセクションの栗崎です。 Oisixエンジニアリング部では、ECサイト「Oisix」のサービス開発を行っています。 OisixのECサイトは、2000年の創業から約25年にわたり、多くのデザインや運用を踏襲・改善しながら歩んできました。 しかし、その長い歴史の中で成長とともに、さまざまな技術負債が蓄積されてきました。 この技術負債は新たなサービスの迅速な展開や柔軟な運用の障害となることが少なくありません。 この課題を解決するため、負債解消Prjが2023年度より本格的に始動しました。 この記事では負債解消Prjにおける「ナビ運用CMS化」の取り組みについて紹介します。 負債解消Prjはいくつかのフェーズに分かれており、ナビ運用CMS化は1つ目のPh0に位置付けられます。 現在計画されているもの