はじめに こんにちは、MA部の松岡（@pine0619）です。MA部ではマーケティングオートメーションシステムの開発・運用に従事しています。 ZOZOTOWNでは、マーケティングオートメーションシステム（以下、MAシステム）を使い、メールやLINE、アプリプッシュ通知といったチャネルへのキャンペーンを配信しています。 MA部では、複数のMAシステムが存在しており、MAシステムそれぞれに各チャネルへの配信ロジックが記述されていました。これにより、現状の運用保守ならびに今後の改修コストが高いかつ、使用している外部サービスのレートリミットの一元管理が出来ていないなどの問題を抱えていました。そのため、外部サービスへのリクエスト部分をチャネルごとにモジュールとして切り出し、複数のMAシステムから共通で使える配信基盤を作成しました。 また、社内の他チームの持つシステムからのキャンペーン配信の要望があっ
November 3, 2023 GitHub.com now remembers multiple accounts in your browser. You can find the account switcher in your profile picture context menu, letting you more easily switch between user accounts without re-entering your credentials. The account switcher helps developers alternate between Enterprise Managed User accounts provided by an employer and personal accounts for use with personal pro
GitHubの内部ネットワークにアクセス可能な脆弱性(SSRF)を報告した話 - Flatt Security Blog
はじめに こんにちは、株式会社Flatt SecurityでセキュリティエンジニアをやっているRyotaK (@ryotkak) です。 HackerOneのイベント (H1-512) に参加するためにテキサスに行った話で紹介したイベントにおいて報告したSSRF(サーバーサイドリクエストフォージェリ)に関して、脆弱性情報を公開する許可が得られたため、今回の記事ではその脆弱性に関して解説を行います。 なお、本記事で解説している脆弱性はGitHub Bug Bountyプログラムのセーフハーバーに則り行われた脆弱性調査の結果発見され、公開を行う許可を得たものであり、無許可の脆弱性診断行為を推奨することを意図したものではありません。 GitHubが開発するプロダクトやサービスに脆弱性を発見した場合は、GitHub Bug Bountyへ報告してください。 GitHub Enterprise Im
CrowdStrike社のセキュリティソフトに起因するWindowsのシステム障害（BSOD）について - セキュリティ事業 - マクニカ
CrowdStrike社のセキュリティソフトに起因するWindowsのシステム障害（BSOD）について 7月19日に発生しましたWindowsを搭載したパソコンでの全世界的なシステム障害につきまして、CrowdStrike社（以下CS社）のセキュリティソフトFalcon Sensorのアップデートに起因する障害であると、同社から連絡を受けております。マクニカでは、CS社の国内販売代理店として、本障害に関する情報を入手し次第、弊社ホームページ上にてご報告してまいります。 すでに、CS社からは、問題の原因は突き止め、復旧とお客様へのサポートに全力を尽くしていると報告を受けています。弊社でも、現在、ご契約のお客様の業務が復旧するよう全力でサポートに当たっております。お客様、販売パートナー様におかれましては、下記を参考の上、ご不明な点等ございましたら、弊社問い合わせ先までご連絡いただけますよう、ご
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
今回の対談で岸田首相は、日本にできるだけ多くのGPUの提供するよう要請し、フアン氏が応じたという。 対談後に首相官邸で行われた囲み取材の写真を各社が公開しており、革ジャン姿のフアン氏を確認できるが、「対談中も革ジャンだったのだろうか」と一部ネットユーザーの間で話題になっていた。 フアン氏は公に出る際、ほとんど黒の革ジャンを着ており、トレードマークになっている。ただ、11月21日に米サンフランシスコで行われた日米連携意見交換会では、スーツ姿で西村康稔経済産業大臣などと対面していた。このため、日本での首相会談はスーツを着るのか革ジャンなのかが一部で注目されていた。 関連記事 NVIDIAのファンCEOがCOMPUTEXで披露した生成AI関連製品まとめ NVIDIAは「COMPUTEX 2023」で、多数の生成AI関連製品を発表した。大容量AIスパコン「DGX GH200」やゲームキャラに命を吹
dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's blog これらのツールで巷でよく言われる データリネージの可視化ができる データに対するテストが簡単に書ける エンジニア以外の人ともコラボレーションしやすい あたりの話は耳にタコができるくらい聞いていると思うので、ニッチではあるもののそれ以外のdbtの個人的に推しなポイントをダラダラと書いてみたいと思う。データエンジニアやデータガバナンスを推進する人には共感してもらえる内容かもしれない。 推しポイント:
入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
はじめに こんにちは！私がつとめている CastingONE という会社の SaaS には、テーブル形式のデータ一覧ページがあります。この一覧ページですが、最近データ数が増えれば増えるほど、じわじわとパフォーマンスが悪くなっていってました…。そこで今回は、そのリストデータ取得におけるパフォーマンス改善を行なった時の、パフォーマンス計測方法や検討内容、最終的な結果をまとめてみました。 対象読者 バックエンドのパフォーマンス改善の方法や改善の流れに興味がある方 ちなみに私がこの改善を行なった時のスペックですが、パフォーマンス改善については初心者寄りでした。「パフォーマンス改善って何それ美味しいの？」というレベル感だった当初、「達人が教える Web パフォーマンスチューニング 〜ISUCON から学ぶ高速化の実践」という本には基礎を知るところから大変お世話になったので、ご興味のある方はぜひ読んで
Googleの検索部門から大量に漏えいしたとされるAPIドキュメントについて、Googleが本物であると認めたとThe Vergeが報じている。これは、SEOの専門家である米SparktoroのRand Fishkin氏、米iPullRankのMike King氏によって存在が明らかにされたもので、当初Googleはこの資料についてコメントを拒否していたという。 報道によると、問題となっている文書には、Googleが追跡しているデータの詳細が記されており、その一部は同社が厳重に管理している検索ランキングのアルゴリズムに利用されている可能性があるという。 Googleの広報担当者であるDavis Thompson氏は、The Vergeの取材に対し「文脈を無視したり、時代遅れであったり、不完全な情報に基づいて検索について誤った仮定をすることには注意を促したいと思います」「私たちは検索の仕組み
AWSのNAT gatewayを整理して月額約$357のコストを削減しました - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
SREの林 aka もりはやです。 今回はAWSコスト削減についてです。 ＊注意＊参考のスクリーンショットでパブリックなIPやリソースIDが表示されていますが、検証環境のもので既に削除済みです TL;DR NAT gatewayの料金は意外と高い 歴史的経緯で沢山のNAT gatewayが存在した NAT gateway整理の流れ 1. 未使用のPrivate Subnet・Route tableを削除する 2. VPC内の同一AZのNAT gatewayを集約する 3 . 上記の対応で不要となったNAT gatewayを削除する NAT gatewayの"Monitoring"画面で、各種メトリクスが変動していないか 削除対象のNAT gatewayがRoute tableから利用されていないか確認 ついにNAT gateway削除！でもEIP(Elastic IP)は残るので注意 終わ
悪意のあるURLが含まれていないかを分析するurlscan.ioやマルウェア分析ツールのHybrid Analysis、URLのセキュリティ・パフォーマンス・テクノロジー・ネットワークなどを分析するURL Scannerなど、URLが悪意のあるものか否かを調べるための無料ツールが存在しています。こういったツールに非公開のプライベートなURLが入力されており、誰でもアクセスできる状態になっていると、エンジニアのvin01さんが指摘しました。 You can not simply publicly access private secure links, can you? | Vin01’s Blog https://vin01.github.io/piptagole/security-tools/soar/urlscan/hybrid-analysis/data-leaks/urlscan.
はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継
VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、SRE業務の一環で組織作りに挑戦しています。SREエンジニアの責務は自社サービスを安定稼働させ障害に強い基盤を作ることであり、どちらかというと「システム」に焦点が置かれがちです。しかし、個人的にはシステムを運用するメンバーのマネジメント(ピープルマネジメント)を含めた組織作りも重要だと考えています。なぜなら、どれだけ最先端で素晴らしいシステムを構築してもそれを運用するメンバーの行動次第では、障害につながる恐れがあるためです。 私にとってのSREは組織作りにおける文化のようなものであり、「SRE(文化)を組織にインストールする」気概で色々と挑戦しています。 今回は、その挑戦の一つとして「ヘルプデスク体制を構築した話」をお伝えしたいと思
Import and export Markdown in Google Docs
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
概要 この記事は 一休.com Advent Calendar 2023 16日目の記事です。 RESZAIKO開発チームの松村です。 一休では各サービス毎に、開発中のサービスの動作を社内で確認できる環境があります。 それぞれmain(master)ブランチと自動的に同期している環境と、特定のブランチを指定して利用できる環境の2種類があります。 今回、RESZAIKOの新規サービス(予約画面)に対してブランチを指定してデプロイできる環境を作成したので、その方針と反省点と今後について記述していきます。 現在運用中の予約画面 開発環境を作る理由 一休では長らく、EKS上に複数の環境を用意して、ブランチを指定すると開発環境にデプロイするシステムが利用されてきました。 一般的にこのような環境を構築するのは以下のような理由が挙げられます。 動作確認 マイクロサービスで、異なるブランチ同士の組み合わせ
今月から新しい職場で働いています。それによってありとあらゆるものが変化したわけですが、そのなかでも大きなもののうちのひとつが、社用PCが Windows になったこと。 Windows PC を仕事で使うのは、新卒入社した会社以来なので、11年ぶりくらい。最初の転職のときに Mac に切り替わった際には「初の転職で OS まで変わっちゃって、仕事で成果をちゃんと出せるだろうか......」みたいな心配をしてたことはすごく記憶に残っているんですが、流石に今回 Windows に切り替わったことについてはそこまでの心配はしていないにしても、日常の所作の端々で小さなストレスを感じる、といった体験はしっかりとあり、これは早く慣れていきたいなぁと願うばかりなのですが。 すぐなんか音が鳴る 今でもまだなんかよくわかってないんですが、Windows ってデフォでいろんな通知が有効になってて、しかもそれが
9月7日にGoogleのドメイン登録サービス「Google Domains」のSquarespaceへの売却が完了し、以降の数か月にわたってドメインの移行が行われる予定です。何らかの事情でSquarespaceを使用したくない人向けに、エンジニア向けのニュースレターを発行しているゲルゲリー・オロシュさんがX(旧Twitter)を利用して「おすすめのレジストラ(ドメイン登録業者)は？」というアンケートを行いました。 Domain Registrars which Developers Recommend - The Pragmatic Engineer https://blog.pragmaticengineer.com/domain-registrars-which-developers-recommend/ Google Domainsの買収契約は2023年6月15日に締結・発表されてい
こんにちは、ファインディ株式会社でフロントエンドのリードをしております 新福(@puku0x)です。 この記事では、転職サービス Findy の開発チームにおける開発生産性の向上に対する取り組みをご紹介します。 以前の状況 モノリスの解体 開発基盤の刷新 コンポーネント設計の刷新 テストの拡充 CI の高速化 改善の効果 まとめ 以前の状況 2020年頃の Findy は Ruby on Rails と React のモノリス構成で作られていました。 機能の増加に従いコードが複雑化し、しだいに開発スピードが伸び悩むようになりました。 ここで Findy Team+ で算出した当時のリードタイムを見てみましょう。 2020年のFindyのリードタイム 上記のグラフから次のことがわかります。 改修が本番に適用されるまで 約1週間 かかる プルリクエストがレビューされるまで 約5日 放置される
愛してやまないAWSで展開するセキュリティ対策戦略
TL;DR セキュリティ対策には予防的統制と発見的統制の2つの観点が欠かせない AWSが提供するセキュリティサービスが予防的・発見的統制にどう寄与するかを解説 セキュリティ対策は、リスクの特定と可視化、リスク分析と優先度付け、施策費用の算出、経営層への報告とサポートの獲得で進めるべし セキュリティは、単に技術やツールを導入するだけではなく、組織全体の意識や文化、そして継続的な改善が求められる はじめに レバテック開発部レバテックプラットフォーム開発チームに所属している内藤です。 普段は、バックエンドの設計や実装、さらにインフラの構築まで幅広く担当しています。 最近、私は弊社開発部を代表して（色々な方面から怒られそう笑）、AWSセキュリティインシデント擬似体験GameDayに参加する機会に恵まれました。このイベントでは、セキュリティインシデントへの対応方法や予防策など、実際のインシデント調査
ガバメントクラウドAWS「以外」で必要な設備・作業を考えてみる - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 令和6年度はガバメントクラウドへの早期移行団体検証事業へ申込された、またはこれから申込予定の地方自治体様が多くおられると予想します。それに合わせて必要なAWSリソース利用料やAWSの設計構築・運用保守費用の見積・予算取りを進めることになります。 気を付けたいのが、ガバメントクラウドAWS「以外」にも必要となる設備・作業があることです。プロジェクトを開始しても、準備不足により作業がストップしたり予算不足になる事態は避けたいところです。 本BLOGでは、私がこれまで幅広い分野のお客様と接してお伺いすることが多かったAWS「以外」で必要となった設備・作業についてご紹介したいと思います。 この内容は個人の私見と経験則で書いておりますので、ご覧なられた皆様のシステムや環境に必ずしも該当するものではありません
はじめに ML・データ部推薦基盤ブロックの佐藤（@rayuron）です。私たちはZOZOTOWNのパーソナライズを実現するために、機械学習モデルとシステムを開発・運用しています。本記事ではクーポン推薦のための機械学習モデルとシステム改善に取り組んだ話を紹介します。 はじめに 背景 課題 1. 古い基盤でシステムが運用されている 2. KPIに改善の余地がある 3. 機械学習モデルの評価体制がない 課題解決のために 1. Vertex AI Pipelinesへの移行 2. Two-Stage Recommenderの導入 プロジェクトへの導入 Candidate Generation 1. 過去の実績 2. 人気ブランド 3. 興味を持っているブランドの類似ブランド 評価方法 Reranking 学習データの作成 アンダーサンプリング 特徴量エンジニアリング 学習 バリデーション 推論 3
Claude 3、気になりますよね 今まで触ったことないけど、興味を持った方へ、入門するところまでのご案内です。 とりあえずチャットがしたい claude.aiにアクセスして、アカウントを作成します。 メールアドレスを入力する方法と、Googleのアカウントと紐付ける方法があります。 私はGoogleアカウントとの紐づけを行いました。 ログインができたら、もう、チャットができます。ChatGPTのような感じです。 日本語も自然に回答してくれます。 左下にClaude 3 Sonnetとあります。これはClaude 3のモデルの名称で、SonnetはClaude 3のシリーズの中で真ん中のモデルです。 Haiku - ハイク Sonnet - ソネット Opus - オーパス 名前からモデルの特徴を想像してもらいました。概ね特徴を捉えているのではないでしょうか。 Claude 3の特徴として
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 以前、「OpenTelemetry Collector導入のPoCと今後に向けて」という記事を弊エンジニアの sato（@yusukesatoo06）より公開しました。簡単に記事を要約すると、 OpenTelemetry及びOpenTelemetry Collectorの説明 実際にPoCを作ってみる 実導入を試みたがOpenTelemetry Collectorのホスティングに悩み、今後の課題として保留となった といった内容でした。 あれから1年経ち、GaudiyではOpenTelemetry Collectorを本番環境に組み込み、OpenTelemetryの仕様に準拠して計装し、データの分析や監視を行っています。この記事では、前回からの進捗を紹介すると共にOpenTelemetryの導入方法を
「実践プロパティベーステスト」という本が出版されました #pbtbook - YAMAGUCHI::weblog
はじめに こんにちは、Google Cloudのオブザーバビリティ/SRE担当者です。このたび私が翻訳しました「実践プロパティベーステスト PropErとErlang/Elixirではじめよう」という書籍がラムダノート社より去る11月1日に出版されました。書店ならびに各社オンラインストアでご購入いただけます。 実践プロパティベーステスト ― PropErとErlang/Elixirではじめよう 作者:Fred HebertラムダノートAmazon 実践プロパティベーステスト ― PropErとErlang/Elixirではじめようwww.lambdanote.com 電子書籍についてはラムダノート社のECサイトよりご購入いただけます。 実践プロパティベーステスト ― PropErとErlang/Elixirではじめよう（電子書籍のみ）www.lambdanote.com 「実践プロパティベ
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
terraform planの自動化に向けて直面した課題と解決策 - Sansan Tech Blog
はじめに こんにちは！ 技術本部 Bill One Engineering Unit（以下、Bill One EU）の笹島です。 IaC推進チーム（横串チームの1つ）として、CI環境でのTerraform Planの自動化に取り組んできました。 横串チームとは、Bill One EU内の各グループの垣根のない横断チームであり、Bill Oneで抱えている課題を解決するために有志で集まったメンバーによって構成されています。 IaC推進チームとは、文字通りインフラのコード化を推進するチームです。 本記事では、CI環境でセキュアなTerraform Plan自動実行を実現するにあたって直面した課題とその解決策について共有します。 特に、モノレポ環境での複数プロダクト・環境の管理における自動化の課題についても紹介します。 目次 はじめに 目次 前提 ディレクトリ構成とその役割 Workload I
先日、XでAWS Outpostsの使い道が分からないというツイートに対して「軍の前哨基地で使うことを想定している」というコメントをしたところ、大きな反響があった。Outpostsを何に使うのか疑問に思っていた人は思ったより多いようだ。 AWS Outpostsは軍の前哨基地での利用が想定されてるんですよね。「軍が前線まで持っていけるデータセンター」というコンセプトで作られた。 https://t.co/YQCAsrszaj https://t.co/9OEj43Kqdu — ミック (@copinemickmack) April 20, 2024 確かに、Outpostsの日本語サイトを見ても、軍需関連の単語は一つも出てこないので、AWSとしても日本向けには意図的に避けているのだと思われる（実際、日本が戦闘のために軍を国外に送る機会はまずない）。日本で軍需産業と思われてもあまりマーケティ
2009年に来日後、インフラエンジニアとして経験を積む。その後、約10年間、外資系メーカーでプリセールスなどを経験。2021年よりPingCAP日本法人の立ち上げに伴い、PingCAP Inc.へ入社。現在はPingCAP株式会社の代表取締役社長を務める。 チタンのような堅牢なデータベースを目指して「TiDB」と命名 ――はじめに、読者にそれぞれ自己紹介をお願いします。 Sunny Bains氏（以下、Bains）：私は2000年からずっと、データベースのカーネルやストレージエンジンといったコアな部分の開発に取り組んできました。PingCAPにジョインしたのは2022年4月で、現在はクラウドチームに属しています。入社前はオラクルのソフトウェア開発部門のシニアディレクターとして、MySQLの最も大切なエンジンであるInnoDBに関わっていました。 Eric Han氏（以下、Eric）：来日し
name: Container deploy on: release: types: [published] concurrency: group: ${{ github.workflow }}-${{ github.ref }} cancel-in-progress: true env: REGISTRY: ghcr.io IMAGE_NAME: pinto0309/test jobs: docker-deploy: runs-on: ubuntu-22.04 permissions: contents: read packages: write steps: - name: Git checkout uses: actions/checkout@v3 - name: Enable buildx uses: docker/setup-buildx-action@v2 - name: Ch
【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog
こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。 はじめに これまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。 とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思
Microsoftはコード補完AIツール「GitHub Copilot」でユーザー1人あたり月額3000円近くの損失を出しているという報告
Microsoftが2021年に発表したコード補完AIツール「GitHub Copilot」は、2022年に月額10ドル(約1500円)または年額100ドル(約1万5000円)で利用可能な有料サービスとして提供が開始されました。ところが、経済紙のウォール・ストリート・ジャーナルが発表したレポートによると、MicrosoftはGitHub Copilotのユーザー1人あたり月額20ドル(約3000円)近くの損失を出しているとのことです。 Big Tech Struggles to Turn AI Hype Into Profits - WSJ https://www.wsj.com/tech/ai/ais-costly-buildup-could-make-early-products-a-hard-sell-bdd29b9f Report: GitHub Copilot Loses an
Linux Foundation Launches Open Source Valkey Community
6 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me
Published: August 4, 2023 Updated: October 27, 2023 Part 1: an intro about music, defaults, and bubbles Like a lot of people, there was a time when the only music I listened to was whatever was played on my local radio station. (A lot of people over 30 or so, anyway. If this doesn’t sound familiar to you yet, just stick with me for a minute here.) At the time, I was happy with that. It seemed like
今年もこの一週間がやってきて終わりました。Cloudflareを使って開発をする開発者大歓喜のDeveloper Weekです。 新製品、新機能の発表や、既存製品のアップデート、技術的解説などをブログで行うというものです。 4月1日(月)〜4月5日(金)に行われました。 すごい。数えてみたら21個のブログ記事がありました。各記事について雑な箇条書きをしてみます。 4/1 (月) 1. Welcome to Developer Week 2024 https://blog.cloudflare.com/welcome-to-developer-week-2024 まずはプロダクトディレクターのRitaから開始宣言 Cloudflareのプラットフォームは200万人が使っている 5つの「Cloud」を提案する Full-stack Cloud、Connectivity Cloud、Experi
Go製CLIツールGatling Commanderによる負荷試験実施の自動化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは機械学習モデルの実験基盤の作成、機械学習モデルを組み込んだAPI・Batchの開発・運用・保守を行なっています。APIを開発する際には負荷試験を実施し、本番環境で運用する際に求められるスループット・レイテンシを達成できるか確認します。 MLOpsブロックでの従来の負荷試験実施には人手を要する定型的な作業が複数ありました。また頻繁に行う作業でもありトイルとなっていました。 本記事ではMLOpsブロックで抱えていた負荷試験実施の課題と、解決のために開発したOSSのCLIツール、Gatling Commanderについて紹介します。Gatling Commanderが負荷試験の実施におけるトイル削減の一助になれば幸いです。 github.com 目次 はじめに 目次 背景・課題 従来の負荷試験実施の方法 分
JP Contents Hub から CI/CD for AWS Batch Workshop をやってみました！ はじめに こんにちは、AWS事業本部コンサルティング部の酒井です。 直近で携わるプロジェクトでAWS Batchが使われているのですが、経験がなかったので概要を把握するべくハンズオンをやってみました。 同時に CI/CDも触れる「CI/CD for AWS Batch Workshop」というハンズオンがあったので、紹介したいと思います。 ハンズオンに記載のなかった削除リソースも一覧化しているので、参考にしてみてください。 概要 ハンズオンでは以下のことが学べました。 Cloud9 ECR CodeCommit CodeBuild CodePipeline AWS Batch 基本的なGitコマンド 基本的なDockerコマンド やってみる 1. 事前準備 Adminのロール
4月20日、DevOps.comが「Valkeyが急速にRedisを置き換えつつある（Valkey is Rapidly Overtaking Redis）」と題した記事を公開した。 この記事では、Redisのソース利用可能なライセンスへの移行と、その結果として生じたValkeyへの大規模な移行について詳しく紹介されている。以下に、ポイントを絞って内容を紹介する。 Redisのライセンス変更による影響 ちょうど一ヶ月ほど前（3/20）、 RedisがBSD 3-clauseライセンスからRedis Source Available License (RSALv2)およびServer Side Public License (SSPLv1)へとライセンスを変更 した。 BSD 3-clauseライセンスは非常に寛容なオープンソースライセンスで、著作権表示と免責事項の維持が含まれるが、商用利用
AIで自分のしゃべり声をリアルタイムに別人の声に変換させる無料のサービス、CoeFontボイスチェンジャーの威力｜DTMステーション
すでにご存じの方、使っているという方も少なくないと思いますが、自分のしゃべる声をAIでリアルタイムにまったく違う人の声に変換するシステム、CoeFont ボイスチェンジャーが大きな話題になっています。これは株式会社CoeFontが提供しているAIによるボイスチェンジャーで、マイクに向かってしゃべれば、非常にリアルな声で別の人に声に置き換わるというもので、男性の声を入力しても、まったく違和感なく、リアルな女性の声にすることが可能です。あの、ひろゆきさんの声を含め、現在10人の声に変換が可能で、それを無料で使えてしまうというのが大きなポイント。 今後は人気キャラクターや著名人を含む1万種類以上の声への変換も可能になるとのことで、まさにボイスチェンジャーの世界における革命となりそうです。現時点ではWindowsのみで利用可能ですが、近い将来、Macにも対応するとのこと。またGPU搭載のパソコンで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZOZOTOWNにおけるマーケティングメール配信基盤の構築 - ZOZO TECH BLOG
Multi-account support on GitHub.com
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
“いつも革ジャン”NVIDIAのCEO、岸田首相との面会も革ジャンだった 取材で確認
個人的なdbtの推しポイントを書いてみる - yasuhisa's blog
Elasticsearchを使ってリストAPIを100倍高速化した話
流出した「Google検索」の社内文書、グーグルが本物と認める
機密情報を共有するためのURLが分析ツールに入力されることで情報漏えいにつながりまくっていることが明らかに
VPN との終わりなき戦い 〜新VPN導入編〜 | BLOG - DeNA Engineering
SREエンジニアがヘルプデスク体制を作ってみた話 - ぐるなびをちょっと良くするエンジニアブログ
Cloud Runで開発用環境を沢山作る - 一休.com Developers Blog
Mac → Windows に慣れない、苦戦してる - えいのうにっき
世の中のエンジニアたちによる「おすすめのレジストラ」はどこなのか？
Findy転職フロントエンドの開発生産性を向上させるためにやったこと - Findy Tech Blog
クーポン推薦モデルとシステム改善の取り組み - ZOZO TECH BLOG
GPT-4よりすごいらしいClaude 3が気になったあなたへ - Qiita
OpenTelemetry Collector導入の実践編とその後 - Gaudiy Tech Blog
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog
AWS Outpostsに見る軍需産業とITの結びつき｜ミック
MySQLユーザー必見！世界の名だたる企業が活用する「TiDB」の特徴と強みに迫る - Qiita Zine
GitHub Actions のストレージ空き容量を限界まで拡張する
Things you forgot (or never knew) because of React
Cloudflare Developer Week 2024 まとめ！ - ゆーすけべー日記
CI/CDとAWS Batchが体系的に学べるハンズオンをやってみた | DevelopersIO
「Valkey」がRedisを急速に置き換えつつある ー バックエンドエンジニアは地殻変動に備えよう