並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 230 件 / 230件

新着順 人気順

cloudの検索結果201 - 230 件 / 230件

  • Your API Shouldn't Redirect HTTP to HTTPS

    TL;DR: Instead of redirecting API calls from HTTP to HTTPS, make the failure visible. Either disable the HTTP interface altogether, or return a clear HTTP error response and revoke API keys sent over the unencrypted connection. Unfortunately, many well-known API providers don't currently do so. Updates 2024-05-24: Added the Google Bug Hunter Team response to the report that the VirusTotal API resp

      Your API Shouldn't Redirect HTTP to HTTPS
    • 円周率が105兆桁まで明らかに、所要時間は70日弱

      さまざまなストレージのレビューをしている情報サイト・StorageReviewの編集者らが、円周率の算出桁数の新記録となる105兆桁目を達成したことがわかりました。 105 Trillion Pi Digits: The Journey to a New Pi Calculation Record - StorageReview.com https://www.storagereview.com/review/breaking-records-storagereviews-105-trillion-digit-pi-calculation Another Serving of Pi: Solidigm SSDs Help Calculate New World Record | Solidigm Newsroom https://news.solidigm.com/en-WW/235709

        円周率が105兆桁まで明らかに、所要時間は70日弱
      • OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方

        はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル(Large Language Model: LLM)を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain

          OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
        • AWSを活用したDMARCレポート分析基盤の構築と、日経における進め方の事例紹介 — HACK The Nikkei

          セキュリティチームでリーダーを務めている藤田です。普段はプロダクトセキュリティの施策を中心に担当しています。 この投稿は、現在進行中の案件に関するものですが、世間で DMARC への対応が話題になっているにも関わらず、業務分担が進んでいる組織や複数のサービスで会社共通のドメインを用いてメールを送信しているような場合になぜ対応が進まないのか、それに対し私たちがどのようにアプローチしているかを示すものです。まだ完璧とはいえる状況ではありませんが、ある程度目処が見えてきたため、ノウハウを共有します。 タイトルの通り技術的なトピックも取り扱いますが、社内での調整や進め方を中心に解説しています。 ステークホルダーが多く、調整に苦労している方や、DMARC 対応を始めたもののレポートの分析に着手できていない方が一歩を踏み出すための助力となれば幸いです。 結論 外部の分析サービスに頼ることなく、AWS

            AWSを活用したDMARCレポート分析基盤の構築と、日経における進め方の事例紹介 — HACK The Nikkei
          • オラクルとAWSが「Oracle Database@AWS」発表、AzureやGoogleに続く“分散クラウド”提携

            米オラクルと米Amazon Web Services(AWS)が2024年9月9日(米国時間)、戦略的パートナーシップに基づく新たなオファリング「Oracle Database@AWS」を発表した。AWSデータセンターに配置されたインフラを用いて、オラクルが「Oracle Exadata Database Service」や「Oracle Autonomous Database」を提供する。 オラクルでは、“分散クラウド/マルチクラウド戦略”に基づき、すでにMicrosoft Azure(Oracle Database@Azure)やGoogle Cloud(Oracle Database@Google Cloud)との間で同様のパートナーシップを実現している。 Oracle Database@AWSの提供によって、AWSクラウドで稼働するアプリケーションからOracle Database

              オラクルとAWSが「Oracle Database@AWS」発表、AzureやGoogleに続く“分散クラウド”提携
            • AWS VPC のネットワーク小話~Public/PrivateとIPv4/6~ | 外道父の匠

              日々何気なくお世話になっている VPC 含むネットワークは、ちゃんと理解しようとすると思ったより多い情報量と、それに対するパターンの経験が必要になります。 私自身、正直ネットワークのお話は好きじゃないのですが、現行の事情を踏まえてこの辺の基本と雑学を振り返っておくと、技術力のベースが整ってよろしいのではと思って整理することにしました。 はじめに 新年度なので、学習教材シリーズです。今回はネットワーク周りで、基礎に味付けするような内容です。もしかしたらお嫌いなジャンルでしょうか、でも少しだけやりましょうそうしましょう。 関連情報としては、このあたり。 公式 ENOG81: AWSのIPv6とPublic IPv4のおはなし – Speaker Deck Amazon VPC とは? – Amazon Virtual Private Cloud 外道父の匠 AWS VPCルーティングの基本から

                AWS VPC のネットワーク小話~Public/PrivateとIPv4/6~ | 外道父の匠
              • AWS 初学者向けの勉強方法 6 ステップ!2024 年版! | Amazon Web Services

                Amazon Web Services ブログ AWS 初学者向けの勉強方法 6 ステップ!2024 年版! こんにちは、AWS トレーニングデリバリーマネージャー の西村航です。 本記事は 2022 年 4 月に投稿した AWS 初学者向けの勉強方法 6 ステップ!2022 年版! という記事を 2 年ぶりにアップデートした内容になります。投稿してから経過した 2 年間で公開された勉強方法を追記して、一部の勉強方法に関してはリンクの最新化を行いました。 皆さん、もしくは皆さんの周りでこんな方はいませんか。「AWS を勉強したいんだけど何から勉強すればよいだろう。どこかに勉強方法がまとまってないかな?」という悩みを抱えている方、または「同僚や部下に AWS の勉強を促しているけど、ちょうど良い教材とか無いかな?」という悩みを抱えている方。本記事はそういった AWS を勉強する際の悩みを抱え

                  AWS 初学者向けの勉強方法 6 ステップ!2024 年版! | Amazon Web Services
                • OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics

                  はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri

                    OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
                  • アドビ基本利用条件のアップデートに関するお知らせ

                    アドビは、いくつかの特定の領域についてより明確にすることを目的として、基本利用条件を更新し、Adobe Creative CloudおよびAdobe Document Cloudをご利用のお客様にこれらの規約の定期的な再承認を促しました。この更新の内容に関して、多くのご質問をいただきましたので、説明をさせていただきます。 アドビは、透明性の確保とクリエイターの権利を保護し、お客様が最高の仕事をできるようにすることに引き続き全力を尽くします。 基本利用条件の変更点 今回の更新の焦点は、アドビが実施しているモデレーション・プロセスの改善について、より明確にすることでした。生成AIの爆発的な普及と、アドビの責任あるイノベーションへのコミットメントを考慮し、コンテンツ投稿の審査プロセスに、手動モデレーションの強化をすることにしました。 基本利用条件で変更のあった箇所は以下の通りです。 ※日本語の基

                      アドビ基本利用条件のアップデートに関するお知らせ
                    • カーネルにDBMSを載せた分散OS「DBOS」の特徴と利点は? サーバレスでTypeScriptとPythonの実行に対応

                      カーネルにDBMSを載せた分散OS「DBOS」の特徴と利点は? サーバレスでTypeScriptとPythonの実行に対応 マサチューセッツ工科大学(MIT)とスタンフォード大学の研究者によって考案された分散OS「DBOS」が、TypeScriptに加えてPythonの実行に対応したことが発表されました。 DBOSはOS内部にデータベースが組み込まれており、OSやアプリケーションのすべての処理や状態をデータベースが記録します。そのため、アプリケーションやOSが何らかの原因で終了したとしても、処理や状態を失うことなく終了したところから再開できるなどの利点を備えています。 これによりTypeScriptやPythonで耐久性の高いアプリケーションの構築を容易にしています。 DBOS is coming to #Python! Development of the DBOS Transact f

                        カーネルにDBMSを載せた分散OS「DBOS」の特徴と利点は? サーバレスでTypeScriptとPythonの実行に対応
                      • SQLiteでLinderaを使った日本語全文検索 - *iroi*

                        これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか? たとえば Amazon

                          SQLiteでLinderaを使った日本語全文検索 - *iroi*
                        • ファインディの爆速開発を支えるモノレポ管理ツール「Nx」について - Findy Tech Blog

                          ファインディ株式会社でフロントエンドのリードをしております 新福(@puku0x)です。 この記事では、ファインディで導入しているモノレポ管理ツール「 Nx 」について紹介します。 モノレポとは Nxとは Nxワークスペースの作成 Nxの機能 コード生成 変更検知 依存関係の管理 キャッシュ機構 自動マイグレーション まとめ モノレポとは モノレポは全てのコードベースを単一のリポジトリで管理する手法です。 monorepo.tools コードの共通化や可視化、ツール・ライブラリの標準化、一貫性のあるCI/CDパイプラインを構築できるといったメリットがあります。また、マイクロサービスと相性が良いとも言われています。 circleci.com ファインディでは主にフロントエンド系のリポジトリをモノレポとして運用しています。 アプリケーションとそれに関連するフィーチャー、UIライブラリがひとつに

                            ファインディの爆速開発を支えるモノレポ管理ツール「Nx」について - Findy Tech Blog
                          • ついにAdobe Creative Cloudのサブスクをキャンセルする方法について規制当局が調査に乗り出す、あまりにもめちゃくちゃなルールをユーザーに押し付けているため

                            Adobeのソフトウェアをサブスクリプション方式で利用できるサービス「Creative Cloud」をキャンセルする方法について、アメリカの連邦取引委員会(FTC)が調査を行っていると報じられています。 Difficulty Canceling Adobe Subscriptions Under Fire From FTC - Bloomberg https://www.bloomberg.com/news/articles/2023-12-13/difficulty-canceling-adobe-subscriptions-under-fire-from-ftc Adobe Says Significant Costs, Penalties May Arise Out of FTC Investigation - MarketWatch https://www.marketwatch.

                              ついにAdobe Creative Cloudのサブスクをキャンセルする方法について規制当局が調査に乗り出す、あまりにもめちゃくちゃなルールをユーザーに押し付けているため
                            • 国立競技場で行われたAdoさんのライブに行ったら「音響がトラウマレベルの酷さ」だった「まだ設計のノウハウが蓄積されてないのかも」

                              Ado @ado1024imokenp アドです。niconico:nicovideo.jp/mylist/58569901 YouTube : youtube.com/c/Ado1024 イラストは「#Adoart」DMは事務所が管理しています。contact→ cloud9pro.co.jp/contact/ …o-dokidokihimitsukichi-daigakuimo.com Ado @ado1024imokenp 「心臓」2日間ありがとうございました。 SPECIAL guestにB’z松本孝弘さんにお越しくださいまして、「DIGNITY」を一緒に歌わせていただきました。 そして、初音ミクさんとも歌わせていただきました。 歌わせていただいたのは まふまふさんによる書き下ろし 「桜日和とタイムマシン」 でした。 大きな景色を一緒に作ってくださりありがとうございました。皆さんの

                                国立競技場で行われたAdoさんのライブに行ったら「音響がトラウマレベルの酷さ」だった「まだ設計のノウハウが蓄積されてないのかも」
                              • 社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog

                                はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤(所謂プラットフォーム) 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート:テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供(特にLinterを最初期に) 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar

                                  社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
                                • 入門 継続的デリバリー

                                  継続的デリバリーとは、コード変更を必要に応じて迅速かつ安全に、継続的にリリースできるようにするための開発手法です。本書は、初めて継続的デリバリーに取り組む読者向けに、必要な知識とベストプラクティスをていねいに紹介する入門書です。基本的な概念や技術、アプローチの解説はもとより、章ごとに事例を使用しながら、継続的デリバリーを実践する際に直面するさまざまなシナリオを取り上げ、その全体像・世界観を包括的に理解することができます。 序文 はじめに 第1部 継続的デリバリーとは 1章 『入門 継続的デリバリー』へようこそ 1.1 継続的デリバリーは必要? 1.2 なぜ継続的デリバリー? 1.3 継続的デリバリーとは 1.4 インテグレーション 1.5 継続的インテグレーション 1.6 何をデリバリーするのか? 1.7 デリバリー 1.8 継続的デリバリーと継続的デプロイメント 1.9 継続的デリバリー

                                    入門 継続的デリバリー
                                  • Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える

                                    前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは? サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは? Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに

                                      Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
                                    • プラットフォーム エンジニアリングに関する 5 つの誤解: プラットフォーム エンジニアリングとは一体なのか | Google Cloud 公式ブログ

                                      Darren EvansEMEA Practice Solutions Lead, Application Platform ※この投稿は米国時間 2024 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 なぜ新しいトピックに対して否定的になってしまう人がいるのか、その理由は、群盲象を評すの寓話からわかります。その人自身の視点からのみで物事を見てしまうと、その全体像を見失ってしまうということです。プラットフォーム エンジニアリングはソフトウェア デリバリーの比較的新しい手法です。現在、IT 組織やソフトウェア エンジニアのチームの多くがプラットフォーム エンジニアリングについて検討している段階にあるのですが、プラットフォーム エンジニアリングとは何なのか、プラットフォーム エンジニアリングで何ができるのか、プラットフォーム エンジニアリングを導入す

                                        プラットフォーム エンジニアリングに関する 5 つの誤解: プラットフォーム エンジニアリングとは一体なのか | Google Cloud 公式ブログ
                                      • 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える

                                        要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学(以下、東工大) 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所(以下、産総研)は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル(米Meta社 Llama 2)の日本語能力を拡張することで「Swallow」を構築した

                                          日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
                                        • Cloud Run で作るサーバーレス アーキテクチャ 23 連発 - これのときはこう!

                                          2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N

                                            Cloud Run で作るサーバーレス アーキテクチャ 23 連発 - これのときはこう!
                                          • 最近のlitestreamと安DB界隈

                                            趣味開発でマネージドデータベースに課金したくない勢に安DBソリューションとして好評だったlitestreamについての近況をまとめてみました。安DBという謎の用語は「運用コストが安いデータベース」の意味で今作りました。 軽くおさらいするとlitestreamはSQLiteのレプリケーションを実現するミドルウェアで[1]、LiteFSはそれを分散環境に拡張してスケールをしようとしたもの[2]。 LiteFS Cloudはサ終した litestreamの技術をマネージドサービスにしようとたくらんだLiteFS Cloudは[3]、有料版が始まったかと思ったらいきなり提供終了した。 全然利用されなかったことが理由のようだ。確かにLiteFS自体が実験的な段階のソフトウェアな上にConsulサーバーと連携したり使いこなすのは難しい印象があった。 LiteFS は開発停止してる LiteFS自体は放

                                              最近のlitestreamと安DB界隈
                                            • Terramateを使えばIaCは豊かになれるのか?

                                              序論 先日LinkedInで面白そうなIaCツールを紹介してもらいました。 マネージドサービス版はまだクローズドベータで一般利用できませんでしたが、GitHubにCLI版がオープンソースとして公開されておりました。 一見、Terraformの実行を代行するTerragrunt[1]のようなラッパーツールかと思いましたが、Terramateは単なるラッパーツールではなくオーケストレーションツールとしてIaC開発を楽にしてくれるさまざまな機能が提供されていましたので、Terramateを使ったIaC開発について紹介いたします。 対象読者 複数のIaCツールの管理に苦労している人 (後述のハンズオンのため)Terraformの基礎知識がある人 Terramateについて 創業者のブログを見ると2022年5月にリリースされた比較的新しいGo製の開発ツールのようです。 ドキュメントではTerrama

                                                Terramateを使えばIaCは豊かになれるのか?
                                              • クラウドネイティブなVPNを構築して運用している話 - Mirrativ Tech Blog

                                                インフラストリーミングチームの近藤(@udzura)です。 今日は、ミラティブ社内向けツールの話をします。ミラティブではVPNの仕組みをクラウドをフル活用して自前で構築し、1年ほど運用しています。運用中にいろいろ課題はありつつ、現在かなり安定して動作してます。 今回の記事は、そのVPNの仕組みを紹介します。 既存VPNの課題 災害時に稼働できないリスクを避けたい どこに誰がアクセスできるか楽に管理したい 新しいVPNをハッカソンで開発した話 新VPNの設計思想 災害時でも稼働できる どこに誰がアクセスできるか管理できる 攻撃時の影響を限定する 12時間でインスタンスを停止する クラウドネイティブなVPNである アーキテクチャと技術の説明 WireGuard Google Cloud VPCの各機能 Cloud Functions + Pub/Sub + Slack App API Slac

                                                  クラウドネイティブなVPNを構築して運用している話 - Mirrativ Tech Blog
                                                • ヘルスケアデータをGrafanaで見たくない…?〜健康 Reliability Engineering〜

                                                  はじめに まずはこちらをご覧ください。 これは私のApple Watchで計測されたヘルスケアデータです。Apple Watchをつけていると、心拍数や歩数、睡眠時間などのデータが自動的にiPhone内に記録されます。 SREなら健康を維持するためにもSLIとSLOを設定して可視化するべきですよね? SREなら健康エラーバジェットが無くなりそうだったら「今すぐ寝ましょう!」と架電が来て欲しいですよね? 普通にやるとiOSアプリを用いて直接ヘルスケアデータを確認することになりますが、Web系のSRE的なエンジニアとしてはやはり業界標準の技術で可視化したいところです。 また、iOSアプリを開発するのは専門知識が必要となり非常に骨が折れる作業です。そもそもMacがないとできないですし。 そこで、今回は Apple Watchのヘルスケアデータを 全自動で良い感じにデータベースに保存し Grafa

                                                    ヘルスケアデータをGrafanaで見たくない…?〜健康 Reliability Engineering〜
                                                  • HTML/CSSでできる、押したくなる最新Webボタンエフェクト集

                                                    この記事では、ウェブサイトを訪れたひとが思わず押したくなるボタンデザインをまとめてご紹介します。 どのボタンも基本、HTMLとCSS(JSもすこし)で作成されているので、手軽にコピペで利用でき、カスタマイズも自由自在。 ボタンをデザインするときに気をつけたいポイントをチェックしておけば、より効果的なボタンの使い方ができますよ。有名サイトのボタンをコピペできるサービスもおすすめです。 HTML/CSSやJSのコードをリアルタイムで編集、確認できるので、今後のデザイン制作に活用してみてはいかがでしょう。 こんなことできるの?!最新HTMLテクニック・スニペット きらりと輝くコール・トゥ・アクションボタン すべてのモダンブラウザでサポートされるようになった@propertyを利用した新しいCSSの使い方エフェクト。細部まで洗練されあt、注目を集めるCTAボタン。 See the Pen Shin

                                                      HTML/CSSでできる、押したくなる最新Webボタンエフェクト集
                                                    • エンジニアにとっての成果とは「いいコードを書くこと」——エムスリーVPoEに聞く、エンジニア組織のパフォーマンスを最大化する「評価」のあり方

                                                      TOPインタビューエンジニアにとっての成果とは「いいコードを書くこと」——エムスリーVPoEに聞く、エンジニア組織のパフォーマンスを最大化する「評価」のあり方 エンジニアにとっての成果とは「いいコードを書くこと」——エムスリーVPoEに聞く、エンジニア組織のパフォーマンスを最大化する「評価」のあり方 2024年9月11日 河合 俊典 高専卒業後、大学院へ進学し機械学習のアルゴリズムに関する研究に従事。大学院卒業後はSansan、Yahoo!JAPANにて機械学習に関連したシステム構築やリーダー経験を経て、2019年2月よりエムスリーに在籍。 AI・機械学習チームにて、機械学習アルゴリズムの実装からインフラ構築、事業横断でのデータ分析等を行った。その他、エムスリー内外の各種イベントの企画、登壇、エムスリー テックブック3(技術書展11)の寄稿といった技術プレゼンス活動にも貢献。 2023年5

                                                        エンジニアにとっての成果とは「いいコードを書くこと」——エムスリーVPoEに聞く、エンジニア組織のパフォーマンスを最大化する「評価」のあり方
                                                      • dbt導入によるデータマート整備 - ZOZO TECH BLOG

                                                        はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤(@i_125)です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc

                                                          dbt導入によるデータマート整備 - ZOZO TECH BLOG
                                                        • AWS、他社クラウドなどへの移行時にはデータ転送料金を無料にすると発表

                                                          AWSはこれまで、外部へのデータ転送料金の高さを競合ベンダから何度か非難されてきました。AWSにデータを蓄積すればするほど他社クラウドへ移行する際のデータ転送料金が高額になるため、顧客のデータを人質にしていると指摘されていました。 そのAWSが今日、他社のクラウドへ移行する際にはインターネットへのデータ転送料金を無料にすると発表しました。 ブログ「Free data transfer out to internet when moving out of AWS」(AWSから移行する際にはインターネットへの転送料金を無料にします)では、AWSは幅広いサービスを提供しており顧客はそれらを自由に選べるが、その選択肢には他社のサービスも含まれるべきだとして、次のようにデータ転送量の無料化を発表しました。 That’s why, starting today, we’re waiving data

                                                            AWS、他社クラウドなどへの移行時にはデータ転送料金を無料にすると発表
                                                          • Terraform 公式がスタイルガイドを出したので読んで要約した - Qiita

                                                            3/30 に X で Terraform がトレンド入りしていて何事かと思ったら Terraform が公式ドキュメントとしてスタイルガイドを出したようです。 Terraform Style Guide いままで Terraform のスタイルに関して信頼できるドキュメントといえば Google Cloud の Terraform を使用するためのベスト プラクティス ぐらいしか知らなかったのですが、 Terraform 公式がようやく出してくれてありがたい限りです。 これでわざわざ社内の Terraform 規約を設けずとも「公式ドキュメントに従いましょう。」の一言で済みます。 ということで一通り読んだのでまとめました。 原文だと構文の簡単な使い方なども書いてありますが以下の要約ではだいたい省略しています。 詳細は原文を読んで確認してください。 要約 スタイルガイドについて コードのスタ

                                                              Terraform 公式がスタイルガイドを出したので読んで要約した - Qiita
                                                            • DMMがMySQLのリプレース先としてGoogle Cloud SpannerとTiDBを比較、採用したのはTiDB。比較内容や結果を語る[PR]

                                                              DMMがMySQLのリプレース先としてGoogle Cloud SpannerとTiDBを比較、採用したのはTiDB。比較内容や結果を語る[PR] オンラインゲーム、電子書籍、動画配信を始めとする60以上のサービスを提供しているDMM。同社の共通基盤を提供する組織「DMMプラットフォーム」は、オンプレミス上で稼働していたMySQLのリプレース先の検討過程でNewSQLのGoogle Cloud SpannerとTiDB/TiDB Cloudを比較しました。 その比較の結果、採用されたのはTiDB Cloudでした。 比較検討の結果として完成度はSpannerの方が高いとしながらも、なぜ同社はTiDB Cloudを採用したのか、そして実際に運用してどうだったのか。その内容が2024年7月3日に都内で行われたイベント「TiDB User Day 2024」のセッションで語られました。 本記事で

                                                                DMMがMySQLのリプレース先としてGoogle Cloud SpannerとTiDBを比較、採用したのはTiDB。比較内容や結果を語る[PR]