こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ
Googleがクラウドから｢絶対に消えてはいけないもの｣を消してしまう2024.05.26 07:00143,175 山田ちとら Googleさん、やらかしちゃいました。 2024年4月下旬に、Googleが誤ってオーストラリアの年金基金UniSuperのGoogle Cloudアカウントを削除してしまったとThe Guardianが報じました。UniSuperが管理している年金の総額は日本円にしておよそ17兆2500億円。UniSuperにお金を預けている62万人が1週間以上も自分の口座にアクセスできない状況が続いたそうです。 バックアップもろとも消えた実は、このような事態を防ぐためにでしょうか、UniSuperはふだんからクラウド上で2カ所にデータを保存しておいて、万が一どちらかがダウンしても別の場所からデータを復元できるようにしていたそうなんです。ところが、今回はアカウントそのものが
SREエンジニアが組織改善プロジェクトを立ち上げてみた - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。普段は部内のシステムに対し、SRE推進活動を行っています。直近では、データエンジニアと協力してデータ基盤周りの改善に取り組んでいます。 <SREの主な仕事> IaC化(Terraform/Terraform Cloud Business)の導入・推進 SLI/SLOの導入・推進 ポストモーテムの導入・推進 アプリケーションデプロイ基盤の導入・推進 ツールやAPIの設計・開発 インフラ設計・開発・運用 トイル削除・システムの自動化 データ基盤改善 一般的なSREエンジニアは、インフラ関連の業務が中心になると思います。しかし、データ・AI戦略部のSREチームは、開発を含めた幅広い仕事をします。やりたいことがあり、手をあげればそれを後押ししてくれる雰囲気の職場です。 今回は、SREエンジニアである私が、組織改善プロジェクトを立ち上げた話をお
LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
Google、開発者向けの無料プログラム「Google Developer Program」開始。WebIDE「Project IDX」のワークスペースを5つまでなど特典が提供
Googleは、Google CloudやFirebaseなどGoogleが提供するサービスを用いてアプリケーションを開発する開発者を支援するための無料のプログラム「Google Developer Program」の開始を発表しました。 Google Developer Programに参加することで、以下の特典が得られると説明されています。 Geminiベースの新WebIDE「Project IDX」のワークスペースに最大5つまでアクセス可能に チャットAIによるドキュメントページの解説、サンプルコードの生成、Google APIのテスト ラーニング プラットフォーム「Google Cloud Skills Boost」のインタラクティブラボクレジットを無料で利用可能。クレジットを使って実際のGoogle Cloud環境でスキルの練習ができます。 Google主催のコミュニティへの参加
HashiCorp が OSI オープンソース・ライセンス のソフトウェア (以降 OSS) 製品を Mozilla Public License 2.0 (以降 MPL) から Business Source License 1.1 (以降 BUSL) にライセンス変更して話題になっています。 自社は主力製品はクローズドソース、それ以外は Apache License 2.0 で OSS として公開という戦略をとっていることもあり、 BUSL について自分の考えを雑に書いておこうと思います。 法律の専門家ではないので、間違いもあると思います。きっちり理解したい人は弁護士に相談しましょう。
あなたはマイクロソフトのクラウドストレージサービス「OneDrive」を使っているだろうか。本誌読者を対象にしたアンケート調査の結果では、利用派と非利用派が真っ二つに割れている。「使う」「使わない」のどちらを選ぶにしても、まずはOneDriveの仕組みを知ることが重要だ。
はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain
JX通信社の CTO の小笠原(@yamitzky)です。本日は、最近社内で検証している API クライアントの「Insomnia」や、Insomnia を活用したチームでの API 開発の効率化についてご紹介します。 Insomnia とは Insomnia は、オープンソースの API クライアントです。API 通信を GUI で直感的に検証・保存できる、というのが最も基本的な機能です。似たようなツールだと Postman などが有名だと思います。 insomnia.rest Insomnia は一般的な REST API だけでなく、GraphQL や gRPC の API にも対応したツールです。JX通信社では、NewsDigest や FASTALERT などのサービスで GraphQL を活用しているため、GraphQL にネイティブ対応しているのは非常に便利です。 Insom
円周率が105兆桁まで明らかに、所要時間は70日弱
さまざまなストレージのレビューをしている情報サイト・StorageReviewの編集者らが、円周率の算出桁数の新記録となる105兆桁目を達成したことがわかりました。 105 Trillion Pi Digits: The Journey to a New Pi Calculation Record - StorageReview.com https://www.storagereview.com/review/breaking-records-storagereviews-105-trillion-digit-pi-calculation Another Serving of Pi: Solidigm SSDs Help Calculate New World Record | Solidigm Newsroom https://news.solidigm.com/en-WW/235709
TL;DR: Instead of redirecting API calls from HTTP to HTTPS, make the failure visible. Either disable the HTTP interface altogether, or return a clear HTTP error response and revoke API keys sent over the unencrypted connection. Unfortunately, many well-known API providers don't currently do so. Updated 2024-05-24: Added the Google Bug Hunter Team response to the report that the VirusTotal API resp
AWSを活用したDMARCレポート分析基盤の構築と、日経における進め方の事例紹介 — HACK The Nikkei
セキュリティチームでリーダーを務めている藤田です。普段はプロダクトセキュリティの施策を中心に担当しています。 この投稿は、現在進行中の案件に関するものですが、世間で DMARC への対応が話題になっているにも関わらず、業務分担が進んでいる組織や複数のサービスで会社共通のドメインを用いてメールを送信しているような場合になぜ対応が進まないのか、それに対し私たちがどのようにアプローチしているかを示すものです。まだ完璧とはいえる状況ではありませんが、ある程度目処が見えてきたため、ノウハウを共有します。 タイトルの通り技術的なトピックも取り扱いますが、社内での調整や進め方を中心に解説しています。 ステークホルダーが多く、調整に苦労している方や、DMARC 対応を始めたもののレポートの分析に着手できていない方が一歩を踏み出すための助力となれば幸いです。 結論 外部の分析サービスに頼ることなく、AWS
日々何気なくお世話になっている VPC 含むネットワークは、ちゃんと理解しようとすると思ったより多い情報量と、それに対するパターンの経験が必要になります。 私自身、正直ネットワークのお話は好きじゃないのですが、現行の事情を踏まえてこの辺の基本と雑学を振り返っておくと、技術力のベースが整ってよろしいのではと思って整理することにしました。 はじめに 新年度なので、学習教材シリーズです。今回はネットワーク周りで、基礎に味付けするような内容です。もしかしたらお嫌いなジャンルでしょうか、でも少しだけやりましょうそうしましょう。 関連情報としては、このあたり。 公式 ENOG81: AWSのIPv6とPublic IPv4のおはなし – Speaker Deck Amazon VPC とは? – Amazon Virtual Private Cloud 外道父の匠 AWS VPCルーティングの基本から
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
アドビ基本利用条件のアップデートに関するお知らせ
アドビは、いくつかの特定の領域についてより明確にすることを目的として、基本利用条件を更新し、Adobe Creative CloudおよびAdobe Document Cloudをご利用のお客様にこれらの規約の定期的な再承認を促しました。この更新の内容に関して、多くのご質問をいただきましたので、説明をさせていただきます。 アドビは、透明性の確保とクリエイターの権利を保護し、お客様が最高の仕事をできるようにすることに引き続き全力を尽くします。 基本利用条件の変更点 今回の更新の焦点は、アドビが実施しているモデレーション・プロセスの改善について、より明確にすることでした。生成AIの爆発的な普及と、アドビの責任あるイノベーションへのコミットメントを考慮し、コンテンツ投稿の審査プロセスに、手動モデレーションの強化をすることにしました。 基本利用条件で変更のあった箇所は以下の通りです。 ※日本語の基
Windowsをクラウドで提供する「クラウドPC」につながる「Windows 365 Boot」正式リリース
マイクロソフトは、デスクトップ仮想化の技術を用いてWindows環境を配信する新サービス「Windows 365 Cloud PC」（クラウドPC）を2021年に開始しています。 クラウドPCはクラウド上の仮想マシンでWindows 11が稼働しているため、いわゆるシンクライアントと同様に手元のマシン環境に依存せず、すべてのデータがクラウド上に存在し、ローカルPCにはデータが残らないセキュアなWindows環境を実現できます。 このクラウドPCを、ローカルのPCでWindowsにログインすると自動的に接続して利用できるようにする機能「Windows 365 Boot」が、今月（2023年9月）提供予定のWindows 11の大型アップデート「Windows 11 23H2」で提供されることが明らかになりました。 上記が、Windows 365 BootでクラウドPCに接続する画面です。 こ
国立競技場で行われたAdoさんのライブに行ったら「音響がトラウマレベルの酷さ」だった「まだ設計のノウハウが蓄積されてないのかも」
Ado @ado1024imokenp アドです。niconico：nicovideo.jp/mylist/58569901 YouTube : youtube.com/c/Ado1024 イラストは「#Adoart」DMは事務所が管理しています。contact→ cloud9pro.co.jp/contact/ …o-dokidokihimitsukichi-daigakuimo.com Ado @ado1024imokenp ｢心臓｣2日間ありがとうございました。 SPECIAL guestにB’z松本孝弘さんにお越しくださいまして、｢DIGNITY｣を一緒に歌わせていただきました。 そして、初音ミクさんとも歌わせていただきました。 歌わせていただいたのは まふまふさんによる書き下ろし ｢桜日和とタイムマシン｣ でした。 大きな景色を一緒に作ってくださりありがとうございました。皆さんの
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
Amazon Web Services ブログ AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ こんにちは、AWS トレーニングデリバリーマネージャー の西村航です。 本記事は 2022 年 4 月に投稿した AWS 初学者向けの勉強方法 6 ステップ！2022 年版！ という記事を 2 年ぶりにアップデートした内容になります。投稿してから経過した 2 年間で公開された勉強方法を追記して、一部の勉強方法に関してはリンクの最新化を行いました。 皆さん、もしくは皆さんの周りでこんな方はいませんか。「AWS を勉強したいんだけど何から勉強すればよいだろう。どこかに勉強方法がまとまってないかな？」という悩みを抱えている方、または「同僚や部下に AWS の勉強を促しているけど、ちょうど良い教材とか無いかな？」という悩みを抱えている方。本記事はそういった AWS を勉強する際の悩みを抱え
ついにAdobe Creative Cloudのサブスクをキャンセルする方法について規制当局が調査に乗り出す、あまりにもめちゃくちゃなルールをユーザーに押し付けているため
Adobeのソフトウェアをサブスクリプション方式で利用できるサービス「Creative Cloud」をキャンセルする方法について、アメリカの連邦取引委員会(FTC)が調査を行っていると報じられています。 Difficulty Canceling Adobe Subscriptions Under Fire From FTC - Bloomberg https://www.bloomberg.com/news/articles/2023-12-13/difficulty-canceling-adobe-subscriptions-under-fire-from-ftc Adobe Says Significant Costs, Penalties May Arise Out of FTC Investigation - MarketWatch https://www.marketwatch.
入門 継続的デリバリー
継続的デリバリーとは、コード変更を必要に応じて迅速かつ安全に、継続的にリリースできるようにするための開発手法です。本書は、初めて継続的デリバリーに取り組む読者向けに、必要な知識とベストプラクティスをていねいに紹介する入門書です。基本的な概念や技術、アプローチの解説はもとより、章ごとに事例を使用しながら、継続的デリバリーを実践する際に直面するさまざまなシナリオを取り上げ、その全体像・世界観を包括的に理解することができます。 序文 はじめに 第1部 継続的デリバリーとは 1章 『入門 継続的デリバリー』へようこそ 1.1 継続的デリバリーは必要？ 1.2 なぜ継続的デリバリー？ 1.3 継続的デリバリーとは 1.4 インテグレーション 1.5 継続的インテグレーション 1.6 何をデリバリーするのか？ 1.7 デリバリー 1.8 継続的デリバリーと継続的デプロイメント 1.9 継続的デリバリー
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
プラットフォーム エンジニアリングに関する 5 つの誤解: プラットフォーム エンジニアリングとは一体なのか | Google Cloud 公式ブログ
Darren EvansEMEA Practice Solutions Lead, Application Platform ※この投稿は米国時間 2024 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 なぜ新しいトピックに対して否定的になってしまう人がいるのか、その理由は、群盲象を評すの寓話からわかります。その人自身の視点からのみで物事を見てしまうと、その全体像を見失ってしまうということです。プラットフォーム エンジニアリングはソフトウェア デリバリーの比較的新しい手法です。現在、IT 組織やソフトウェア エンジニアのチームの多くがプラットフォーム エンジニアリングについて検討している段階にあるのですが、プラットフォーム エンジニアリングとは何なのか、プラットフォーム エンジニアリングで何ができるのか、プラットフォーム エンジニアリングを導入す
要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 2）の日本語能力を拡張することで「Swallow」を構築した
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
DHH氏によるコンテナデプロイ自動化ツール「Kamal 1.0」正式リリース。ベアメタルや仮想マシンに自動デプロイ、ゼロダウンタイムのアプリ更新も可能
DHH氏によるコンテナデプロイ自動化ツール「Kamal 1.0」正式リリース。ベアメタルや仮想マシンに自動デプロイ、ゼロダウンタイムのアプリ更新も可能 Ruby on Railsの作者として知られるDavid Heinemeier Hasson（DHH）氏は、Dockerコンテナに対応したアプリケーションのデプロイ自動化ツール「Kamal 1.0」をリリースしました。 Kamalはアプリケーション（群）の構成とデプロイ先のサーバ（群）のIPアドレスなどの基本的な情報を設定すると、あとは仮想マシンやベアメタルサーバ、クラウドのサーバインスタンスなどにDocker環境の構築からアプリのデプロイ、トラフィックの切り替えまでを自動的に行ってくれる、デプロイ自動化ツールです。 Kamal 1.0 has shipped. Deploy your web apps anywhere from bare
サーバレスに最適化したJava実行基盤「GraalOS」、オラクルが発表。Javaをネイティブバイナリにコンパイルし瞬時に起動
オラクルはJavaをサーバレス環境で実行するのに最適化した技術「GraalOS」を発表しました。 同時に、Oracle Cloudのサーバレス実行基盤である「Oracle Cloud Functions」でGraalOSの機能を提供することも発表されました。 Javaをコンパイルし、ネイティブバイナリを実行 GraalOSは名称にOSと付いているものの、LinuxやWindowsのようなOSではなく、Javaをデプロイする新たな技術とその基盤を指します。 具体的には、同社が提供しているJava実行環境である「GraalVM」のコンパイラを用いてJavaをコンパイルしてネイティブバイナリを生成し、それをサーバレス基盤にデプロイし実行することで、サーバレスアプリケーションの瞬時の起動と高速な実行などを実現するというものです。 参考：Javaのネイティブバイナリ生成可能なGraalVMの全機能が
New – AWS Public IPv4 Address Charge + Public IP Insights | Amazon Web Services
AWS News Blog New – AWS Public IPv4 Address Charge + Public IP Insights We are introducing a new charge for public IPv4 addresses. Effective February 1, 2024 there will be a charge of $0.005 per IP per hour for all public IPv4 addresses, whether attached to a service or not (there is already a charge for public IPv4 addresses you allocate in your account but don’t attach to an EC2 instance). Publi
2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
Terraformのライセンスの変更とその影響
はじめに 先日、HashiCorp社はの発表により、すべての製品といくつかのライブラリの将来のリリースについて、Mozilla Public License v2.0（MPL 2.0）からBusiness Source License（BSL、またはBUSL）v1.1への移行するがわかりました。 ただし、HashiCorpのAPI、SDK、およびほとんどの他のライブラリはMPL 2.0のままです。 BSLとは? MPL 2.0との違いは? BSLは下記のようにいくつの特徴があります: 特定の期間（通常は数年）の後に、完全なオープンソースライセンス（たとえば、Apache 2.0）に変わるライセンスである。 BSLの下でリリースされたソフトウェアは、特定の期間中は商業的に利用することが制限される。 開発者がソフトウェアの商業的価値を保護しつつ、将来的にはコミュニティに還元することを目的として
インフラストリーミングチームの近藤（@udzura）です。 今日は、ミラティブ社内向けツールの話をします。ミラティブではVPNの仕組みをクラウドをフル活用して自前で構築し、1年ほど運用しています。運用中にいろいろ課題はありつつ、現在かなり安定して動作してます。 今回の記事は、そのVPNの仕組みを紹介します。 既存VPNの課題 災害時に稼働できないリスクを避けたい どこに誰がアクセスできるか楽に管理したい 新しいVPNをハッカソンで開発した話 新VPNの設計思想 災害時でも稼働できる どこに誰がアクセスできるか管理できる 攻撃時の影響を限定する 12時間でインスタンスを停止する クラウドネイティブなVPNである アーキテクチャと技術の説明 WireGuard Google Cloud VPCの各機能 Cloud Functions + Pub/Sub + Slack App API Slac
Blueskyのフォローお願いします！ はじめに まずはこちらをご覧ください。 これは私のApple Watchで計測されたヘルスケアデータです。Apple Watchをつけていると、心拍数や歩数、睡眠時間などのデータが自動的にiPhone内に記録されます。 SREなら健康を維持するためにもSLIとSLOを設定して可視化するべきですよね？ SREなら健康エラーバジェットが無くなりそうだったら「今すぐ寝ましょう！」と架電が来て欲しいですよね？ 普通にやるとiOSアプリを用いて直接ヘルスケアデータを確認することになりますが、Web系のSRE的なエンジニアとしてはやはり業界標準の技術で可視化したいところです。 また、iOSアプリを開発するのは専門知識が必要となり非常に骨が折れる作業です。そもそもMacがないとできないですし。 そこで、今回は Apple Watchのヘルスケアデータを 全自動で良
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
Cloud Nativeを支える要素技術・プロダクト・プラクティスの歩み / infrastudy-returns-01-amsy810
AWSはこれまで、外部へのデータ転送料金の高さを競合ベンダから何度か非難されてきました。AWSにデータを蓄積すればするほど他社クラウドへ移行する際のデータ転送料金が高額になるため、顧客のデータを人質にしていると指摘されていました。 そのAWSが今日、他社のクラウドへ移行する際にはインターネットへのデータ転送料金を無料にすると発表しました。 ブログ「Free data transfer out to internet when moving out of AWS」（AWSから移行する際にはインターネットへの転送料金を無料にします）では、AWSは幅広いサービスを提供しており顧客はそれらを自由に選べるが、その選択肢には他社のサービスも含まれるべきだとして、次のようにデータ転送量の無料化を発表しました。 That’s why, starting today, we’re waiving data
スタートアップでこそCDKが活きた〜生産性を向上できた5つの理由〜 / startup-cdk-productivity
2023/09/02開催 Startup Day 2023での登壇資料です。
regreSSHion: Remote Unauthenticated Code Execution Vulnerability in OpenSSH server | Qualys Security Blog
The Qualys Threat Research Unit (TRU) has discovered a Remote Unauthenticated Code Execution (RCE) vulnerability in OpenSSH’s server (sshd) in glibc-based Linux systems. CVE assigned to this vulnerability is CVE-2024-6387. The vulnerability, which is a signal handler race condition in OpenSSH’s server (sshd), allows unauthenticated remote code execution (RCE) as root on glibc-based Linux systems;
先々月、あるサーバベンダ主催のイベントで、最近のサーバにおける技術トレンドを紹介して欲しいという依頼を受けて、過去10年のサーバ技術のトレンドを振り返るという講演を行いました。 ほぼ10年前は「ムーアの法則が終わる」と本格的に言われ始めた頃で、そこから実はさまざまな技術、例えばストレージクラスメモリやFPGAやメモリドリブンコンピュータなどのプロセッサの回路の微細化以外の技術によるサーバの性能向上技術が注目され、その一部は市場に投入され定着しつつある一方で、商業的な成功を収められなかった多くの技術もありました。 それらをざっと振り返る内容にしたところ、現在のサーバ技術の方向性がなんとなく見えてきたのではないかと思うので、ここで記事として紹介します。 記事は前編と後編に分かれています。いまお読みの記事は後編です。 TPUのような専用プロセッサの登場 機械学習に代表される新しいコンピュータの使
3/30 に X で Terraform がトレンド入りしていて何事かと思ったら Terraform が公式ドキュメントとしてスタイルガイドを出したようです。 Terraform Style Guide いままで Terraform のスタイルに関して信頼できるドキュメントといえば Google Cloud の Terraform を使用するためのベスト プラクティス ぐらいしか知らなかったのですが、 Terraform 公式がようやく出してくれてありがたい限りです。 これでわざわざ社内の Terraform 規約を設けずとも「公式ドキュメントに従いましょう。」の一言で済みます。 ということで一通り読んだのでまとめました。 原文だと構文の簡単な使い方なども書いてありますが以下の要約ではだいたい省略しています。 詳細は原文を読んで確認してください。 要約 スタイルガイドについて コードのスタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChain で社内チャットボット作ってみた
Googleがクラウドから｢絶対に消えてはいけないもの｣を消してしまう
Business Source License 1.1
あなたはクラウドストレージ「OneDrive」を使う？使わない？ 利用派からも不満の声
OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
APIクライアント「Insomnia」で始める、チーム開発効率化 - JX通信社エンジニアブログ
Your API Shouldn't Redirect HTTP to HTTPS
AWS VPC のネットワーク小話～Public/PrivateとIPv4/6～ | 外道父の匠
SQLiteでLinderaを使った日本語全文検索 - *iroi*
AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ | Amazon Web Services
日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
Cloud Run で作るサーバーレス アーキテクチャ 23 連発 - これのときはこう！
GPUなサービスをそこそこな費用で運営する | Kai INUI
クラウドネイティブなVPNを構築して運用している話 - Mirrativ Tech Blog
ヘルスケアデータをGrafanaで見たくない…？〜健康 Reliability Engineering〜
dbt導入によるデータマート整備 - ZOZO TECH BLOG
全社的な生成AI活用プラットフォームとしての Difyの導入事例紹介
AWS、他社クラウドなどへの移行時にはデータ転送料金を無料にすると発表
10年前に「ムーアの法則が終わる」と言われた頃から現在までのサーバ進化の技術的模索を振り返る（後編）
Terraform 公式がスタイルガイドを出したので読んで要約した - Qiita