［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
株式会社ZOZO 推薦基盤チームリーダーの @f6wbl6 です。この記事は「ZOZO Advent Calendar 2023」のカレンダー7の最終回（25日目）です。 この記事では、ZOZOの推薦基盤チームで私とチームメンバーがこの一年、サービス面・組織面で取り組んできたものをいくつか取り上げたいと思います。なおこの記事のタイトルと冒頭の文章は弊社 CTO 兼執行役員の @sonots が書いた以下の記事のオマージュです。 2023年以前の取り組み まず前提として、推薦基盤チームではこれまでにどのような施策を実施してきたのかを簡単にご紹介します。 商品詳細画面「おすすめアイテム」枠の改善 ZOZOTOWN において、商品詳細画面の下にある「おすすめアイテム」枠での推薦精度を改善するプロジェクトです。 既存システムではオンプレの SQL Server に対して都度クエリを投げていましたが
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
佐々木です。 技術書典17向けに、NRIネットコムのメンバーで合本を書きました。一人15ページ以内、合計7人で書き切りました。まえがきや目次、あとがきを入れると116ページのちょっとした大作です。 techbookfest.org S3を安全に使うための10の約束 私が書いたところは、S3です。S3の薄い本を書きたいよなと思いつつ、時間が経っておりました。今後のキッカケになるように、安全をテーマに1項目1ページにまとめてみました。書いてみての感想ですが、この1ページ縛りというのがきつい。項目ごとに３～５ページくらい書きたい内容があったのですが、それを１ページに凝縮しました。これ普通にS3の薄い本を書こうとすると、少なくとも150ページくらいになるなと解ったのが収穫です。 執筆の方針 前述の通り、1ページだと概要しか書けません。そのため、具体的な設定方法については、ほぼ言及していません。S3
こんにちは。SCSKのふくちーぬです。 皆さんは、プライベート（閉域網）環境下でのLambdaを利用したことありますでしょうか。セキュリティに厳しい環境下でLambdaを利用する場合は、VPC設定を施したLambdaを利用する機会があると思います。 今回は、インターネットに接していないVPC Lambdaの設計ポイントをお話しします。また、VPC Lambdaを実現しているAWS内の裏側もご紹介します。 VPC Lambdaとは LambdaにVPC設定を施すことで、顧客VPC内のサブネット上に足を出すことができて(ENIが作成されます)、RDS等のプライベートなリソースにアクセスをすることができます。VPC設定をするためには、VPC・サブネット・セキュリティグループが必要なため、EC2同様のネットワーク設計を行う必要があります。 VPC Lambdaをプライベートサブネット内に配置するこ
家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか？と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった
はじめに 2023年にZennチームにJoinしたdyoshikawaです。 このたびZennのE2Eテスト基盤をリプレイスしました。このような下回りの改善はユーザへの価値提供との距離が近い機能開発と比べてどうしても後回しになりがちな中、Publication Proという大きなリリースを迎えて少し開発が落ち着いたタイミングであり、E2Eテストを拡充できる土台を整えることで今後より安心して機能を追加していけるようにするために必要だということで実施しました。 各テストを独立実行可能にすることによる開発体験向上、CI（GitHub Actions）の実行時間短縮、そして将来を見据えてのCypressからPlaywrightへの移行を行いました。 本記事ではリプレイス前に抱えていた課題、それに対して打ち出した解決方針、そして具体的にどんなことをやったのかを紹介します。 抱えていた課題 前提として
▼ iPhone 15/15 Proの購入は公式オンラインショップから！ Apple ドコモ au ソフトバンク 楽天モバイル 2月5日、アドビは ｢Adobe Creative Cloud｣ の製品プランの価格を値上げすると発表した。 値上げの対象となるのは、｢Adobe Creative Cloud｣ の個人版および学生教職員版、グループ版、エンタープライズ版の単体プラン／コンプリートプラン。さらに、Creative Cloud フォトプラン(20GB / 1TB)やLightroom 1TBプラン、Adobe Express、Adobe InCopy、Adobe Substance 3D Collection / テクスチャリングも対象だ。 Creative Cloud 個人版の価格改定 製品 支払いプラン 旧価格 新価格
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
2023年5月8日より、新型コロナウイルス感染症が５類感染症に移行となりました。 昨年度と比べ展示会出展の動きも活発になり、今期出展を予定している方も多いと思います。 出展準備を進めていくにあたり「ブーススタッフの役割をどう分担すると最大の効果を生むか」お悩みではないですか？ 私たちは2022年〜2023年上半期にかけて、日本最大のIT展示会であるJapan IT Weekに合計4回出展。 トライ＆エラーを繰り返しながら毎回「リード獲得数」「商談アポ獲得数」を伸ばしてきました。 特に直近のJapan IT Week【春（東京）】では過去最高の獲得数を記録。 この結果に繋がった最大の要因は「役割分担の明確化」でした。 本記事では、私たちが過去最高の成果をあげた「役割分担」の方法と「各役割のスキルアップ」の方法をお伝えします。 1.展示ブースにおいての役割は3つ 展示ブースでは「呼び込み」「ヒ
ISUCONの過去問でObservabilityを体験する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:masayoshi です。 今年もISUCON14の開催が決定しましたね！ isucon.net ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCONは、世の中に実際にありそうなWebサービスを題材に、明確なボトルネックがあるコードかつ全体のコード量もすぐ読める量なので、パフォーマンスチューニングの練習にはもってこいです。 適切なパフォーマンスチューニングをするためには、まず計測してシステム上のどこにボトルネックが存在してパフォーマンスが悪化しているのかを把握する必要があります。 このように、どこで、何が起こり、パフォーマンス上の問題やエラーがおこっているのかを把握できる能力を Observabili
この記事は、 NTT Communications Advent Calendar 2023 22日目の記事です。 はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段は、クラウド・ハイブリッドクラウド・エッジデバイスなどを利用したAI/MLシステムに関する業務に従事しています。 本記事は、各クラウドベンダーのサーバレスにおけるプログラミング言語Rustについて調査・比較した結果を紹介します。 まず初めにサーバレスでRustを利用するメリットをエネルギー効率の観点から説明し、次に各クラウドベンダーの関連記事をピックアップします。 さらに、それぞれのクラウドでRustを使ったサーバレスアプリの代表的な作成方法を紹介して比較します。 Rustのエネルギー効率 Rustは、次の公式ページでも宣伝している通りパフォーマンスを強くアピールしています。 Rustは非常に高速でメモリ効率が高く
「Defining, Measuring, and Managing Technical Debt」 → 技術的負債にはどのようなものがあり、 どのように測定・管理するか？について述べた論文 ※ Defining, Measuring, and Managing Technical Debt（2023）Ciera Jaspan, Collin Green - https://ieeexplore.ieee.org/document/10109339 1. 移行が必要なモノ、または進行中のモノ スケーリング、依存関係、非推奨などの要因によ る移行をしていない 2. ドキュメント プロジェクト、サービスに関するドキュメントの 探索容易性が低い、欠落、または不完全である 3. テスト テストが欠落している、不十分、脆弱である 4. コード品質 適切な設計がされておらず、プロトタイプ/デモ版 の可
中国、政府機関のIT機器からインテルおよびAMDプロセッサ排除へ。ArmとRISC-V、国産Linux主流の新ルール制定 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 中国政府が、政府機関の使用するコンピュータにおけるインテルとAMDのプロセッサの使用を禁止する、新しい規則の導入を開始しました。 この規則は昨年末に制定され、町村単位以上の政府機関はIT機器購入に際して、「安全」かつ「信頼できる」という観点で基準を満たすCPUやOS、データベースを選ぶよう指示されているとFinancial Timesが報じています。 中国情報セキュリティ評価センターが発表した新しい政府政策に準拠したCPUのリストには、無名の中国企業による18種類のCPUが掲載されています。このなかでx86アーキテクチャを採用するのはただ1社、上海昭新集積回路有限公司のチップのみとなっています。同社は、台湾V
本記事は 基盤デザインウィーク 9日目の記事です。 🌈 8日目 ▶▶ 本記事 ▶▶ 10日目 💻 はじめに 前提(取得資格と実務年数) 役立った点 混乱した点 まとめ 最後に はじめに はじめまして。基盤デザイン事業部の木下です。クラウドエンジニアとしてお客様環境の運用業務を担当しています。 私はこれまでAWSで構築されたシステムを担当していましたが、Google Cloudに触れる機会が増えてきたため、資格取得と合わせて勉強を進めています。 そこで今回はGoogle Cloudの勉強や資格取得時に、AWSの経験が役立った点と逆に混乱した点について、個人の感想にはなってしまいますが書いていこうと思います。 前提(取得資格と実務年数) AWS 実務年数 7年 取得資格 AWS Certified Solution Architect Associate AWS Certified Dev
AIの民主化が進む時代におけるバクラクのAI-OCR機能の開発戦略 #LayerXテックアドカレ - LayerX エンジニアブログ
LayerX バクラク事業部 機械学習チームの機械学習エンジニア兼マネージャーの松村（@yu-ya4）です。半年間に結婚祝いでいただいたたくさんのお酒が順調に減ってきているのですが、サントリーウイスキー角瓶 4Lペットだけはなくなる気配がありません。 この記事はLayerXテックアドカレ2023の16日目の記事のはずです。 前回はosukeさんの『Azure AI SearchのSemantic Ranker』という記事でした。 次回はminako-phさんによるタメになる記事、『Notionでスプリントのあれこれをダッシュボードで可視化する 』が公開予定ですされました。 昨今のAIの進化には目を見張るものがあります。先日のOpenAI DevDayやMicrosoft Igniteでも様々な衝撃的な発表がなされました。今週は違う意味で衝撃的なニュースが多かったですが。 そのような時代です
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発…
非インフラエンジニアがPrometheusとGrafanaで簡単サーバモニタリング - RAKUS Developers Blog | ラクス エンジニアブログ
概要 Prometheus未経験の非インフラエンジニアが、Grafanaでサーバモニタリングができるようになるまでの 軌跡を記録します。 とりあえず、モニタリングができることが目標なので運用面の考慮等はしていませんが、参考になれば幸 いです。 概要 きっかけ Prometheusとは Grafanaとは 今回構築する環境の構成 ①prometheus server ②exporter ③Grafana インストール 前提条件 ②exporterのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）node_exporterを起動する （４）node_exporterの起動確認 ①prometheus serverのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）Prometheusの設定ファイルを編集する （４）p
CrowdStrike社のセキュリティソフトに起因するWindowsのシステム障害（BSOD）について - セキュリティ事業 - マクニカ
CrowdStrike社のセキュリティソフトに起因するWindowsのシステム障害（BSOD）について 7月19日に発生しましたWindowsを搭載したパソコンでの全世界的なシステム障害につきまして、CrowdStrike社（以下CS社）のセキュリティソフトFalcon Sensorのアップデートに起因する障害であると、同社から連絡を受けております。マクニカでは、CS社の国内販売代理店として、本障害に関する情報を入手し次第、弊社ホームページ上にてご報告してまいります。 すでに、CS社からは、問題の原因は突き止め、復旧とお客様へのサポートに全力を尽くしていると報告を受けています。弊社でも、現在、ご契約のお客様の業務が復旧するよう全力でサポートに当たっております。お客様、販売パートナー様におかれましては、下記を参考の上、ご不明な点等ございましたら、弊社問い合わせ先までご連絡いただけますよう、ご
こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
フィーチャーフラグAPIの標準化を目指す「OpenFeature」がCloud Native Computing Foundationのインキュベーティングプロジェクトに昇格
フィーチャーフラグAPIの標準化を目指す「OpenFeature」がCloud Native Computing Foundationのインキュベーティングプロジェクトに昇格 KubernetesやContainerdなどクラウドネイティブ関連ソフトウェアの開発をホストするなど、クラウドネイティブの普及や推進のための団体「Cloud Native Computing Foundation」（CNCF）は、フィーチャーフラグAPIの標準化を目指す「OpenFeature」がこれまでのサンドボックスプロジェクトから、新たにインキュベーティングプロジェクトに昇格したことを発表しました。 The CNCF TOC has voted to accept OpenFeature as a CNCF incubating project! Congratulations @OpenFeature ht
UbieにおけるGo言語のエラーハンドリング
背景 Ubieでは以下の記事にあるように、一昨年から新しく始めるプロジェクトにはGoとTypeScriptを積極的に採用しています。私は本来プロダクトセキュリティが主な専門領域なのですが、公私ともに普段からGoでツールやサービスの開発をしているため、社内のGo言語の普及をサポートしたりプロダクト開発に参加したりしています。 Go言語で開発したことがある方はご存知かと思いますが、Goは標準パッケージで提供されているエラーハンドリングは最低限の機能しか提供されていません。これは、CLIツールなどではエラーの内容が簡潔に表せてよいのですが、サーバサイドアプリケーションのようにエラーにまつわる情報を詳細に残してあとから調査に利用する、という場面では不向きです。特に本番環境でしか再現しないようなエラーの場合は、いかに関連情報を残せているかが、問題の解決に大きく影響します。 先日も話題になっていました
はじめに こんにちは、MA部の松岡（@pine0619）です。MA部ではマーケティングオートメーションシステムの開発・運用に従事しています。 ZOZOTOWNでは、マーケティングオートメーションシステム（以下、MAシステム）を使い、メールやLINE、アプリプッシュ通知といったチャネルへのキャンペーンを配信しています。 MA部では、複数のMAシステムが存在しており、MAシステムそれぞれに各チャネルへの配信ロジックが記述されていました。これにより、現状の運用保守ならびに今後の改修コストが高いかつ、使用している外部サービスのレートリミットの一元管理が出来ていないなどの問題を抱えていました。そのため、外部サービスへのリクエスト部分をチャネルごとにモジュールとして切り出し、複数のMAシステムから共通で使える配信基盤を作成しました。 また、社内の他チームの持つシステムからのキャンペーン配信の要望があっ
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
Googleの検索部門から大量に漏えいしたとされるAPIドキュメントについて、Googleが本物であると認めたとThe Vergeが報じている。これは、SEOの専門家である米SparktoroのRand Fishkin氏、米iPullRankのMike King氏によって存在が明らかにされたもので、当初Googleはこの資料についてコメントを拒否していたという。 報道によると、問題となっている文書には、Googleが追跡しているデータの詳細が記されており、その一部は同社が厳重に管理している検索ランキングのアルゴリズムに利用されている可能性があるという。 Googleの広報担当者であるDavis Thompson氏は、The Vergeの取材に対し「文脈を無視したり、時代遅れであったり、不完全な情報に基づいて検索について誤った仮定をすることには注意を促したいと思います」「私たちは検索の仕組み
今回の対談で岸田首相は、日本にできるだけ多くのGPUの提供するよう要請し、フアン氏が応じたという。 対談後に首相官邸で行われた囲み取材の写真を各社が公開しており、革ジャン姿のフアン氏を確認できるが、「対談中も革ジャンだったのだろうか」と一部ネットユーザーの間で話題になっていた。 フアン氏は公に出る際、ほとんど黒の革ジャンを着ており、トレードマークになっている。ただ、11月21日に米サンフランシスコで行われた日米連携意見交換会では、スーツ姿で西村康稔経済産業大臣などと対面していた。このため、日本での首相会談はスーツを着るのか革ジャンなのかが一部で注目されていた。 関連記事 NVIDIAのファンCEOがCOMPUTEXで披露した生成AI関連製品まとめ NVIDIAは「COMPUTEX 2023」で、多数の生成AI関連製品を発表した。大容量AIスパコン「DGX GH200」やゲームキャラに命を吹
dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's blog これらのツールで巷でよく言われる データリネージの可視化ができる データに対するテストが簡単に書ける エンジニア以外の人ともコラボレーションしやすい あたりの話は耳にタコができるくらい聞いていると思うので、ニッチではあるもののそれ以外のdbtの個人的に推しなポイントをダラダラと書いてみたいと思う。データエンジニアやデータガバナンスを推進する人には共感してもらえる内容かもしれない。 推しポイント:
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Astute RAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGでハルシネーション対策を強固にするための手法「Astute RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Astute RAGは、RAGの精度を上げるための新しい手法です。Astute RAGでは、外部知識・内部知識を組み合わせることで、ハルシネーションを抑えます。Google Cloud AI ResearchとUSCの研究者らによって2024年10月に提案されました。 通常のRAGで
入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
@Hiroki__IT が目の前にやってきて私にIstioのこと教えてくれた。- Istio in Action の読書感想文 - じゃあ、おうちで学べる
はじめに マイクロサービスアーキテクチャの台頭により、サービスメッシュ技術は現代のクラウドネイティブ環境において外せない選択肢の一つとなっています。 その理由は明確です。マイクロサービスに求められる非機能要件の多くは類似しており、これをアプリケーション側で個別に実装すると、開発者やインフラエンジニアの負担が増大するからです。 ここで登場するのがサービスメッシュです。サービスメッシュの採用により、これらの非機能要件をインフラ層で一元管理することが可能となり、アプリケーション開発者とインフラエンジニアの責務を明確に分離できます。つまり、各エンジニアが自身の専門領域にフォーカスできるのです。これは単なる効率化ではなく、イノベーションを加速させるためサービス開発する上での労苦をなくします。 そして、サービスメッシュの世界で圧倒的な存在感を放っているのがIstioです。その包括的な機能と広範な採用で
Cloudflare Workersを中心とした、Cloudflareの開発者向け製品群（いわゆるCloudflareスタック）は、今やそれだけでちょっとしたサービスを生み出すことが不可能ではなくなってきています。 今回、システム構成をCloudflareスタックにほぼ全振りした新サービスをお仕事で作ったので、工夫した点を紹介します。 なお、本記事で紹介するサービスは7月4日に正式リリースしたばかりで、本格的なトラフィックをほとんど経験していない状態でこの記事を書き始めています。2ヶ月ほど運用した後での生の声は、8月25日に新潟で行われる、Cloudflare Meetup Niigataで講演枠をいただいてお話しする予定ですので、気が向いた方は新潟まで足をお運びいただければと思います。 他にも機会があれば登壇したいので、Cloudflare系のイベントにお誘いいただけますと幸いです！ キ
悪意のあるURLが含まれていないかを分析するurlscan.ioやマルウェア分析ツールのHybrid Analysis、URLのセキュリティ・パフォーマンス・テクノロジー・ネットワークなどを分析するURL Scannerなど、URLが悪意のあるものか否かを調べるための無料ツールが存在しています。こういったツールに非公開のプライベートなURLが入力されており、誰でもアクセスできる状態になっていると、エンジニアのvin01さんが指摘しました。 You can not simply publicly access private secure links, can you? | Vin01’s Blog https://vin01.github.io/piptagole/security-tools/soar/urlscan/hybrid-analysis/data-leaks/urlscan.
ユーザーに刺さるUIデザイン実用テクニック37選
UI Tipsで公開された「UI Tips for Landing Pages & Apps by Jim Raptis」より許可をもらい、日本語抄訳しています。 シンプルなUIデザインテクニックで、より良いユーザーインターフェースをデザインし、ユーザーが満足する方法を一緒に学びましょう。 現役UIデザイナーのジム・ラプティス氏が実際の製品でテスト、検証した実用度の高いテクニック集なので、手軽に試すことができ、効果的にホームページやアプリのUIを改善できます。 時間がない人のために、今回紹介するテクニックのまとめがこちら。 各項目では実際のサンプルをつかって、「良い例」と「悪い例」を比較。すぐできる解決策と一緒に詳しく紹介しています。 ユーザーが恋に落ちるUIデザイン実用テクニック1. ソーシャルログイン2. より良いメニューデザイン3. グーテンベルグの法則4. モーダルの削除5. 不揃
はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LPI-Japan、「オープンソースデータベース標準教科書 -PostgreSQL-」のバージョン3.0.0を公開
ZOZO推薦基盤チームの2023年の振り返りと現状 - Qiita
『S3を安全に使うための10の約束』 技術書典17向けに書きました - NRIネットコムBlog
VPC Lambdaを実現しているAWS内の裏側と設計の心得三箇条
Nature Remo＋AWS＋LINE Notifyで緩やかな自宅監視（１）
ZennのE2Eテスト基盤をリプレイスしました（開発体験向上、CI時間の短縮、Playwright移行）
アドビが値上げ。｢Adobe Creative Cloud｣など対象、適用は3月5日から
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
私たちがJapan IT Weekで過去最大数のリード獲得を実現できた要因
サーバレスにおけるRustについて - NTT Communications Engineers' Blog
実録！一人SREが直面している技術的負債
AWSの経験がGoogle Cloudで役立った点と混乱した点 - NRIネットコムBlog
AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
事業計画を立てる上で必要なプロセスをシステム化し改善した話 - pixiv inside
デジタルリテラシー協議会、「ITパスポート試験」など3試験の合格者に「DX推進パスポート」デジタルバッジを発行
ZOZOTOWNにおけるマーケティングメール配信基盤の構築 - ZOZO TECH BLOG
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
流出した「Google検索」の社内文書、グーグルが本物と認める
“いつも革ジャン”NVIDIAのCEO、岸田首相との面会も革ジャンだった 取材で確認
個人的なdbtの推しポイントを書いてみる - yasuhisa's blog
RAGのハルシネーション対策をする手法「Astute RAG」
Cloudflareスタックをモリモリ使ってアバター画像生成サービスを作った話
機密情報を共有するためのURLが分析ツールに入力されることで情報漏えいにつながりまくっていることが明らかに
VPN との終わりなき戦い 〜新VPN導入編〜 | BLOG - DeNA Engineering