Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役
Acer・Dell・GIGABYTE・Intel・Supermicroの数百以上のデバイスでUEFIセキュアブートのプラットフォームキーが漏えいしていたと発覚、システム侵害のリスクあり
セキュリティ企業・Binarlyの研究チームが、Acer、Dell、GIGABYTE、Intel、Supermicroが販売する200種類以上のデバイスでブート時に任意コード実行が可能になる脆弱(ぜいじゃく)性「PKfail」を報告しました。脆弱性の起因は、セキュアブートの基盤となるプラットフォームキーが2022年に漏えいしたことと指摘されています。 PKfail: Untrusted Platform Keys Undermine Secure Boot on UEFI Ecosystem https://www.binarly.io/blog/pkfail-untrusted-platform-keys-undermine-secure-boot-on-uefi-ecosystem SupplyChainAttacks/PKfail/ImpactedDevices.md at main
OS徒然草 (1) - VA Linux エンジニアブログ
はじめに コンピュータのアーキテクチャ プログラムの構造 あとがき 執筆者 : 小田 逸郎 はじめに 筆者は自分のことを OS 開発者 (OS屋) だと思ってます。最近は、OSにあまり深く関われていないのですが、筆者が若かりし頃に情熱を注いだものであり、筆者の基盤をなしているものであることには間違いないです。 筆者が OS (UNIX) の開発に携わり始めたのは、1986年のことなので、もう40年近く経ってしまいました。その間に OS の規模も随分大きくなってしまったようです。 筆者が始めた頃の UNIX は、デバイスドライバを除くと、20K行くらいだったと記憶しています。 全コードをラインプリンタで出力、コピー、製本し、皆で読み合わせて、勉強会をしたりしていました。そんなことができる分量だったのです。 今の Linux の規模はどれくらいでしょうか。筆者たちが「Linuxカーネル 2.6
ZIO Lambdaを用いてScalaネイティブバイナリをAWS Lambdaで動かしてみた - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループでScalaとマミさんが好きな安江です。今回は私が所属しているデジカルチームのお話です。ZIO Lambdaを使ってScalaネイティブバイナリをAWS Lambdaで動かしてみました。こちらの技術スタックの紹介をします。 ZIO Lambda 背景 技術スタック Scala ZIO ZIO Lambda GraalVM Native Image 実装 プロジェクトの作成 ライブラリの追加 ハンドラーの作成 ネイティブバイナリのビルド AWS Lambdaへのデプロイ まとめ We are hiring !! 背景 特定の処理で、外部から提供されたJARライブラリを使う必要がありました。弊社電子カルテはRails製なのですが、別のバックエンドにSkinny(Scala)製のサーバーを使っていたため、そのサーバーに処理を相乗りさせました。しかし、
更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて - Repro Tech Blog
Reproでチーフアーキテクトを担当しているjoker1007です。 今回、社内のデータストレージの将来的な選択肢の一つとしてApache Hudiというテーブルデータフォーマットについて調査と実データでの検証を実施しました。 この記事では2回に分けて、そもそもhudiってどんなフォーマットなのか、どういうデータで検証してどんな結果が得られたのかについて紹介します。 ということで第1回は、hudiそのものについての紹介をしていきます。 この記事はhudi-0.14.1を利用して検証した時のものです。また社内向けに書いた資料の手直しであるため丁寧語でないことに御留意ください。 Hudiとは何か、その目的 hudiは更新可能なデータレイクを構築するためのテーブルフォーマットである。 ストリーミングによるデータインサートや、upsert, deleteをサポートする。 通常、データ分析に向いたデ
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
「日本一美しい」という河岸段丘を見に行く (1/2) :: デイリーポータルZ
群馬県沼田市に「日本一美しい河岸段丘（かがんだんきゅう）」があると聞き及び、これは見に行くしかない。ということで、見に行ってきました。 中学校の地理で習った？ 河岸段丘とは？ 河岸段丘。 地理にあまり興味がない妻は「カガンダンキューって何？」とストレートに聞いてきた。 河岸段丘ぐらいみんな知ってるようなつもりで勝手に話を進めるのは良くないので、改めて河岸段丘について説明しておきたい。 ぼくは、中学校の地理で習ったような気がしていたのだけど、はっきり記憶はしておらず、もっぱら地図帳に載っていた河岸段丘のイラストの印象が強い。 地図帳の河岸段丘。関越道開通前の貴重な航空写真（帝国書院『中学校社会科地図帳』昭和55年） 高校用の地図帳の河岸段丘は、でき方を丁寧に解説（帝国書院『新詳高等地図』平成27年） 真ん中の地形図詰め合わせみたいな絵の中にちょっとだけある（赤矢印）（帝国書院『中学校社会科地
第1回 生成AIの得意・不得意 2024・夏 | gihyo.jp
皆さんこんにちは。スリーシェイク代表の吉田です。 今回より生成AIを、金融業界や製造業、医療業界など各事業ドメイン固有の課題解決にどう使われているのか、具体的なユースケースを提示しながら、それを実現するアーキテクチャについて解説していきます。この連載を通して、これまで生成AIを実際のシステムに組み込むイメージが湧かない方への第一歩として手助けになれば幸いです。 第1回は、生成AI自体の一般的な得意不得意を踏まえながらユースケースを解説します。 生成AIが得意とする処理とは？ 生成AIが得意とするのは、「専門性のない一般的な知識をベースにした」テキスト生成、コード生成、画像認識や画像生成が挙げられます。RAG（Retrieval-Augmented Generation）やプロンプトエンジニアリングにより固有ドメインに特化させることは可能ですが、教師あり学習データを前提としたMLやDeep
致死率ほぼ100%、皮膚から湧き出す「最凶の寄生虫」の全ゲノムを解読 - ナゾロジー
最凶の寄生虫「芽殖孤虫(がしょくこちゅう)」のゲノムが解析されました。 5月31日に、日本の宮崎大学の研究者たちが『Communications Biology』に掲載した論文によれば、極めて致死性の高い寄生虫として知られる「芽殖孤虫」の全ゲノムの解析に成功したとのこと。 芽殖孤虫症は全世界で18例しか知られていない極めてまれな寄生虫感染症ですが、無限に分裂増殖しながら人体を喰いつくしていく残酷さ、搔きむしった皮膚から無数の虫が湧き出てくる異様さにより、古くから奇病として恐れられていました。 1907年、国内2例目の患者では、筋肉片約3cm2以内に20～25もの蟲嚢があり、担当した当時の東大病院の医師は解剖記録では “「無数の大小種々の条虫および嚢虫の湧き出るを認め、一見慄然（りつぜん）たらしむ」 「全身の至るところに居りて、肺では最も著しい」 「こうなってしまったら蟲を殺すより人間を殺す
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開 Googleは、同社の最新生成AIであるGeminiをBIツールと統合した「Gemini in Looker」として、Looker Studio ProのグラフからGoogle Slidesのスライドを自動的に生成する新機能のプレビュー公開を発表しました。 Looker Studioは、Google SheetsやBigQuery、Cloud SQLやGoogle AnalyticsといったGoogleが提供するデータソースだけでなく、Amazon RedshiftやMicrosoft SQL Server、MySQL、PostgreSQL、SnowflakeなどのデータベースやFacebook Ads、LinkedIn
Falcon Content Update Remediation and Guidance Hub | CrowdStrike
Updated 2024-07-25 1954 UTC Using a week-over-week comparison, greater than 97% of Windows sensors are online as of July 24 at 5pm PT, compared to before the content update. Content Configuration Update Impacting the Falcon Sensor and the Windows Operating System (BSOD) Executive Summary PDF This is CrowdStrike’s preliminary Post Incident Review (PIR). We will be detailing our full investigation i
取調べで使われる卑劣な手口と対処法 - 弁護士が暴露する黙秘権行使の真実｜弁護士髙野傑
note書きました！黙秘してもらおうと思ったけど上手くいかなかったという悩みをよく聞きます。実現できたことがないからそもそも黙秘を助言しないという人もいる。普段私がどのように黙秘を助言しているかをまとてました。#黙秘 黙秘実現のための６つのステップ https://t.co/HuBWwlrKTS — 髙野傑（高野傑）/Takano Suguru (@su_takano) July 15, 2024 黙秘している方に対して警察官が「とある弁護士事務所のWebページには黙秘をしているとこれだけ不利になると書いてあったぞ」と言ってそのページを印刷したものを見せてきた、ということがありました。黙秘を破る新しいやり口だなと思うのと、どこの事務所さんか知りたいと思いました。 — 髙野傑（高野傑）/Takano Suguru (@su_takano) July 5, 2024 今年に入ってから、私自身が
Open Source AI Is the Path Forward | Meta
In the early days of high-performance computing, the major tech companies of the day each invested heavily in developing their own closed source versions of Unix. It was hard to imagine at the time that any other approach could develop such advanced software. Eventually though, open source Linux gained popularity – initially because it allowed developers to modify its code however they wanted and
価値が出るポイントまで一気に進めてから次のタスクに取り組む - $shibayu36->blog;
以前同僚から、いくつかのプロジェクトやタスクを持っているときにどう進めると良いかという質問を受けた。僕はその時、価値が出るポイントまで一気に進めてから次のタスクに取り組むようにしていると答えた。この話についてブログに言語化してみる。 良くない進め方の一例 たとえばプロジェクトA（自分の担当分工数10日）、プロジェクトB（自分の担当分工数20日）で、合計30日分のタスクを持っているとする。この時良くない進め方は、両方ともを完全に並列に少しずつ行って、30日後に終わるということだ。1 このやり方だと30日後にならないとプロジェクトAもBも結果が出ない。もしプロジェクトAのみに集中して終わらせれば少なくともプロジェクトAの結果は10日後に出るのに関わらずである。 このやり方がまずいのは当たり前に見えるのだが、気をつけないとやってしまいがちである。なぜなら少しずつ進めれば、他の関係メンバーに「自分
マルチAWSアカウント環境のセキュリティって無理ゲーじゃね？
対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で
うまく騙されないように、人の思考のクセを知っておこう。
人には、どの人にもある「思考のクセ」が存在しています。 そうしたクセは、普段あまり意識されることはありませんが、「知っている」人は、それを良くも悪くも「実態を隠す技術」や「他人を操作する技術」として使うことがあります。 例えば、「アンカー効果」として知られている思考のクセがあります。 これは「予測を立てる直前に見た数字をアンカー（よりどころ）にしやすい」という傾向です。 当然これは、金儲けにも利用できます。 数年前、アイオワ州スーシティーのスーパーマーケットがキャンベル・スープのセールを行い、定価から約一〇％引きで販売した。数日間は「お一人様12個まで」の張り紙が出され、残り数日間は「お一人何個でもどうぞ」の張り紙に変わった。 すると、制限されていた日の平均購入数は七缶で、制限なしの日の二倍に達したのである。 ファスト＆スロー （上） このように、心理に関する知識は、成果を大きく左右するこ
米史上最大の法人減税からの教訓 - himaginary’s diary
というNBER論文が上がっている（ungated版）。原題は「Lessons from the Biggest Business Tax Cut in US History」で、著者はGabriel Chodorow-Reich（ハーバード大）、Owen M. Zidar（プリンストン大）、Eric Zwick（シカゴ大）。 以下はその要旨。 We assess the business provisions of the 2017 Tax Cuts and Jobs Act, the biggest corporate tax cut in US history. We draw five lessons. First, corporate tax revenue fell by 40 percent due to the lower rate and more generous exp
【統計検定１級】データ解析のための数理統計入門を読む | とけたろうブログ
―本書は統計検定の準１級と１級（統計数理，統計応用）の内容にもほぼ対応している―初版第２刷以降の「はじめに」には，この文言が入っています。はたして，これは本当か，本稿では忖度なく一刀両断にしていきます。 本書（以下，青本と呼ぶ）は2023年10月に共立出版から出版されました。現在，著者の久保川達也先生は東大経済学研究科の教授であり，同じ出版社から出ている「現代数理統計学の基礎（以下，白本と呼ぶ）」の著者としても有名ですね。著者の慧眼によって様々な統計手法の本質が審らかにされていく様子は読んでいてとても刺激的であり，青本は私も好きな１冊です。本稿を読んで興味をもった人は，本書をぜひ購入してみてください。 青本は統計検定１級対策として適している 準１級は統計学の初学者や文系出身者でも努力すれば合格できる知識主体の試験であるのに対して，１級は難関国立大学理系２次試験を彷彿とさせるガチの数学力勝負
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
加給年金額と振替加算｜日本年金機構