jukuin2000のブックマーク - はてなブックマーク

Snowflake Summit 2023 で感じた新たな時代の盛り上がり - RAKSUL TechBlog

こんにちは。ラクスルグループのノバセル株式会社にてデータエンジニアをやっている、@yamnakuです。今回は、6月末にラスベガスにて開催された Snowflake Summit 2023 に参加してきたので、その参加報告をしたいと思います。 Snowflake については、以下の記事にて紹介しています。参加に至るまでの経緯弊社では、ビジョンである「マーケティングの民主化」を実現するため、お客様のマーケティング施策の定量評価を通じ、より効果的なマーケティング活動の実現を支援しています。その中で、定量評価に用いるさまざまなデータの集計や分析を行うにあたり、"データクラウド"である Snowflake を中心としたシステムの構築を行なっています。私自身も、データエンジニアとして2年ほど Snowflake を利用したデータパイプラインの構築や運用を行なってきました。また、日本において

jukuin2000 2023/08/09

リンク

新卒エンジニアがAWS JumpStartに参加して考えたこと - RAKSUL TechBlog

はじめにはじめまして！ノバセル事業部 Novasell Analytics開発チームの浅田です。先日、ラクスル23新卒エンジニアはアマゾンウェブサービスジャパン合同会社様が主宰する研修「AWS JumpStart 2023/5-6 設計編」に参加しました。このイベントに参加することで、AWSの基本的なサービスやアーキテクチャ設計のポイントを理解することができました。以下は成果物の一部です。今回の記事では、実際にイベントに参加して学んだアーキテクチャ設計のポイントを概観した上で、それを意識した具体の思考実験を行いたいと思います。ソフトウェアアーキテクチャ設計とその観点ソフトウェアアーキテクチャ設計とは、機能・非機能要件、制約条件を満たすシステム全体の設計を、ソフトウェアだけでなくインフラの観点も含めて行うプロセスです。機能要件に関しては各サービスごとに異なりますが、非機能要件に関し

jukuin2000 2023/06/28

リンク

23新卒エンジニアがRubyKaigi 2023 + アフターイベントに参加した感想 - RAKSUL TechBlog

はじめにはじめまして！2023年4月にラクスル事業本部にサーバーサイドエンジニアとして新卒入社した杉山です。とはいっても、去年の7月から内定者インターンとしてラクスルでの開発に関わっていて、インターン時と同じチームへの配属ということもあり、現在は新商品追加のための開発や運用の仕事をしています。この記事では、新卒入社後に参加した RubyKaigi 2023 + アフターイベントについて、その感想を書きたいと思います。 RubyKaigi 2023 今回参加したラクスルメンバー、右下が私です。 RubyKaigi にはこれまでも参加したいと思っていたのですが、大学の授業や、コロナ禍の影響により、なかなか参加することができませんでした。今年の RubyKaigi は長野県松本市で開催され、長野県は私の出身地でもあるので、ぜひ参加したいと思っていました。そう思っていたところ、 RubyK

jukuin2000 2023/06/01

リンク

【全力で】オンボーディングタスクについて考えていることノバセルTechチーム編【歓迎します】 - RAKSUL TechBlog

はじめにこんにちは！ノバセル株式会社*1のノバセルアナリティクスグループでソフトウェアエンジニアをしています mktakuya です。先日、「名探偵コナン黒鉄の魚影（サブマリン）」を観てきました。もちろん4DXです。 4DXは作品によって向き不向きがあると思っているのですが、やはり劇場版コナンシリーズはハズレ無し。特に今作は4DXの魅力を余すことなく活かした最高の作品なのではないかと思っています。みなさんも映画館でぜひ！さて今回は、ノバセルエンジニアの開発オンボーディング、特にオンボーディングタスクについてあれこれ書いていきたいなと思っています。ノバセルエンジニアの開発オンボーディングまずはオンボーディング全体の流れからご説明します。所属先やチーム、職種によって変わるところもありますが、ノバセルにご入社いただくエンジニアのオンボーディングでは、下記のような項目が実施されます

jukuin2000 2023/05/08

リンク

人に向き合って一緒に変革を実現していく - RAKSUL TechBlog

ラクスル事業本部 CTO 二串です。アドベントカレンダー23日目を担当します。今日は人の成長というテーマで、ラクスルのエンジニア組織や会社全体のカルチャーなどについて触れつつポエムテイストでつらつら書いてみます。はじめに社内のSlackを眺めていると、時々人の成長をまじまじと見るときがありハッとする。数年前まではデバッガ is 何? だった若手のエンジニアが、今ではSQLの有効な実行計画についての気づきをシェアしていたり、新しいライブラリを作ったり、バグをみつけてはオープンソースのプロジェクトへ pull request を送ったり、プレイヤーだった人がマネジメントについての考え方を展開していたり。人の成長というのは本当に面白い。最近、私の上司から「@nikushi さんは組織や人を見るの得意ですね」と言われた。ちなみにそれに続いて「しかしながら….という側面においては….ですね」

jukuin2000 2022/12/24

リンク

億件オーダーのデータ移行ツールの検証の際に、確率計算とサンプリングを用いて効率的にテストをした話 - Uzabase for Engineers

こんにちは。 NewsPicks エンジニアの鶴房です。 2020年1月に入社して、既に1年が経ちました！今回は入社して最初に任せていただいた案件で、億件オーダーのデータ移行ツールの検証の際に、サンプリングを用いて効率的にテストをした話をさせてもらいます。何がしたかったのかどんな課題があったのかどう解決したのか終わってみて思ったことおわりに何がしたかったのか NewsPicksでは、AWSのRedshiftを用いて、アクセスログやユーザーの行動ログの蓄積と解析を行っています。解析の結果は、マーケティングの指標や機械学習などに利用されています。これらのログですが、生データは、RDSやnginxにあるので、それらを加工して、Redshiftに流すスクリプトがありました。このデータ移送スクリプトをAWS Glueを用いた新しいスクリプトでリプレースすることになりました。どんな

jukuin2000 2021/02/03

随分前のことのような気がするけどまだ1年か。アイデアだけ提供したらあとは全部やってくれましたね。懐かしい！& 頼もしかった！

リンク

見えない｢新型肺炎クライシス｣の本質とは何か

さらに、危機管理とは別の、経済的ダメージもきわめて大きくなる。政治は、人々が過剰反応すれば「過剰2乗反応」をしなければならない。あらゆるイベントは中止に追い込まれ、責任逃れ、説明逃れが蔓延する。無駄に、世界は経済活動や社会活動をも止めてしまう。少数のクレーマーによって正しい行動はゆがめられる説明逃れのために、イベントを中止にする、というのは、行動経済学的にいうと、大変興味深い現象だ。「なぜこんなときに開催するのか」「感染者が出たら責任取れるのか」、という一部のクレーマーに対する説明が面倒なので、開催中止にしておく。このクレーマーたちの中には、実際にはイベントに実際には参加しない、謎のある種の野次馬クレーマーが混じっている（実はその方が多い）。彼らがなぜそんな腹いせ、愉快犯みたいな行動を取るのか分からないが、本人たちは決して愉快ではなく、真剣に心配し、怒っている。「そんな馬鹿な！」

jukuin2000 2020/02/27

リンク

S3に配置した動画をMediaLiveでスケジュール組んで配信してみる - Qiita

この記事は NewsPicks Advent Calendar 2019 の8日目の記事です。はじめにこんにちは、NewsPicksでサーバーサイドエンジニアをしている@d-kumoです。 NewsPicksというとオリジナル記事等の文字ベースのコンテンツをイメージされる方も多いかと思いますが、動画コンテンツにも力を入れており、今では週に4回配信することもあります。今後増えていく動画コンテンツをより安定的に配信するため、最近はいろんな配信技術に触れる機会も増えてきました。そんな中で、今回はAWSが提供しているライブ配信サービスAWS Elemental MediaLiveを使った配信構成を試してみたのでご紹介したいと思います。 ※NewsPicksの動画配信構成については、以下の記事で解説しています。ご興味のある方はご覧ください。 https://qiita.com/kirihat

jukuin2000 2019/12/09

リンク

Redshift におけるデータロードそれと slow query 対策の実践 - Qiita

NewsPicks の VPoEの戸辺と申します。普段は、データ分析基盤の構築、機械学習、NewsPicks におけるSRE的なチームリード、チームビルディング、予算管理、QA、問い合わせ対応、採用、などを主に担当しています。それらの業務の中で、今年の Adevent Caledar では、採用とデータ分析まわりについて担当いたします。採用については、別途「採用アドベントカレンダー2019」に記事を書いております。 => NewsPicks流エンジニア採用の極意エンジニア採用に興味のある方が是非そちらも御覧ください。こちらでは、今回、データ分析基盤に関する記事を書かせていただきました。普段使っている AWS Redshift の Tips をいくつかご紹介したいと思います。Tips というか現場で運用しているノウハウ及び、その実践例です。もっと網羅的にご紹介させていただきたかったので

jukuin2000 2019/12/04

今年のデータ分析プロジェクトの中で取り組んだものをまとめてみました。即使える実践的な内容になっていると思います！

リンク

Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita

はじめまして、Newspicksでエンジニアしています、Hoàngです。新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong

jukuin2000 2019/12/03

リンク

GitHub ActionsでHugoのブログをVPSにデプロイする - Qiita

詳しくは以下の公式サイトから確認してみてください。 Action を作成するそれでは早速 Actions を作成していきます。 Action は GitHub の該当の Repository の Actions メニューから追加します。 New workflow を押すと実際に作成することができます。 Workflowを作成しようとすると、テンプレートのようなものがいくつか表示され選ぶことができるようです。今回は Set up a workflow yourself を押して一からつくってみます。 Workflowを作成すると、以下のような編集画面が表示されます。右側の Marketplace では、公開されている Actions を使用することもできます。実際の yaml の内容は後述しますが、ここで実際に Actions を作成して、 Start commit を押してコミットをす

jukuin2000 2019/12/03

リンク

CDKでEC2のBlue/Greenデプロイをするパイプラインを作る - mano’s diary

こんばんは@manoです。もう今年も12月ですね。 12月ということで、今年もNewsPicksではアドベントカレンダーをやります！(って、僕は初参加なんだけども。) 実はここで話すのは初めてですが、僕は(株)NewsPicksの社員で、この記事はNewsPicks Advent Calendar 2019の1日目の記事ということになります。最近CDKばっかり触っているということもあり、当ブログとしてはここまで2記事連続でCDK関連の話をしてきましたが、今日もCDK関連の話をします。 NewsPicksでは現在、デプロイフローの見直しを進めています。現状はAWSで、auto scaling groupで管理されたEC2インスタンスに、NewsPicksのアプリケーションはJAVAがメインであるため.warファイルを配置し、Nginx & Tomcatといったwebサーバー構成でアプリケ