鹿児島工業高等専門学校で『AI基礎』の出張授業をやってきました - Pepabo Tech Portal
はじめに こんにちは、CTO室鹿児島エンジニアリングチームの@kurehajimeです。 普段はカラーミーショップの決済周りの開発を行っているWebアプリケーションエンジニアです。 2024年1月17日、鹿児島工業高等専門学校(以下、鹿児島高専)に『AI基礎』というテーマで出張授業に行って来ました。 自分はWebアプリケーションエンジニアなので、勉強会のハンズオンやOBとしての講演はともかく、学校で授業するというのは今回が初めての体験です。 この記事では、授業内容を考えるうえで工夫した点などをまとめたいと思います。 ターゲットとコンセプト 授業をする上でまず考えたのは『ターゲット』と『コンセプト』です。 今回のターゲット、つまり授業を行う対象は、鹿児島高専の機械工学科2年生です。 機械工学科なので専門は機械系で、ネットで公開されているシラバスによれば『情報I』と『情報II』の授業は3年次か
ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal
こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
Debezium ServerによるChange Data Captureの事例紹介 - Pepabo Tech Portal
技術部データ基盤チームの@tosh2230です。 2023/04/11(火)に、ファインディ株式会社主催のLTとパネルで学ぶ データ基盤アーキテクチャトレンド 2023にてChange Data Capture(CDC)の事例を紹介しました。関係者の皆様に感謝を申し上げます。 この記事では、発表した内容と質疑応答への回答、その後の動向についてお伝えします。 発表内容 ニアリアルタイム分析の実現に向けた取り組みの概要と、本番稼働したばかりのCDCデータパイプラインの詳細についてご紹介しました。 CDCを行うツールとして、今回はDebezium Serverを選びました。Debezium Serverは日本国内では事例が少ないのですが、コンテナで軽量にCDCを実現できる良い手段だと思います。 質疑応答 発表後にいただいた質問への回答を記載します。当日うまく答えられた自信はありませんが、下記の内
ディレクターが学ぶデータエンジニアリング - Pepabo Tech Portal
技術部データ基盤チームの@yrarchiです。2022年1月に現所属に異動してから約5カ月が経過しました。 異動前はホスティング事業部でディレクターとしてサービスに関わる数値の分析をしたり、分析結果を元にした施策の推進などをしていました。そのため、クエリを書く機会はあっても、データ基盤の整備に関わるような機会はありませんでした。今回、分析だけでなくデータ基盤の整備を含めたデータに関連する業務をより幅広く行えるようになるため、データ基盤チームへ異動することになりました。 この記事では、ディレクターがデータ基盤チームに入った結果、エンジニアリング面でどのような課題にぶつかり、どのように対応しているかを記載します。 対応した案件 データ基盤チームはデータ基盤の開発・運用を行っています。異動後に対応したことを技術要素に着目して挙げると以下のようになります。 Google Cloudのワークフローエ
データチームの立ち上げ1年間で行ったこと - Pepabo Tech Portal
データ基盤チームの方から来ました、 @udzura です。 私の所属するGMOペパボのデータ基盤チームは、「Bigfoot」と名付けられたデータ基盤の開発・運用を行いつつ、全社のデータ駆動化を推進していく組織です。 これは2021年の資料になりますが、 @tosh2230 によるデータ基盤チームの立ち上げについての資料もありますので併せてご覧ください。このテックブログでもいくつかデータ基盤に関する記事があります。 さて、このチームは、2021年から発足した新しい組織です。なおかつ、立ち上がりの始めから全てをオンラインで行ってきた、リモートネイティブなチームでもあります。 この記事では、そんなデータ基盤チームをどのように整えていったか振り返ろうと思います。その過程で、実践したチーム開発のプラクティスを紹介します。 〜2020年のデータチームについて 2021年からの取り組み 新規ジョインメン
ペパボのデータ基盤『Bigfoot』におけるAirbyteの本番運用 - Pepabo Tech Portal
技術部データ基盤チームに所属しているまつもとです。ペパボではGoogle Cloud Platform(以下 GCP)をメインで利用した社内データ活用基盤「Bigfoot」を開発・運用しています。BigfootはBigQueryによるデータウェアハウス・データマートを各部署へ提供することが大きな役割となっています。BigQueryへのETLはGCPのワークフローオーケストレーションサービスであるCloud Composerによって構成しています。データのExtractとLoadは基本的にEmbulkとStitchを利用していますが、対応していないデータソースについてはPythonでExtractとLoadのコードを個別に実装しています。 新たなデータソースに対応するために都度ETLを実装するのは非効率であるため、最近急速に対応データソースの数を増やしているOSSのETLシステム Airby
ワンランク上のもふもふを！猫の切り抜き方 - Pepabo Tech Portal
この記事の担当 @sziaoreo_artworks はじめまして。まいどんと申します。 minneのデザイナーをやらせていただいてます。 前職は広告制作会社におりまして、Photoshop祭な日々の中で様々な小技を先輩方から盗んで参りました。 ということで今回はPhotoshopで使える！覚えておくととても便利！な 「ワンランク上のもふもふを！猫の切り抜き方」をご紹介します。 それではさっそくこの黒ニャンコでやってみましょう。もふもふですね。このもふもふ感を端折るわけにはいきません。 この技では１つのもふもふを切り抜くのに、2つpsdデータを用意します。 1.ボワっとマスクをかけます！ １つめのデータ ２つめのデータ
minne のマーケティングダッシュボードを Redash に移行しました - Pepabo Tech Portal
技術部の @gyugyu と @zaimy です。 データ分析の必要性が叫ばれており、様々な分析手法やノウハウが広がっている昨今ですが、分析に際してはその前段階として、いかにデータを効率よく集め分析可能な状態に置くかということに関する課題解決、すなわちデータエンジニアリングも必要です。 今回、このデータエンジニアリングにおいて課題を抱えていた minne のマーケティングダッシュボードを Tableau ワークブックから Redash に移行したので、その対応の一部をご紹介します。 移行の背景 minne では BI ツールの Tableau を導入しており、分析担当者はワークブックの編集が可能な Tableau Desktop を、分析担当者以外のパートナー (ペパボでは一緒に働く仲間のことをパートナーと呼んでいます) はビューワである Tableau Reader を利用しています。マ
「メンタリング」は、可能か？ - ペパボテックブログ
はじめまして、鹿です。カラーミーショップというネットショップ構築サービスで、決済画面のデザインを担当しています。2012年にGMOペパボの新卒採用でデザイナーとして入社して、今年で4年目になりました。 GMOペパボでは2011年から新卒採用を行っていて、今年で5代目になる新卒たちが毎年どんどん入社しています。きょうは、そんなペパボの片隅のある部署で、後輩新卒デザイナーのほらおくん (@horaotoko) といっしょに、「メンタリング」について試行錯誤したという話をしたいと思います。 「メンター」って、なに？ 毎年それぞれすごいスキルを持った後輩がやってきて、みんなすごいなぁ〜とぼんやり思っていたら、ある日突然、上長 (@atakaP) に呼び出されて「ほらおくんのメンターをお願いします」と言われました。ほらおくんは、今年から同じ部署に配属された、当時新卒1年目のデザイナーです。 そのとき
PEPABO HEADZ IN DA HOUSE!!1 - GMOペパボの「採用目的」 - Pepabo Tech Portal
プレスリリースでもお知らせした通り、このたびGMOペパボはエンジニア採用を目的に、CEOおよびCTOによるヒップホップユニットPEPABO HEADZを結成し、デビュー曲「採用目的」を発表しました。 本エントリーでは、なぜそんなことをしているのか、その裏側を紹介します。 オリジナル版「採用目的」 2016年初頭、「フリースタイルダンジョン」というテレビ番組を見てそのかっこよさにあてられた私は、「MCあんちぽ」を名乗るワナビーと化していた。日本語ラップに関する文献を読み漁り、自分でもやってみたいという気持ちが高まっていたおり、職務上の悩みであるエンジニア採用をラップでやってみたらいいのでは？と思いつく。 そこに現れたのが@shikakunであった。デザイナーかつ詩人で、トラックおよびフィルムメーカーの彼が突然提供したのが、オリジナル版「採用目的」のトラックであった。 @kentaro 採用目
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ基盤のワークフローエンジンをGoogle Cloud Composer 2へバージョンアップしました - Pepabo Tech Portal