『だいどこログ』は、関東を中心に活動する生協パルシステムが運営しています。 だいどこログの見方 ご意見・ご感想 生協の宅配パルシステム 離乳食レシピ © Palsystem Consumers' Co-operative Union

この記事は 2021/09/16 (木) に行われた WESEEK Tech Conference の内容をまとめたものです。 発表前半部分の 「OpenID Connect に対応した認証基盤を構築した話」 を掲載しております。 既存RailsアプリをSSO化して、本番環境で活用した話【WESEEK Tech Conf #12】 目次 インターネットマルチフィード様紹介 インターネットマルチフィード(株)とは？ MF社では、JPNAP と transix というサービスを提供しております。 JPNAP は IX(Internet eXchange) のサービスで、様々な事業者様にご利用いただいております。 transix は NTT 東・西日本が提供しているフレッツ光の IPv6 IPoE 接続を事業者様向けに提供しているサービスです。 各サービスの詳細な内容については、こちらをご覧くだ

滋賀大学データサイエンス学部（2017） 横浜市立大学データサイエンス学部（2018） 武蔵野大学データサイエンス学部（2019） 長崎大学情報データ科学部（2020） 立正大学データサイエンス学部（2021） ※（）内は設立年度 ただ、個々の大学で公開されているシラバスやカリキュラムを調べてみても、「⁠データエンジニアリング」で独立したような講義はほぼ見つかりません。全体の講義内容を詳しく見ても、データエンジニアリングとして取り扱われるものは先ほどと同様にコンピュータの仕組みとプログラミングの基礎が中心であることが多く、一部でデータベースについて取り上げられているくらいです。 なぜデータエンジニアリング教育が難しいのか このような現状になっている背景を考えてみましょう。それは、データエンジニアリング教育が難しいことにあり、具体的には3つの要因があると考えます。 時間的余裕がない まず、そ

新規事業立ち上げのアンチパターンについて考えてみる。 このアンチパターンは、完全な飛地の新規事業だけではなく、複数プロダクトを経営する中での隣接領域の新規プロダクトの立ち上げのときや、あるセグメントにPMFした状態から次のPMFを探すときも同様のアンチパターンが適用されうる。 ここでのアンチパターンは、1つ目の事業立ち上げ・プロダクト立ち上げで起こることはない。2つ目の事業や2つ目のプロダクトを立ち上げる際に留意する点であり、コンパウンドスタートアップを正しく経営するには必ず頭に入れておきたい内容である。 規模からの逆算と顧客インサイトの軽視新規事業における市場選択のアンチパターンである。 例えば、売上の30%成長を続けるための、計画と現実のギャップを埋めるために新規事業を規模から探してしまうみたいなケースで見られる。 大前提として、市場規模の推定は重要である。実際に事業をやっていると、い

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。 データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 データベース プログラミング システム開発 クラウドサービス データ分析 etc……. 私は多少データエンジニアとして経験を積んできており、業務を行う上で読んで良かったと心から思える本があったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング 本ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。後半はAzure製品について記載されているので、前半のデータエンジニアリングの箇所だけ参考にして下さい

マイクロソフト、初心者向け生成AI学習教材「生成AIアプリケーションの開発を始めるために必要な全知識を学べる12講座」を無償公開 コースの内容には、大規模言語モデル（LLM）がどのように動くかを理解する。「生成 AI と大規模言語モデルの紹介」、ユースケースに適したAIモデルを選択できるようにする「様々なLLMの調査と比較」、プロンプトの構造と使用法の理解のための「プロンプト・エンジニアリングの基礎」、埋め込み技術を利用したデータ検索アプリケーションを構築する「Vector Databasesを利用した検索アプリケーションの構築」、外部APIからデータを取得するためFunction Callingを設定する「Function Callingとの統合」など、入門的な内容から高度なアプリケーションの開発まで多岐にわたるレッスンが用意されています。 レッスン内容は日本語による説明と図で構成 各レ

この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者はembulk-coreにコントリビュートしているわけではないので、間違いなどがあればお気軽にご指摘ください。 今回見ていくcoreの実装自体は、比較的変更が少ないとされる各種プラグインが従うべきインターフェース部分(embulk-spi)から隠蔽されているため、今後この記事の内容が正しくなくなる可能性は容易にあります。 Embulkにはguessやpreviewやresumeといった機能も含まれていますが、今回は単純なembulk r

ritouです。 Digital Identity技術勉強会 #iddance Advent Calendar 2023　の 初日の記事です。 こちら、参加者を募集中です！気軽に参加してみてください！してくれよ！はよ！ なんの話か ちょっと想定以上に反応をいただいたこちらの記事について、ちょっとだけ補足をしたいと思います。 なんの話か詳しく 自分のはてブのコメントをつけたポストにもたくさん反応いただきました。 実際、海外のサービスはメアドをキーにして参照してるところも多く これはサービスのDBのUserテーブルがemailをプライマリキーにしているという話ではありません(が、そう思われた方からDMが来ました)。 最初にパスワード認証やメールでリンクを送信して認証させる仕組みを実装している状態から、ソーシャルログインを実装しようとする際に "email" をキーにした参照をすることがあるんよ

これはなに click数（≒サイト流入数）、cv数、cvrの推移をシンプルにまとめるため、trocco®を使ってSearch ConsoleのデータをGoogle スプレッドシートに転送したときの手順の備忘録です。 自分のために書き残していますが、毎日データインポート・集計やスプレッドシートの調整に追われている人のお役にも立てれば幸いです。 ちょっとまって、trocco®ってなに？ trocco®ってなに？という方のために、かんたんに紹介します。 trocco®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。あらゆるデータの連携・整備・運用を自動化し、スピーディーにデータ活用環境を整備。インサイトを得やすい状況に導きます。 引用元: trocco®製品サイトより 「データエンジニアやデ

Slack Bot開発の右腕に！Google Apps ScriptでBotの投稿削除フォームを作成するGoogleAppsScriptSlackslack-api はじめに SlackでBotの開発をしようとしていると、どうにもめんどくさいことがありますよね。それは何かというと、Botの投稿を簡単に削除できないということです。Botの開発はテスト投稿をしながら進めていきますが、残っていて欲しい投稿と、消してしまいたい投稿が混ざっていって、とはいえ不要なものを削除しようとすると地味に労力がかかるという・・・。 そんな思いをしているあなたに、大変便利なものを作成しました。それが今回紹介する、Google Apps ScriptのWebアプリを活用した、Botの投稿削除フォームです。SlackのBot開発を進めているあなたの右腕として、ぜひ活用してみてください。 こんな方におすすめ Slack

OpenTelemetry Meetup 2023-10 https://opentelemetry.connpass.com/event/296353/

// props を持たないファイル名と同名のコンポーネント export default function Sub(props: {name: string}) { return <h1 className="flex"> <button className="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded"> Click {props.name} </button> </h1> } // ここが render される export const __PREVIEW__ = () => { return <Sub name="dummy" /> } 他にも .svelte や .html にも対応してる。対応パターンは以下。 注意点として、 dynamic import が絡むとプレビューに失敗する。

【primeNumber CIOインタビュー】データ活用を初めの一歩から応用まで一気通貫で支援し、データドリブン経営を加速させる。 こんにちは！primeNumber採用担当です。 当社は、データ分析基盤の総合支援サービス「trocco®」の開発・運営事業と、データテクノロジー領域の課題解決を実現するコンサルティング・エンジニアリングサービスの提供を通じて、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。 そんな私たちが、顧客に対してどんな価値を提供しているのか。また、どのようなメンバーが価値を発揮しているのか、CIO(Chief Integration Officer)の山本 健太に聞きました。 当社のビジネスの強みや、働く魅力が詰まっているインタビューです。データエンジニアリング領域で価値ある仕事をしたいと考えている方は、ぜひ最後までお読みください！ 株式会

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な

【ユーザーインタビュー】3万本のCMデータ分析を高速化。trocco®はビジネスをスケールさせる！ノバセル株式会社さま こんにちは！primeNumber採用担当です。primeNumberは、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。 データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築することでデータ活⽤までのプロセスを最適化し、世界中のビジネスを⽀援しています。 今回はデータ分析基盤構築を支援するプロダクトtrocco®のユーザーであるノバセル株式会社の山中さまに、ビジネスの現場でprimeNumberのプロダクトやソリューションが、どのように役立っているのかをお話しいただきました。 データエンジニアリングを通じて、世の中に価値を提供したいと考えている方にぜひ読んでいただきたいインタビューです。 ノバセル株式会社 システム

Google Apps Scriptでデータを組織に流通させる：②Looker StudioのダッシュボードキャプチャをSlackに投稿するGoogleAppsScriptSlackLookerStudio はじめに せっかくダッシュボードを作ったものの見に行くのが面倒で、だんだん使わなくなるというのは意外とよくあることです。これを防ぐための一つの施策として、ダッシュボード化している情報の一部をコミュニケーションツールに流し込むというのがあります。データの方にいくのが面倒なのであれば、データに来てもらえばよいのです。 今回は、そのための方法として、 ①BigQueryにクエリを叩いてSlackに投稿する（前回の記事） ②Looker StudioのダッシュボードキャプチャをSlackに投稿する（今回の記事） の2種類を2回に分けて説明します。 これができると、 シンプルなKPIの把握や、リ

こんにちは。SWEの中村（@mnmandahalf）です。 最近サービス稼働中にDDLを適用するタイミングで初遭遇したMySQLのエラーについて皆様にご紹介したいと思います。 エラーの内容と発生条件（概要） ① トランザクション分離レベル transaction-isolation が REPEATABLE-READ である ② セッションAのトランザクション内でテーブルt1をメタデータロックしないテーブルt2へのSQLを実行 ③ セッションBがテーブルt1に対して特定のDDLを実行 ④ セッションAがテーブルt1を参照すると ERROR 1412 (HY000): Table definition has changed, please retry transaction というエラーが発生し、セッションAのトランザクションがロールバックする ※なお、テーブルt2がテーブルt1への外部キ

はじめに 若干釣りっぽいタイトルで恐縮です🙇‍♂️ 画像についてあまり詳しくない現職データエンジニアが、単騎で画像コンペに突っ込んでいき、どのようなプロセスでメダルを獲得するに至ったの？を共有する記事となっております。 画像コンペの進め方がわからない人間がどのようにして進めていったのかを共有することで、これからコンペに参加してみたいな〜と思っている方へのモチベーション向上・後押しになれば良いなと考えております。 細かいアーキテクチャや使った手法、ツールについてはあまり言及できていないと思います！ライトに読んでいただくことを目的としたいので予めご了承くださいまし。 書いている人間のステータスについて 現職データエンジニア（BigQueryが友達） 統計検定２級を取っているため、数式を見てもアレルギーは出ない 仕事で画像をはじめとした非構造データを扱うことは少ない 最近文章系はちょっと増えた

この記事は裏freee developers Advent Calendar 2018の21日目の記事です。 freee株式会社でプロダクト基盤本部本部長をしています浅羽と申します。プロダクト基盤は文字通りプロダクトの基盤を作っており、SRE、分析基盤、アカウントアグリゲーション基盤を作っているチームになっています。コードを書く時間を減らして組織づくりにフォーカスしていますが、とはいえサービスを良くするためには技術も素振りする必要があると思っています。ということで、組織的な話ではなく技術的な話を書こうと思います。 サービスを運営しているとデータベースがだんだん大きくなってきて、RDBMSの性能がスローダウンするような場面があると思います。その引き金としてクエリが遅くなったり、大きめのテーブルに対してADD COLUMNをしてしまうなどがありえそうでしょうか。freeeではRDMBSはMyS