Rust の tonic で gRPC の Richer Error Model を扱う — HACK The Nikkei
この記事は Nikkei Advent Calendar 2023 および Rust Advent Calendar 2023 の 10 日目の記事です. はじめに Wave チームの何でも屋さん 伊東 です. 社内に ito さんがたくさんいるので区別が大変です. 最近嬉しかったことは短期インターンシップ参加者に Haskell 使いが 2 人もいたことです. 弊社にも静的型付け関数型プログラミング言語を普及したいです. さて、弊チームのサービスのバックエンドには gRPC を利用しています. gRPC はクライアント・サーバー間でスキーマ駆動開発をするのに便利なツールですがエラーハンドリングに少し癖があります. gRPC のエラーモデルにはシンプルだが柔軟性に欠ける Standard error model と柔軟だが互換性に欠ける Richer error model があります.
Motivation 年末に購入した Google Pixel Watch 2 であるが、それまで使用していた Apple Watch との違いを特に感じず、モヤモヤしていたのだが、Pixel Watch には Fitbit アプリがデフォルトで入っており、睡眠データなどのヘルスデータや歩数などのアクティビティデータを取得してくれるので、それを使って何かしたいと考えた。 Fitbit アプリや web のダッシュボード(https://www.fitbit.com) では各日のデータを確認できるが、複数日にまたがって一覧でまとめてデータを俯瞰したり、他の記録（e.g. 習慣トラッカーなど）と合わせて記録を残したい場合にはそれがなかなか難しいので、それらを全て Notion に突っ込むことで自分だけの活動記録テーブルを作ろうと考えた。 TL;DR タイトルにあるツール群を用いて、ヘルスデータ
Exploring biphasic programming: a new approach in language design
I’ve noticed a small but interesting trend in the programming languages space. I’m not sure how novel it is, but this pattern, which I’ll refer to as “biphasic programming,” is characterized by languages and frameworks that enable identical syntax to express computations executed in two distinct phases or environments while maintaining consistent behavior (i.e., semantics) across phases. These pha
はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場
今回は Elyza さんの日本語 Llama 2 指示応答モデルをファインチューニングし、vLLM にデプロイして高速に推論してみます。70 億パラメータモデルならギリギリ Tesla T4 x 1 の構成でも float16 で動かせるかと思ったのですが、どうだったでしょうか。vLLM には OpenAI 互換の API インタフェースも備えているので、ついでに LangChain からも接続してみたり。 1. はじめに 今回は Elyza さんが公開されている大規模指示応答言語モデルである、ELYZA-japanese-Llama-2-7b-fast-instruct1 をファインチューニングして vLLM で推論してみます。 そんな訳で今回あまり書くことがなく、動かし方だけサラっと書いて「動きましたー。では良いお年を～。」で締めることにします。 しかし、時代感覚無視の隔月連載でネタを
Google Cloudデータエンジニアのはんざわです。 2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。 これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。 BigQuery release notes： 5月29日 2024 個人的には大きなアップデートだと思うので早速ブログを執筆しています！ どれくらい増えるのか 今回のアップデートでパーティション数の上限が4000から10000に増加しました。 これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。 項目 アップデート前 アップデート後
A problem on your infra can happen anywhere, anytime Gain peace of mind : Solve or alleviate the problem directly from your smartphone
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件 - G-gen Tech Blog
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様 原因 2. Looker Studio のキャッシュが効かなかった 症状 仕様 原因 (推測) 解決方法 シャーディング分割テーブルをパーティション分割テーブルへ統合 データマートテーブルを利用 その他の工夫 クエリ課金の原因となっているレポートの調査 オンデマンド課金に上限を設ける その他のコスト削減手法 やりたかった
dbt x snowflakeで使っていないテーブルとビューを安全に一括で削除する - CARTA TECH BLOG
概要 こんにちは、4月に新卒で株式会社CARTA HOLDINGSに入社し、現在はCARTA MARKETING FIRMのデータエンジニアをやっているharukiです。 私たちのチームでは、dbtとsnowflakeを使ってデータ基盤を構築しています。 データ基盤を使うエンジニアが増え、dbtのモデル数が増えてきたのですが、その中には使わなくなり削除したdbtモデルもありました。 dbtモデルを削除しても、Snowflake上の対応するテーブルやビューは自動的には消えないため、使われないsnowflake上のテーブルやビューが増えて目立つようになってきました。 そこで、dbtモデルとしては削除されているが、snowflake上に残ってしまっているテーブルやビューを一括削除できる処理を考えました。 想定読者 dbtとsnowflakeを使ってデータ基盤を開発している方 この記事を読んでわか
こんにちは。 ピリカ開発チームの伊藤です。 ピリカでは6月1日より、ピリカサポーターズクラブを開始しました。 まだご覧になっていない方はこちらをご覧ください。 corp.pirika.org ピリカサポーターズクラブをはじめるにあたって新しいシステムを構築しました。 ピリカの開発チームのリソースは潤沢ではない中、全く新しいシステムを作るのはとても大きなチャレンジです。 社内からも「開発のリソースが潤沢でないならSNSピリカに注力すべき」という意見はありましたが、開発チームでは単に新しいシステムを作るだけではなく、この開発を「SNSピリカの開発を今後少ないリソースで効率的に進めるために必要な基盤の実験」としても位置付けていました。 この開発を通じて得たことのまとめとして、ピリカサポーターズクラブの構成やデプロイの仕組みをご紹介したいと思います。 SNSピリカの開発で抱えている問題 SNSピリ
Introducing Google’s new Arm-based CPU | Google Cloud Blog
Amin VahdatVP/GM, Machine Learning, Systems, and Cloud AI, Google Cloud At Google, we constantly push the boundaries of computing, exploring what is possible for grand challenges ranging from information retrieval, global video distribution, and of course generative AI. Doing so requires rethinking systems design in deep collaboration with service developers. This rethinking has resulted in our si
さくらインターネットがあったから、学生時代にウェブサイトを作れた。さくらインターネットがあったから、やりたいことができた。そう感じているユーザーは多いのではないだろうか。だが、中年の郷愁にのみ想起されるようなサービスは、いつかレガシーになる。 会社設立から 6年で上場してからも常に変革を求め、時代に寄り添い続けてきたさくらインターネット。いまのリアルな姿を、さくらインターネットの執行役員であり副社長の舘野 正明さんに聞いた。 日本のインターネットを支えるサービスを次々と開発 舘野 正明（たての まさあき）プロフィール さくらインターネット株式会社 副社長 兼 執行役員。茨城県出身。金沢大学経済学部卒業後、味の素株式会社に入社し、国内食品事業を中心に営業を 10年経験。2002年にさくらインターネットに入社し、2004年に執行役員就任。以降、 ほぼすべての事業・サービスに企画担当・事業責任者
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 22 日目の記事です。 皆様、いかがお過ごしでしょうか？ Google Cloud パートナーエンジニアの山中です。 本記事では Google Cloud Next'22 で一般利用（GA）としてアナウンスされました Analytics Hub を用いたデータ共有方法についてご紹介します。 Analytics Hub とは Analytics Hub は組織間でデータを効率よく安全に共有可能とする BigQuery を基盤としたデータシェアリング サービスです。データを共有することに主眼をおいたサービスとなっており、例えばグループ会社間でのデータ共有やオープンデータの公開などのユースケースに適用できます。 Analytics Hubの 仕組み Analytics Hub の仕組みは非常にシ
Nutanix Cloud バイブル Copyright (c) 2024: The Nutanix Cloud Bible and NutanixBible.com, 2024. 本サイトの著者または所有者から書面による許可を受けることなしに、本著作物を無断で使用すること、またはコピーすることを固く禁じます。 本著作物を引用、または本著作物に対するリンクを設定することは許可されますが、 NutanixおよびNutanixBible.comの著作であることを明記し、かつ原著の内容を適切かつ明確に示すよう、該当箇所を提示することを前提とします。 日本語版に関して、誤植や不自然な翻訳など、お気づきの点がございましたら こちらのフォームよりお知らせください。 他言語版はこちらからご覧ください。 For other languages, click the flag icon. 다른 언어는 국기
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 (Discovery) データリネージ データリネージとは BigQuery の自動トラッキング 保持期間 OpenLineage との統合 料金 API コール データリネージ アクセス制御 (IA
GitHub Actionsで第2世代のCloud Functionsをデプロイしてみた | DevelopersIO
毎年この時期になるとブログ上で 栗きんとん （おせちのではない）の話ばかりしていることに気づきましたが今年も栗きんとんの話がしたいです。 栗のポテンシャルを一番活かしたシンプルなのに手間のかかった岐阜（中津川市が有名）の名物お菓子だと私は考えています。本当においしい。 全国のデパートでも買えるところは増えているはずなので、見かけた際は是非買ってみてください。 ▲ 以前も栗きんとんの画像を使ったことがあったようなので別の栗アイコンを探しました こんにちは。データアナリティクス事業本部 インテグレーション部 機械学習チームのShirotaです。 おいしいものをゆっくり楽しむためにも、できる限り仕事は楽にこなしたいものです。「楽」の定義は人によって違うと思いますが、私は「再現性があり」「できるだけ人の手が入らずヒューマンエラーのリスクが少ない」といった作業が実現できれば楽に仕事ができると考えてい
厚生労働省は17日、医療機関の委託で医薬品や医療機器の臨床試験（治験）を行うメディファーマ（東京都港区）で、データ改ざんなどの違反が確認されたと発表した。違反は2012年以降の123件に上る。不正な治験を経て承認された医薬品・医療機器は計25品目あるが、現時点では健康被害などの報告はないという。 【図表】「効果ある、でも使えない」小児がんの治療薬 ドラッグ・ラグ解消へ 情報提供があり、厚労省が8月下旬～9月上旬に医薬品・医療機器法に基づく立ち入り検査を実施、臨床試験の実施基準に関する省令（GCP）違反を確認した。GCP違反での立ち入り検査は初めて。 厚労省によると、対象ではない人を治験に参加させたり、投薬・採血に関するデータを改ざんしたりしていた。治験薬の保管方法の不備の隠蔽（いんぺい）もあった。治験に関わる医療スタッフへのオンライン研修は誰が受けたかわからない状態になっていたという。 厚
Github Actionsによる継続的デリバリーの構築 - SO Technologies 開発者ブログ
CTO室所属の高橋と申します。皆からはニャンさんと呼ばれております。そして私は特に無茶振りはされていません。 さて、developブランチに変更が入ったらdev環境にリリース、mainブランチに変更が入ったら本番環境にリリースを行う仕組み、いわゆる継続的デリバリーを構築しているプロジェクトは多いことと思う。我々のチームではCircle CIで行なっていたが事情があってGithub Actionsに移行することになった。ところがGithub Actionsではdevリリースと本番リリースの手順をどう共通化すればいいのか分からず迷ってしまった。 近年のソフトウェア開発の現場ではCI/CDは当たり前になっているが、もはや当たり前すぎて逆にまとまった情報がネット上にないのかもしれない。であれば得られた知見は共有しておくべきだろう。 結論から言うとジョブの共通化には再利用可能なワークフロー用いるのが
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
OpenTofu正式リリース！GCPやレガシーコード改善も｜Productivity Weekly (2024-01-17号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-01-17 単独号です。 今回が第 139 回目です。過去の記事はこちら。 news 📺 OpenTofu Announces General Availability HashiCorp 社のプロダクト Terraform をフォークした OSS、OpenTofu がついに正式リリースされました 🎉 半年前に HashiCorp が Terraform などの主要 OSS プロダ
導入背景※このレビューではNOT A HOTEL が提供するチャット機能（コンシェルジュプラットフォーム）での事例を紹介します。 前提として、コンシェルジュプラットフォームを実現するためにZendeskとSunshine Conversationsを利用しており、Webhookを経由してリクエストを送っています。 初期段階ではGoを使って開発をしていましたが、CI/CD経由でデプロイするとテストとビルドに15分くらい時間がかかっており、ちょっとした修正の確認がとても大変でした。 また開発環境もGCPに依存していて、コンテナのセットアップが必要だったり、berglasというGCPのシークレットマネージャーを利用したり、インフラのセットアップにTerraformとDockerを利用したりと複雑な状態でした。 Cloudflare Workers利用に至った背景・課題については、下記スライドにも
モダンデータスタック カテゴリ紹介 #3 『Data Modelling and Transformation(データモデリング＆データ変換)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #3 『Data Modelling and Transformation(データモデリング＆データ変換)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 3日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Mo
好きとか嫌いとか投票してる治安の悪い海外サーバーのサイトがありますよね？ ああいうの本当に不毛だと思っていて、存在意義なくなっちゃえばいいのにと思っているんですよ。 何が気に入らないって、好きな人からも嫌いな人からもヘイトを巻き上げて広告で稼ぐビジネスモデルなんですよね。しかもユニーク数が増えるように設計されている。よくできていると思います。 そういうサイトで一番しらけるのって何かって言うと自動投票のスクリプトなんですね。 でも、このサイトはよくできていて、IPアドレスを見つつtorのような公開されているプロキシーサーバのIPは事前に弾いてきます。 なので普通は携帯の電波を切り替えまくるとか、一生懸命プロキシーを探すとかが限度かと思います。 AWSつかいませんか？このサイト、ロボット検知が優れているわけではありません。所詮、みているのはIPアドレスです。 ならば、AWSやGCPの環境をうま
はじめに レビューに対する考え方 参考資料 Google Engineering Practices Documentation 30分でわかるFour Keysの基礎と重要性 DevOps 測定: 仕掛り制限 考え方 レビュイー レビュワー おわりに はじめに テクノロジカルマーケティング部データプラットフォームグループでグループリーダーをしている富士谷です。普段は、データ収集基盤 Livesense Analytics とデータ活用基盤 Livesense Brain の開発を行い、マネジメントもしています。 さて、今回は、データプラットフォームグループの「レビューに対する考え方」をご紹介したいと思います。なお、あらかじめ、お断りしておきたいのですが、リブセンスの開発チームすべてが同様の考え方とは限らず、あくまで、あるチームの一例であることをご了承ください。 本題に入る前に少し背景を説
採択されるプロポーザルを書こう!! - Qiita
良いプロポーザルと悪いプロポーザル 私は去年、PyConJPのプロポーザルの審査員を担当しました。 プロポーザルの審査員とは登壇希望者が提出する登壇内容の予稿、プロポーザルを評価する人のことです。 審査プロセスを理解していないプロポーザルが多く残念でもったいないと感じたため、審査プロセス、審査員の考え方を紹介しつつ審査を通過するプロポーザルの書き方をレクチャーします。 なお、この文章でのプロポーザルとは、『ジェネリクス実装のプロポーザル』のような機能提案の文脈で使われる言葉ではなく、イベントの用語で『Call for Proposal』(応募トークの募集)などの文脈に由来する、イベント登壇の予稿案のことです。1 3つの背景と3要件 プロポーザルを通すには業界にある3つの背景とそこから導き出される3要件を遵守した上でプロポーザルを書くことが必要です。 3つの背景は以下です。 基本的にイベント
【書き起こし】メルコイン決済マイクロサービスのトランザクション管理を支える技術 – Shota Suzuki【Merpay & Mercoin Tech Fest 2023】 | メルカリエンジニアリング
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「メルコイン決済マイクロサービスのトランザクション管理を支える技術」の書き起こしです。 @susho：それでは「メルコイン決済マイクロサービスのトランザクション管理を支える技術」というタイトルで、Merpay Payment Platform Teamの@sushoが発表します。よろしくお願いします。 僕の名前は、Shota Suzukiです。社内では、@sushoというアカウントで活動しています。所属は、株式会社メルペイのバックエンドエンジニアです。20
はじめに アプリケーションモダナイゼーションスペシャリストの関本と申します。 今回は、Google Cloud Japan Advent Calendar の 8 日目の投稿として、アプリケーションモダナイゼーションとあまり関係がない、Workforce Identity Federation についてご紹介します。 TL;DR Workforce Identity Federation を利用すると Cloud Identity を利用せずに他の IdP(Microsoft Entra ID などの外部 ID プロバイダー) の ID で Google Cloud を利用できます。 Workforce Identity Federation とは？ Google Cloud の外部(他のクラウドや Kubernetes など)で実行されているアプリケーションが、Service Accou
ノートPCのSSDを1TBから4TBに取り替える！ 税込み1万円前後のセンチュリー「M.2 NVMe SSDクローンBOX」を使ってお引っ越し【後編】
手持ちのPCのパワーアップ手段の1つとして、内蔵ストレージ（SSD）の換装（取り換え）は有効な手段の1つだ。その手間を軽減する手段の1つとして、「ディスク（SSD）クローンデバイス」の導入がある。 ディスククローンデバイスにはたくさんの選択肢がある。筆者は実売価格1万円前後のセンチュリーの「M.2 NVMe SSDクローンBOX バスパワーUSB10G（CMNV2U10GCP）」をお借りして、実際にSSDの換装に挑もうとした……のだが、諸事情で延び延びになっていた。今回、ようやく時間と準備が整ったので、実際に換装を進めていく。 →前編（本デバイスの概要）
メディア企業でプロダクトセキュリティをやっています。 CISSP/GCIH/GCFR/SANS FOR610, FOR572(Coin holders)/AWS CLF/GCP ACE,PCA,PSE /セキスペ
この記事は「ChromeOS 、 Google Workspace 、そして Android における日本語環境の改善」の続編となります。このたび、細かな字形の使い分けに対応したフォント、IPAmj明朝フォントが ChromeOS の バージョン123 のシステムフォントとして追加されました。このフォントは表示言語を日本語に設定すると有効化されます。また他の改善点についてもご紹介いたします。 ※掲載のスクリーンショットは、2024年3月現在のものとなり、UI等は変更される可能性があります。 1.IPAｍj明朝フォント サポートフォントのポイントIPAmj明朝フォントは、人名の表記等で細かな字形の差異を特別に使い分ける必要のある業務等での活用を想定した、約 6 万字を収録したフォントです。 なぜこのフォントが重要なの？自治体が使用する名前や地名には、システムフォントに含まれていない異体字と呼
生成 AI や Gemini の基本について学べる Generative AI Study Jam 開催のお知らせ
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
AI’s $600B Question
The AI bubble is reaching a tipping point. Navigating what comes next will be essential. In September 2023, I published AI’s $200B Question. The goal of the piece was to ask the question: “Where is all the revenue?” At that time, I noticed a big gap between the revenue expectations implied by the AI infrastructure build-out, and actual revenue growth in the AI ecosystem, which is also a proxy for
クラスメソッドに入社してもうすぐ２年なのでエンジニアとしてどのように働き学んできたかを振り返る | DevelopersIO
はじめに データアナリティクス事業本部ビッグデータチームのyosh-kです。 私は2022年の5月に入社したのでもうすぐクラスメソッド入社して2年になります。この2年でどのようなことをやってきたのかを振り返りつつ、 どのような考えで学習、情報収集しているのかなどを記事にすることで、少しでもお役に立てればと思います。 前提 普段私が活用しているサービス等を紹介させていただきますが、あくまで私個人の意見であることをあらかじめ記載させていただきます。 ２年前の自分の情報も載せておくことで、2年間でどのようなことを学んできたのか比較したいと思います。 エンジニア経験：４年 プログラミング言語： Python(FastAPI): 2.5年, Java: 1年, JavaScript: 1年, HTML: 1年, CSS: １年, C: 3ヶ月, SQL: 2年 データ分析基盤構築: 経験無し クラウ
こんにちはKotaです。 アイルランド在住ソフトウェアエンジニアです。Googleアイルランドに勤めております。 今まで自分がアイルランドへ来た経緯とかは一部の人にしか話してなくて「なんでアイルランドなの？」って聞かれることが多くあったので、この記事を残そうかと思います。だいぶ長くなっちゃいましたが全部読んでくれたらとても喜びます。最後に有料コンテンツとしてオファー額＋αを載せていますので興味がある人は買ってみてください。 リクルーターからの接触(2019/12)2019年12月にリクルーターからの最初のメールが来ました。渋谷オフィスができて、オフィスに人を集めたいから受けないか？とのことでした。学生時代に一度Googleを受けて落ちた経緯があってそのリストを使って連絡してきたそうです。前職には特に不満はなかったですが、最終面接まで行ったら渋谷オフィスのランチが食べられるし、どーせ受からな
はじめまして！ 株式会社primeNumber カスタマーサクセスエンジニアの杉之原と申します。 はじめてのnoteへの投稿です。 私は株式会社primeNumberに2023年5月末に入社しました。 現在5ヶ月ほど経ちまして、この度縁あって入社エントリの記事を書くことになりました。 そこで今回は、Webサービス開発エンジニアからカスタマーサクセスエンジニアに転身した私の目線で、カスタマーサクセスエンジニアについて書きたいと思います。 カスタマーサクセスエンジニアとは私は、trocco®というデータ分析領域のETLツールを提供するSaaSプロダクトのカスタマーサクセスエンジニア（以下、CSE）として、主にお客様の課題解決や技術的なサポート業務をおこなっています。 primeNumberでは、trocco®のプロダクトの特性上エンジニア領域の知識が必要なので、カスタマーサクセス「エンジニア」
１行のコードから社会課題の解決へ、思いを馳せる。READYFORのエンジニアリングの軌跡と展望｜Ryohei Kumagai
はじめにREADYFORでVPoEをしている熊谷です。READYFORアドカレ１日目を担当させていただきます。 今回は、READYFORのエンジニアリング組織について、シリーズAの資金調達後の2019年1月から、シリーズBやCを経て、今日までの約４年間を振り返ろうと思います。これまで多くの取り組みや、数々の失敗など、怒涛の日々を過ごしてきましたが、そのあたりを一度棚卸して整理することで、次の活動にも繋げていけたらと考えています。 また、シリーズA〜Cラウンド程度のスタートアップ企業や同規模のエンジニアリング組織を抱えているエンジニア/マネジメント層の方々へ、何か一つでも参考になる事があれば幸いです。 あと今回、この約４年間の振り返り記事を書こうと考えた理由はもう一つあります。昨今では世界情勢やスタートアップ業界、また生成AIなどテクノロジー界隈などなど、様々な領域で転換点を迎えていると思い
[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化（ビジネス・インテリジェンス・ツールでのレポート作成など）するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ
![[レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b3b596d5f14f08f5d17d2a8dc9e2fa0dc0823d5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Fdata-engineering-study-23_1200x630.jpeg)
https://www.meetup.com/ja-JP/tokyo-dbt-meetup/events/301497854/?isFirstPublish=true こちらのdbt tokyo meetup #9の登壇資料です
Open AIを敢えて使わない、セルフホストなAI Chat Bot(RAG)の意義と作り方 〜スケーラビリティ/コスト最適化のアイデアを添えて〜 - 流沙河鎮
はじめに オープンなモデルの急速な進化 オープンなモデルとは オープンなモデルの活況 オープンなモデルをセルフホストする利点 コスト効率 カスタマイズの自由度 選択肢の多様性 データのプライバシーとセキュリティ チームのケイパビリティ向上 スケーラブルでコスト最適なAI Chat Bot(RAG)の作り方を考える RAGアプローチの構成要素 ベクトル検索とは ベクトル検索の前準備 ベクトル検索の流れ LLMのデプロイ デプロイ方法 必要なスペック End to Endなアプリケーションに仕立てる 環境 使い方 実装上のポイント faiss_index検索時のtop_k intfloat/multilingual-e5-largeでのquery / passageの指定 LLMへのプロンプト 回答のストリーム systemdによるプロセスのデーモン化 スケーラビリティ、コスト最適化のアイデア
はじめに PyAirbyteがリリースされました。(2024/03/16時点ではBeta版なのでご注意を) PyAirbyteはExtractのコネクタ部分をPythonのライブラリとして提供してPandasに格納するという機能を提供しているらしい。 つまり、BigQueryのクライアントと合わせればExtractとLoadの部分を過疎結合にしつつ、スケジューラーでPythonを呼び出すだけのシンプルなData Injest Pipelineを作ることが可能なのでは！？ということで検証します。 個人的に考えるData Injestツールの抱える課題点 FivetranのようなSaaSを使い始める際は規約確認や、契約がとても面倒 Airbyteは契約関連の面倒な部分は無いが、運用工数が大きすぎる worker, sever, temporal, api, dbなどなど(ちゃんと拡張性を考えて
執筆に際して、フィードバックとレビューをしてくださった堤隆道さんに感謝します。 Special thanks to Takamichi Tsutsumi for feedback and review. 1. はじめに 「すべて偉大なものは単純である。」 『音と言葉』・フルトヴェングラー 日本語で書かれた技術系記事の課題 トピックに限らず、日本語で特定の技術に関して検索をかけると、検索結果が英語での検索に比べて圧倒的に少ないことに加えて、検索結果の99%は以下のいずれかに該当することがわかるでしょう。 幅広い読者層を意識するあまり、解説が表面的すぎる 解説自体は詳しいが、数学や技術に偏りすぎていて、読者層が限定される 海外の有名な記事の直訳 検索結果の絶対量については、テクノロジー分野が英語圏を中心として発展してきたことに起因するため、日本語化に至るまでに多少のタイムラグがあるのは仕方がな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCP + Fitbit + Notion でお手軽健康管理 - Qiita
BigQueryのテーブルでパーティション数の上限が増えました | DevelopersIO
RebootX : Your infra in your pocket on AWS, Azure, OnPrem, CleverCloud, GCP, Grafana, OVH, Scaleway | c100k
TerraformとCloud RunとCloud Load BalancingでCI/CDを突き詰めた
1番目に想起されるDXを支えるテック企業へ。さくらインターネットが目指す未来 | さくマガ
Analytics Hub で加速するデータシェアリング
Nutanix Cloudバイブル(日本語版) - NutanixBible.jp
Data Catalogを徹底解説！ - G-gen Tech Blog
治験でデータ改ざんなど違反123件 厚労省、立ち入り検査で判明（朝日新聞デジタル） - Yahoo!ニュース
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
Cloudflare Workers導入でデプロイ時間を大幅改善。リリース頻度も二週に一度→毎日へ。
好きとか嫌いとか投票してるあれなサイトの投票スクリプト｜DWU
レビューの心得 〜あるチームの一例〜 - LIVESENSE ENGINEER BLOG
Workforce Identity Federation を利用する
新卒エンジニア研修2023（セキュリティ）- 日本経済新聞社 | ドクセル
ChromeOS、Android における日本語環境の改善 vol.2 | Google Cloud 公式ブログ
私はこうしてGoogleに入社した（アイルランド編）｜KotaのXにはかけない雑多なこと
ソフトウェアエンジニアからカスタマーサクセスに転身した話｜suginohara
dbt+GCPで実現するPII管理と�一時権限付与の実装
PyAirbyteで始める簡単Data Injest Pipeline
世界一わかりやすいゼロ知識証明 Vol.1: A Gentle Primer on Ethereum