civitaspoのブックマーク (5,412)

  • Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間 - LayerX エンジニアブログ

    こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか?キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います。先週は『Don’t Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介しました

    Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間 - LayerX エンジニアブログ
    civitaspo
    civitaspo 2024/07/12
    SnowflakeとAmazon Data Firehoseのインテグレーションを良い感じにする記事を書きました!
  • Don’t Use Passwords in Your Snowflake Account - LayerX エンジニアブログ

    こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。最近、仕事で使用するPCを新調したのですが、Nixとhome-managerを使って環境構築していたおかげで、爆速で環境移管が完了しました。MacOSのセットアップをする場合は、nix-darwinというnix moduleを使うのですが、MacOSのdefaultsコマンドを使用して変更するパラメータ(たとえばInitialKeyRepeatやKeyRepeatなど)も宣言的に書けるので便利です。PAMの設定を変更してsudo実行時にTouch IDを使えるようにする設定もあったりします。非常に便利なので是非試してみてください! さて、記事のタイトルである「Don’t Use Passwords in Your Snowflake Account」は、先月開催されたSnowflake Data C

    Don’t Use Passwords in Your Snowflake Account - LayerX エンジニアブログ
    civitaspo
    civitaspo 2024/07/05
    Snowflakeでパスワードを禁止する設定について書いてみました!
  • データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ

    はじめに こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。 弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や

    データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
    civitaspo
    civitaspo 2024/06/24
  • 現地参加して良かった!Snowflake Data Cloud Summit 2024! - LayerX エンジニアブログ

    こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは? Snowflake Data Cloud Summit 2024(以下、Summit)は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日からは250人が

    現地参加して良かった!Snowflake Data Cloud Summit 2024! - LayerX エンジニアブログ
    civitaspo
    civitaspo 2024/06/13
  • SnowflakeでMicrosoft Entra IDによるSingle Sign-On及びSCIMプロビジョニングを有効化する - LayerX エンジニアブログ

    こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。僕は定期的にエディタを変えるのですが、最近CursorからNeovimに移行しました。LazyVimを使ってセットアップするとシュッと使いやすい環境ができあがったので、Neovimのコミュニティ・エコシステムは素晴らしいなと感動してしまいました。Javaも普通にNeovimで書けちゃう。 さて、弊社ではSnowflake導入に向けた大規模な検証を進めています。これまで弊社ではデータウェアハウスソリューションとしてGoogle CloudのBigQueryを利用してきました。もちろんBigQueryも素晴らしいソリューションの一つですが、弊社のサービス提供環境がAWSであるという都合上、Snowflakeとは親和性が高く、またSnowflakeはBigQueryとは異なる素晴らしい機能を持ち合わせている

    SnowflakeでMicrosoft Entra IDによるSingle Sign-On及びSCIMプロビジョニングを有効化する - LayerX エンジニアブログ
    civitaspo
    civitaspo 2024/04/26
  • re:Invent2023 で登場した AWS Backup Restore testing でリストア検証を手軽に始める #LayerXテックアドカレ - LayerX エンジニアブログ

    こんにちは!バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。今期の呪術廻戦のアニメは原作にない描写が描かれてて最高でした。 この記事は LayerXテックアドカレ 49日目の記事です。前日は id:watau_lx さんによる 継続的なパフォーマンス改善のプロセスを紹介します でした。明日は kakeruさんが担当します。この記事では AWS の学習型カンファレンスである、re:Invnent 2023 で登場した AWS Backup Restore testing を検証した内容をまとめていきます。なお、re:Invent 2023 でのアップデートや新サービスをさらえる AWS re:Invent 2023速報 の資料と動画をもしチェックされてない方がいたら年末年始のタイミングでチェックしてみてください🔎

    re:Invent2023 で登場した AWS Backup Restore testing でリストア検証を手軽に始める #LayerXテックアドカレ - LayerX エンジニアブログ
    civitaspo
    civitaspo 2023/12/30
  • バクラクの爆速開発を支えるDevOpsチームの「のびしろ」! #のびしろウィーク - LayerX エンジニアブログ

    こんにちは!バクラク事業部DevOpsチームです。 この記事は LayerXテックアドカレ2023 の37日目の記事です、前回はid:kikuchyさんが『歳末!バクラク申請・経費精算モバイルアプリ のびしろ大放出祭 』という記事を書いてくれました。また、38日目はid:suguruが『バクラク Enabling Team の課題とのびしろ #のびしろウィーク』を書いてくださいました! 今回はのびしろウィークということで、バクラクのDevOpsチームの伸びしろをお伝えできればと思います! のびしろウィークとは のびしろウィークとは、LayerXの各チームメンバーが自分たちのチームの「のびしろ」について対外的に発信する期間です! 過去の対外的な発信では社内でうまく行った事例などについては各種発信していましたが、どういう課題があってどういった方の協力を求めているかについての発信はあまり行なって

    バクラクの爆速開発を支えるDevOpsチームの「のびしろ」! #のびしろウィーク - LayerX エンジニアブログ
    civitaspo
    civitaspo 2023/12/27
    かきました!
  • DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ

    こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。 この記事は、LayerXテックアドカレ2023の7日目の記事です。 昨日は@yuya-takeyamaが「Microsoft Graph API へのキーレス認証 (GitHub Actions編)」を書いてくれました。 次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Dat

    DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ
    civitaspo
    civitaspo 2023/11/10
    DynamoDB Incremental Exportの仕様について詳しく調べてみました!!!
  • 何問わかるかな?AWS FireLens(Fluent Bit利用版)クイズ!!! - LayerX エンジニアブログ

    こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていますか?弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。 AWS FireLe

    何問わかるかな?AWS FireLens(Fluent Bit利用版)クイズ!!! - LayerX エンジニアブログ
    civitaspo
    civitaspo 2023/07/25
    書きました!
  • プロダクトとは願い - LayerX エンジニアブログ

    この記事はLayerX Tech Advent Calendar 2022の25日目の記事です! LayerXの mosaと申します!もう2022年も終わりですね、お疲れさまでした! LayerXには複数の事業部がありますが、僕は「バクラク」という、ハタラクをバクラクにするためのSaaSを開発しています。今年はバクラク経費精算、バクラクビジネスカードがリリースされたり、Machine Learningのチームが格的に立ち上がったり、開発生産性を高めるEnabling teamが発足したりと、沢山のことがありました。 僕はポジションでいうと「事業部CTO/CPO」という名前でして、プロダクトや開発組織全体を見つつも、特に新しいプロダクトをゴリゴリ前線で開発する立ち回りをしています。 この記事では、新規プロダクトを立ち上げていくなかで、特に悩みが多かった話を書いていきます。 バクラクの開発に

    プロダクトとは願い - LayerX エンジニアブログ
    civitaspo
    civitaspo 2022/12/25
    願い…っ!!!!
  • ZOZO開発組織の2022年の振り返りと現状

    株式会社ZOZO 技術部長 兼 VPoEの @sonots です。この記事は「ZOZO Advent Calendar 2022」のカレンダー1の最終回(25日目)です。 振り返ると2022年は、昨年度の記事でも最後に「会社の統合、そして BizDevOps へ」と掲げているようにビジネス部門と開発部門が融合しやすい下地となる組織を作るべく邁進した1年だったように感じます。私個人としても、2022年3月に執行役員(前ZOZOテクノロジーズ社長)の久保田が退任し、VPoEとしてエンジニア部門統括の役割を引き継いだ大きな変化のあった1年でした。 この記事では、ZOZOで私と組織がこの一年、組織面で取り組んできたものをいくつか取り上げたいと思います。プロダクト面の進歩については「ZOZO ファッションテックハイライト 2022」の記事にまとまっていますので、そちらも合わせてご覧ください。

    ZOZO開発組織の2022年の振り返りと現状
    civitaspo
    civitaspo 2022/12/25
    あと2年でReplace完了…!!!!
  • GraphQL で REST API を作る - 技術的な挑戦と、それを支える文化の話 - LayerX エンジニアブログ

    バクラク事業部の Product Enabling Team でソフトウェアエンジニアをしている @izumin5210 です。 この記事は LayerXアドベントカレンダー(概念) の54日目の記事です。 バクラクのリソースを提供する REST API を開発するにあたり、その基盤を GraphQL をベースに実装する、ということをしました。 なかなかにチャレンジングな選定であり、これを入社してすぐ作っているという背景も含めておもしろい話だと思うので、技術的な話と文化的な話をあわせて紹介させてください。 「GraphQL で REST API を作る」とは? まず「GraphQL で REST API を作る」というのが見慣れない文字列なのではないでしょうか? 前提を揃えるために目指す形を明確にしておくと、だいたい以下のようなものです。 外から見た API は REST に従っており、H

    GraphQL で REST API を作る - 技術的な挑戦と、それを支える文化の話 - LayerX エンジニアブログ
    civitaspo
    civitaspo 2022/12/21
  • GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ

    この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか?便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは? GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した

    GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
    civitaspo
    civitaspo 2022/12/21
    Amazon EventbridgeでCloud Pub/SubのPush Subscriptionを実現する話を書きました!めっちゃ便利!
  • LayerX、最先端のプライバシー保護技術Anonify(アノニファイ)によるパーソナルデータ活用ソリューションの正式提供を開始

    金融や医療、行政等の領域で、PrivacyTechによる組織や企業を横断したパーソナルデータの利活用や流通を促進 経済活動のデジタル化を推進する株式会社LayerXは、個人情報保護とデータ利活用の両立を実現する最先端のプライバシー保護技術「Anonify(アノニファイ)」を用いたパーソナルデータ活用ソリューションの正式提供を開始します。 LayerXは創業期から研究開発部門(旧LayerX Labs)を設置し、セキュリティ・プライバシー保護技術の研究開発や実証実験等の取り組みを進めてきました。 今般、PrivacyTech事業に格参入し、これまでプライバシーの懸念からパーソナルデータ活用が進みづらかった金融や医療、行政等を始めとする様々な領域において、高度なデータ利活用やデータ流通の促進に向けた取り組みを加速していきます。 ■ 背景 昨今、位置情報やヘルスケアデータ、決済情報をはじめとす

    LayerX、最先端のプライバシー保護技術Anonify(アノニファイ)によるパーソナルデータ活用ソリューションの正式提供を開始
    civitaspo
    civitaspo 2022/06/21
  • ホラクラシー運用とそれを支えるグループ同期

    Ubie Discoveryの @itkq です。 Ubie Discoveryではホラクラシー組織を採用しています。ホラクラシーの概略や採用した経緯は以下の記事を参照してください。 この記事では、実際のホラクラシーの運用と工夫について紹介します。 Holaspirit Ubie Discoveryでは、ホラクラシー運用のためHolaspiritというSaaSを利用しています。GoogleをプロバイダとしたSAML SSOを有効化しています。基機能は以下のとおりです。 サークルやロールの管理 タスクやプロジェクトの管理 会議体(タクティカルミーティング・ガバナンスミーティング)の実施と進行 Holaspiritを活用した工夫 基機能の利用だけでなく、他に工夫している点があります。 会議体をGoogleカレンダーで設定し、サークルまたはロールメンバーを招待する ホラクラシーでは、ロールを

    ホラクラシー運用とそれを支えるグループ同期
    civitaspo
    civitaspo 2022/02/16
  • GitHubの運用を「会社」にしていく話

    Ubie DiscoveryでSREなどをしている@itkqです。 UbieではGitホスティングにgithub.comを使っています。プロダクト開発に必要なprivateなコードベースはもちろん、OSSや就業規則といったドキュメントをpublicにホストしたりもしています。また、この記事を書いている時点で、メインのOrganizationのメンバーは121名です。 自分が入社したのは一年前(2021年1月)で、まだ情報システム専任の人がいませんでした。それから今に至るまで、GitHubの運用を「会社」にしていく話を書きます。 一年前のGitHubの運用 当時、UbieのOrganizationに所属していた人数は、業務委託含め80〜90名ぐらいで、Businessプランを利用していました。私はSREとして入社しましたが、情報システム専任の人がおらず、SREをはじめとする何名かのメンバーが

    GitHubの運用を「会社」にしていく話
    civitaspo
    civitaspo 2022/02/05
  • ZOZOからUbie Discoveryに転職しました|civitaspo

    2021年12月をもってZOZOを退職してUbie Discoveryに転職しました。この記事では転職に至る意思決定や入社後の感想を書きます。 自己紹介こんにちは。中山貴博といいます。インターネット上では@civitaspoというIDで活動しています。職種的にはエンジニアで、技術領域的にはDE(データエンジニアリング)やMLOps、SREを主戦場にして戦ってきました。DeNA -> Gunosy -> ZOZOと歩んできて、Ubie Discoveryで4社目です。Ubie DiscoveryではSREやDE、Product Securityを戦場にして戦っていきます。福岡在住のリモートワーカーで、二児の父でもあります。 ZOZOでの思い出ZOZOには2020年6月に入社し1年半在籍していました。ZOZOで目標としていたのは「キャリアの方向をマネジメント職からスペシャリスト型の技術職方面へ

    ZOZOからUbie Discoveryに転職しました|civitaspo
    civitaspo
    civitaspo 2022/01/27
  • TechCrunch

    To give AI-focused women academics and others their well-deserved — and overdue — time in the spotlight, TechCrunch is launching a series of interviews focusing on remarkable women who’ve contr

    TechCrunch
    civitaspo
    civitaspo 2022/01/26
  • Ubie Discovery における組織開発をソフトウェア開発的に理解する

    TL;DR 組織開発の中でも特に組織構造を最適にするという点に注目する 変化が早いスタートアップ企業では、問題に対する解像度が高く課題感を感じている人が組織構造を変更できる仕組みがあると不確実性の変化への対応力が高まる Ubie Discovery での組織開発は、組織をコードベースに見立てて PR を送りそれを反映することで改善していくものと考えると理解しやすい Ubie Discovery ではみんな(これは正確には全員ではないので後で説明する)プロダクト開発もやるし組織開発もやると聞くけど、組織開発というのは何をどうやっているか具体的にイメージが湧かない、という話をカジュアル面談などでよくされる。 仮に自分が社外の人だったとしたらという観点で Web 上で情報を調べてみると、概念と大枠を理解できる記事として Holacracy の記事 https://note.com/ubie/n/

    Ubie Discovery における組織開発をソフトウェア開発的に理解する
    civitaspo
    civitaspo 2022/01/04
  • 2021年 Ubieでやったこと(採用,型化,オンボーディング,組織の色々)|sonopy@Ubie

    こんにちは、Ubie Discovery の sonopy です。 社のエンジニア達が2021年を振り返るブログを書いていていいなと思ったので自分も書いてみる。当はほかに仕事で書かないといけないnoteがあり自分を振り返っている場合ではないが、試験前に部屋を掃除したい欲求に抗えないタイプのダメ人間なのですみません。 自分の記録目的で書くが、Ubieの組織に興味がある人などは少しイメージが湧いて良いかもしれない。 Ubie DiscoveryはOKRを活動の軸として四半期単位で動いているので、一年間のOKRを見ながら振り返った。というかOKRを見ないと何も思い出せなかった。 なお、多少なり携わったことを並べたが、全ての仕事はチームでやっており自分だけの力でやったことなど一つもないし、個人的な成果を主張する目的で書いたものではないことを申し添えておきたい。 まずは1〜3月から。 1〜3月のテ

    2021年 Ubieでやったこと(採用,型化,オンボーディング,組織の色々)|sonopy@Ubie
    civitaspo
    civitaspo 2022/01/02