こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト＆シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 ECS、Fargate ファイルサーバーのマネージドサービス FSx for Windows File Server オブジェクトストレージ S3 サーバーレス実行環境 Lambda ファンクション デ
クラウド認定資格の活用方法を解説！うまいキャリア形成にはクラウド資格を取得する ARC100 #GoogleCloudNext | DevelopersIO
セッション内容 概要 Google Cloudの学習プログラム、認定資格、スキルバッジに関する情報をディスカッション形式で行うセッションでした。 セッションで重点的に語られたのは、Google Cloud認定資格とスキルバッジがいかに専門知識を証明し、個人のキャリア展望を広げ、今日のクラウドとAIテクノロジーの現場に活かすチャンスを与えてくれるかというものでした。 よって、いかに効率よく認定資格を取得し、それを活かしていくか？に焦点を当てた内容であったとも言えます。 登壇者の方々は、クラウド資格の取得に関する個人的な体験談やアドバイスを紹介し、継続的な学習、コミュニティサポートの活用、ソーシャルメディアやネットワーキングを通じたスキルの紹介などの利点を強く話されていました。 クラウド資格の価値 Google Cloud 認定資格は、5年連続で業界内で最も給与の⾼いIT認定資格の上位にランク
ガバメントクラウドGCAS移行に備えAWS IAM Identity Centerを理解する - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 仕事柄デジタル庁のホームぺージを見る機会が多いのですが、個人的な所感でレイアウトがシンプルで見やすいうえに先進的・未来的でカッコいいなと思っていました。文字フォントはオープンソース書体であるGoogle Noto Sans なのだそうです。Apache License 2.0 のライセンスルールのもと無償利用・再配布が認められているとのことで、弊社BLOGでも安心して表記することが出来るんですね。 www.digital.go.jp 本BLOGは 令和6年度ガバメントクラウド早期移行団体検証事業 から移行検証となった GCAS についてと、その認証統合に利用する AWS IAM Identity Center について自分の理解を整理したくまとめた内容となります。デジタル庁の資料にもキーワードとし
こんにちは。株式会社メルペイのSolutionsチームのデータエンジニアの@orfeonです。 この記事は、Merpay Advent Calendar 2023 の22日目の記事です。 Solutionsチームは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 私は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 過去の記事では全文検索OSSであるApache SolrをCloud Run上で利用して手軽に検索APIを構築する構成を紹介しました。 社内向けのソリューションの一つとして社内向けの検索APIを使ったサービスなど小規模な検索システムの構成に役立てています。 前回の記事の時点では、検索対象として搭載できるデータサイズなどにいくつかの制約がありました。 今回
Terraformを使って、GCP上にプロジェクトを作成していきます。今回はCloudRunとCloudSQLをPrivateIP接続する構成を作成します。Private IP接続のために、VPCにはServerless VPC Access ConnectorとPrivate Service Accessを設定します。
株式会社パルケの悩めるCTO、みつるです パルケでこれまでリリースしたプロダクトは、Render.comというクラウドベンダー上に構築しました。 Render.comは、2022年の頭頃からTwitterなどのSNSで名前を目にするようになりました。 半年ほど前から実際に運用してみたところ、他のサービスへの乗り換えが考えられないぐらい素敵が溢れていました。 私は悩めるCTOなのですが、Render.comのおかげで、クラウドサービスについてほとんど悩む必要がありません。 この記事でRender.comの素敵さが少しでも伝われば幸いです。 Render.comとは何なのか 公式より（意訳） Rnder.comは、あなたのアプリやウェブサイトをビルド・実行する統合クラウドサービスです。無料のTLS認証、グローバルなCDN、DDoS防御、プライベートネットワーク、Gitからの自動デプロイが利用で
2023年にVisual Regression Testingを始めるならどんな選択肢があるか | ログラス Productチーム アドベントカレンダー 2022
本記事は「株式会社ログラス Product チーム Advent Calendar 2022」12 日目の記事です。はじめにフロントエンドのテスト手法の 1 つに Visual Regression Testing（以下、VRT）があります。 これは、アプリケーションの画面を画像として保存し、画像の差分比較をすることで意図せぬ変更が生じていないかテストする方法です。 ここ数年で広く普及し、用語としても一般的になったように思います。 私も以前、とある OSS に reg-suit & Storycap を使った VRT を導入したことがあるのですが、その後もいくつか VRT のためのライブラリが登場したもののキャッチアップできていませんでした。 そこで今回は知識のアップデートを目的として、ここ最近登場した（と思われる）VRT のライブラリをいくつかご紹介します。 なお、今回紹介するツールはす
計算基盤チームの仕事紹介 - Preferred Networks Research & Development
Preferred Networks 計算基盤担当VPの土井です。 ちょっと最近ばたばたしていて、あまり何をやっているか紹介できていませんでした。その結果「PFNって何やってるの?」と聞かれてなかなかお答えできない。またPFNで計算機をやっているといってもピンとこない、というお話も増えてきました。先日のJANOGに行ったメンバーからも、PFNが何をしているのかイマイチ知られていないと聞いて、冷や汗を流しております。 なので、チーム的に露出に力を入れることにしました。今後blogを、あるいはネタによってはQiitaなども含めて、シリーズ的に書いていければと思います。まずは、土井が担当している計算基盤領域およびその周辺について概観する記事を書かせて頂こうと思います。 端的に言うと、PFNはあまりオンプレインフラのイメージがないかもしれませんが、上から下までかなりがっつりやっていますし、こんな場
【速報】Google Cloud NextでGemini in BigQueryが追加されました | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 ラスベガスで開催中のGoogle CLoud Next '24でGemini in BigQueryがプレビューとして追加されました。 本記事では、Google Cloud Blogの内容を要約しつつ、公式ドキュメントの内容も簡単に紹介したいと思います。 Google Cloud Blogの情報 Google Cloud Blogによると、Gemini in BigQueryには新しくデータキャンバス機能が追加され、自然言語のサポートと埋め込まれたビジュアライゼーションによる新たなノートブック機能を提供するようです。 以下は公式のブログでも取り上げられているGemini in BigQueryのデモンストレーション動画の一部を切り抜いた画像です。 (実際の動画を確認したい方は是非、参考元にある公式のブログを確認してみてください) 参
G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 BigQuery コストを調べる 料金削減の基本方針 Looker Studio のキャッシュ機能 コンポーネントキャッシュ（造語） 抽出されたデータソース BigQuery のキャッシュ機能 BigQuery のストレージキャッシュ マテリアライズドビュー BI Engine キャッシュ以外の手法 BigQuery Editions パーティショニングとクラスタリング 事前集計とカラム設計 補足 : Looker Studio から BigQuery のパーティションは有効なのか 補足 : API 上限設定 はじめに Looker Studio とは Google Cloud が提供する BI
こんにちは、SlalomのD&Aチームに所属するRyoです。LinkedInプロフィール 昨年から弊社のMLチームでは、技術研鑽を目的としてLLMに関する勉強会などを行っています。それに関連して、今年から自分自身が興味のある分野(AI/MLだけでなく)を少しずつ記事としてアウトプットしていこうと思い、本取り組みを始めました。 記念すべき第1回目は、GCP上でGeminiを用いてMulti-Modal RAGを構築した事について書いていきます。 対象読者 ・本記事は、GCPでGeminiを使ってMulti-Modal RAGを動かしてみたいな。という読者向けに書きましたので、アカデミックな内容やOps周り、本番レベルの実装を想定している方は、本記事をスキップしてください。 紹介する内容 ・今回紹介する内容は、昨年末にGoogleからGeminiの利用が可能となったので、GCP上でGemini
【連載45】国内発のパブリッククラウドを開発する、さくらインターネット社の長野氏が語る「インターネットの力で社会を良くしていきたい想い」とは - TECH Street (テックストリート)
こんにちは！TECH Street編集部です。 連載企画「ストリートインタビュー」の第45弾をお届けします。 「ストリートインタビュー」とは TECH Streetコミュニティメンバーが“今、気になるヒト”をリレー形式でつなぐインタビュー企画です。 企画ルール： ・インタビュー対象には必ず次のインタビュー対象を指定していただきます。 ・指定するインタビュー対象は以下の2つの条件のうちどちらかを満たしている方です。 “今気になるヒト”吉野さんからのバトンを受け取ったのは、さくらインターネット株式会社の長野 雅広さん。 ご紹介いただいた吉野様より「長野 雅広 さんを紹介したいと思います。私が新卒でMIXIに入った時の先輩の一人で多くのことを学ばせていただきました。MIXIだけではなく多くの会社で活躍してきた方です。」とご推薦のお言葉をいただいております。 長野 雅広 さん さくらインターネット
メディア企業でプロダクトセキュリティをやっています。 CISSP/GCIH/GCFR/SANS FOR610, FOR572(Coin holders)/AWS CLF/GCP ACE,PCA,PSE /セキスペ
こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事はEnigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのようなディレクトリ構成を採用したか説明していこうと思います。 データ基盤をこれからTerraform化しようとしている方に有益な情報となれば幸いです。 目次 背景 ディレクトリ構成 構成の説明 各ディレクトリの役割 stateファイルの分割粒度 工夫したポイント 環境差分の切り出し BigQueryのリソースはyamlで管理 今後の展望 最後に 背景 弊社のデータ基盤はGCP上にあり、BigQueryをはじめとした様々なサービスを活用
【前提条件】 ・ リージョンは、東京リージョン(asia-northeast1)を利用しています。 ・ オーナーでもなく、プライベートログ閲覧者のロールも付与されていないユーザを利用します。 ・ BigQueryのSQLクエリは、すでに実行された状態とします。 実施手順 Cloud IAMでロール追加 Cloud Loggingでログ確認 1. Cloud IAMでロール追加 GCPコンソールにログインし、[IAMと管理] > [IAM]を開きます。 権限付与するユーザを編集します。 [別のロールを追加]ボタンを押し、[Logging] > [プライベートログ閲覧者]を選択します。 [保存]します。 2. Cloud Loggingでログ確認 [ロギング] > [ログ エクスプローラ]を開きます。 正しくロールが付与されているとクエリ結果に出力されたログが表示されます。 上部のクエリのプレ
【AWS】【GCP】GCEにSSM Agentをインストールし、AWS Systems Managerからログインしてみました - Qiita
【AWS】【GCP】GCEにSSM Agentをインストールし、AWS Systems ManagerからログインしてみましたAWSgceSSMSystemsManagerGoogleCloud 前書 AWSのSystems Managerのセッションマネージャー機能はあまりにも便利すぎで、個人的にはそのサービスが大好きです！！ SSM Agentさえサーバー内にインストールしておけば、アウトバウンド通信がAWS側のSystems Managerとの疎通がさえできていれば、Systems Manager機能がフル活用することができます。 なので、GCP側のGCEにSSM Agentをインストールし、AWSのSystems Managerのセッションマネージャー機能から利用してみました！ １．AWS側でアクティベーション作成 まず、Systems Mangaer側にSystems Manag
コトの発端 実現したい分析基盤 Rettyの分析基盤 dbtにまとめて、こうしたい dataformでやっていたこと 使ったdbtの機能は、incrimental modelのThe insert_overwrite strategy 実際にやったコト merge intoで指定する任意のパーティション設定 incremental modelのinsert_overwriteの設定 incremental時のwhere句 感想 サンプル コード 挙動 N日に実行 N+1日に実行 この記事Retty Advent Calendar 2023 - Adventarの24日目の記事です。 2023年4月に入社した土田です。 コトの発端 こんなメールが来た。 半年後にdeprecated。まじか。 実現したい分析基盤 前述の通りRettyではdataformを使って、DWH内の物理テーブルを更新し
そのためストリーミング処理をしてニアリアルタイム処理するといったものはそもそも要件として存在しないため、バッチで安定的にデータの取り込みを行い、クエリ時の負荷を下げるためにデータの取り込み時に重複排除をする仕組みを構築しました。その概要が以下の図です。 ファイルからデータ連携されたデータを重複ありの状態で受付け、1 時間に 1 回重複排除したデータを行動ログテーブルにマージする、というのが大まかな手法の説明です。このコンポーネントは atlas-consumer-s3 と呼ばれます。 2. 旧来の仕組みの課題 上記の仕組みで大きな障害も発生せずに運用できていましたが、以下のような課題を抱えていました。 2-1. 原因不明の不具合によりデプロイ時に Kinesis からの 1 日分の読み直し作業が発生する 2-2. 新規カラム追加の実装/作業が煩雑 2-3. データの整合性の検証が不十分 2
AWS Aurora から Datastream を使って BigQuery にデータをレプリケーションした話 - Adwaysエンジニアブログ
どうも〜、お久しぶりです。 エージェンシー事業のエンジニアチームでユニットマネージャーをしていますぬまちゃんです！ エンジニアブログを書くのは新卒以来なので、４年ほどぶりってところです。 あの頃はエンジニアリングメインでしたが、今はマネジメント業務も行うようになり、「成長したなあ」「あっという間だったなあ」と感じる今日この頃です。 マネージャーとして奮起しているぬまちゃんが久しぶりに新しいことに挑戦したので、そのことを伝えていこうと思います。 背景 やったこと 準備編 起動編 1.ストリームの詳細の定義 2. MySQL 接続プロファイルの定義(Aurora MySQLとの接続について) 3. MySQL 接続プロファイルの定義(SSH接続について) 4. ストリームのソースの構成 5. BigQuery 接続プロファイルの定義 6. Datastream から BigQuery への接続
はじめに いろんなクラウド環境を使う人と交流するときに、サービス名の対応がすぐにわかると良いなと思った。 「AWS でいう Lambda が、 GCP の Cloud Functions だよ。」みたいな説明をする。 自分にとっての母語と外国語の対応がわかると、理解が断然早くなるはず。
こんにちはKotaです。 アイルランド在住ソフトウェアエンジニアです。Googleアイルランドに勤めております。 今まで自分がアイルランドへ来た経緯とかは一部の人にしか話してなくて「なんでアイルランドなの？」って聞かれることが多くあったので、この記事を残そうかと思います。だいぶ長くなっちゃいましたが全部読んでくれたらとても喜びます。最後に有料コンテンツとしてオファー額＋αを載せていますので興味がある人は買ってみてください。 リクルーターからの接触(2019/12)2019年12月にリクルーターからの最初のメールが来ました。渋谷オフィスができて、オフィスに人を集めたいから受けないか？とのことでした。学生時代に一度Googleを受けて落ちた経緯があってそのリストを使って連絡してきたそうです。前職には特に不満はなかったですが、最終面接まで行ったら渋谷オフィスのランチが食べられるし、どーせ受からな
始めまして、ちゅらデータの淡島です。 冬に沖縄に行きたいという理由でちゅらデータにジョインさせてもらいました 今はデータサイエンティストという肩書きでお仕事させてもらっています。 背景 ちゅらデータといえばSnowflakeみたいな風潮がありますが、自分は経歴的にもGCPにどっぷり浸かってきており、BigQueryもいいんだぞ！という感じで細々とやらせてもらっています。 弊社ではOSS活動等も推進しており、ひょんなことから自分もdbtとか周りのOSSに関する活動をすることになり、何か面白いテーマで記事を書けないかなぁと思っていたところ こんな感じの記事を見つけてしまいました。 最近は弊社でも右を向いても、左を向いても生成AI周りの話がでてきており、自分もベクトル検索だのRAGだの色々頑張っておりふと もしかしてdbtだけで非構造化データのRAGって作れちゃうのでは。。。そしてこれ結構Big
Ubuntu Weekly Topics Ubuntu 24.04 LTS “Noble N”の準備、「intel-opt」「laptop」カーネルフレーバー Ubuntu 24.04 LTS “Noble N”の準備 Desktopイメージの再リリースという予想外の展開はあったものの23.10のリリースが完了し、「次のLTS」である24.04の開発をスタートする準備が進められています。 Ubuntuのコードネームはアルファベット順が使われるため、23.10の「M」の次、ということで「N」であることはおおむね明らかであるものの、いくつかの痕跡や、意味深な投稿、あるいはリリーススケジュールのアナウンスで明らかにされている通り、24.04のコードネームの前半部分は「Noble」となります。後半部分はまだアナウンスされておらず、今のところは単に「noble」と呼ばれたり、あるいは「Nobl
【書き起こし】BigQueryのデータ監視の社内サービスを作った話 – Hirobumi Takahashi【Merpay & Mercoin Tech Fest 2023】 | メルカリエンジニアリング
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「BigQueryのデータ監視の社内サービスを作った話」の書き起こしです。 @hyrrot：株式会社メルペイ Data Management Team、Data Managerの髙橋です。「BigQueryのデータ監視の社内サービスを作った話」と題し、発表します。 自己紹介をします。髙橋宏文と申します。2022年より、メルペイでData Managerとして、メルカリグループのアナリストの皆さまに最強のデータ分析環境を享受していただくため、日々奮闘しており
いつもAIの限界にチャレンジしてる気がします。 クリスマスイブにデートができて浮かれっ調子でキモいスペースをしたので文字起こしをしてみます。 参考： Twitterスペースの録音をCloud Speech-to-Textを使って文字起こしするまで - あめ姫は友達が少ない 【Google Cloud (GCP)】音声をテキストに Speech-to-Text APIの使い方 | Yukkuri Machine Learning twitterのスペースをデータ化 https://t.co/HNGuN5zNjT— elve (@elve_hatena) 2023年12月24日 ベタな方法で画面収録で録画 音声データに audio-extractor.net この時モノラルにし忘れて後で大変だった。 mp4->wavできるサイトならどこでもいいかと。 データ分割 products.aspose
まえがき みなさまお疲れ様です。Gzockです。 先日、Japan Okta User Group Communityの2023忘年会にLT登壇させていただきました。 やっぱりオフラインの場は楽しいですね。たくさんの人に興味持ってもらえたようで本当に嬉しく思います。 今回、ビットキー 情シス アドカレ18日の記事ということで何を書くか迷ったのですが、LTの場でも少しご紹介したNetskopeのグローバルIP固定化の話にしたいと思います。 注意 : 本記事のネタ自体は昨年作ったものになるので、正直2023年末の今においては古い情報が一部含まれているかもしれない そもそもの話 私は情シス所属ではありません 普段はIoTの開発やってます 2023 AWS Summit Tokyoで弊社が登壇させてもらいましたが、その中で言及しているプラットフォームを担当しています その他、登壇資料を見てもらえる
By Zohar Zigdon December 5, 2023 at 8:45 PM Category: Cloud Tags: API, Cortex XDR, Google, Google Cloud, Prisma Cloud This post is also available in: English (英語) 概要 Unit 42 のリサーチャーは、Google Workspace (旧 G Suite) のドメイン全体の委任機能にセキュリティ リスクがあることを発見しました。私たちは、Google Cloud Platform (GCP) から Google Workspace ドメイン データにアクセスする、予期せぬ方法を明らかにしました。 必要な権限を持つ GCP の ID があれば、委任されたユーザーに対するアクセス トークンを生成できることがわかりました。クレデンシ
１行のコードから社会課題の解決へ、思いを馳せる。READYFORのエンジニアリングの軌跡と展望｜Ryohei Kumagai
はじめにREADYFORでVPoEをしている熊谷です。READYFORアドカレ１日目を担当させていただきます。 今回は、READYFORのエンジニアリング組織について、シリーズAの資金調達後の2019年1月から、シリーズBやCを経て、今日までの約４年間を振り返ろうと思います。これまで多くの取り組みや、数々の失敗など、怒涛の日々を過ごしてきましたが、そのあたりを一度棚卸して整理することで、次の活動にも繋げていけたらと考えています。 また、シリーズA〜Cラウンド程度のスタートアップ企業や同規模のエンジニアリング組織を抱えているエンジニア/マネジメント層の方々へ、何か一つでも参考になる事があれば幸いです。 あと今回、この約４年間の振り返り記事を書こうと考えた理由はもう一つあります。昨今では世界情勢やスタートアップ業界、また生成AIなどテクノロジー界隈などなど、様々な領域で転換点を迎えていると思い
新卒エンジニアが Airflow のバグを発見してからコントリビュートするまで | メルカリエンジニアリング
この記事は、Merpay Advent Calendar 2023 の9日目の記事です。 こんにちは。今年の春に新卒でメルペイに入社し、Credit Platform Team でバックエンドエンジニアをしている@champonです。Credit Platform Team では主に ML（いわゆるAI与信） を用いた与信枠の算出を行っていますが、その中でも自分はワークフローエンジンである Airflow を用いたデータパイプラインの開発・運用を行っています。 今回は、業務中に Airflow のバグを見つけてからその原因を調査し、実際にコントリビュートするまでの過程をお話したいと思います。 Airflow とは まず簡単に、Airflow について説明します。 Airflow とは、ワークフローエンジンの一種であり、Apache Software Foundation が管理する OSS
SRE視点で考える「DevEX」ーーSaaS3社対談②テックタッチ・コミューン・UPWARD｜DNX Ventures
今月、弊社の投資先より、急成長中のSaaSスタートアップ3社から各社の開発チームにお集まりいただき、その3社のデベロッパー・エクスペリエンス「DevEx」についてのウェビナーを開催しました。3社それぞれにエンジニアさんの働きやすさと開発効率をよく考えた施策や取り組みが語られた充実のセッションとなりました。 今回は、後半のセッション「DevEX x SRE」の様子を一部ご紹介します。 テックタッチ SRE マネージャー 伊藤 宏樹 SIerとして社会人をスタート。しばらくして金融情報の配信インフラの開発に従事し、リアルタイム大規模配信を支える高信頼性マルチキャスト通信ライブラリの開発をメインに尽力。その後AIブームにのりJDL認定 E資格を取得しDLを応用したカメラ画像から人属性を解析するソリューションの開発リーダーを努める。現在はテックタッチのSREマネージャーとして活躍中。 ▶︎Twit
達人出版会
［令和6年度］基本情報技術者 超効率の教科書＋よく出る問題集 五十嵐 順子 徹底攻略 データベーススペシャリスト教科書 令和6年度 株式会社わくわくスタディワールド 瀬戸美月 著 徹底攻略AWS認定SysOpsアドミニストレーター - アソシエイト教科書＆問題集［SOA-C02］対応 鮒田 文平, 長澤 美波, 日暮 拓也, 奥井 務, 渡辺 樹, 山下 千紗, 伊藤 翼 世界標準MIT教科書 アルゴリズムイントロダクション 第4版 第2巻 高度な設計と解析の手法・高度なデータ構造・グラフアルゴリズム Thomas H. Cormen, Charles E. Leiserson, Ronald L. … 問題解決の教科書 CITA式問題解決ワークブック 市岡 和之 はじめてのType-C電子工作 じがへるつ スッキリわかるJava入門 実践編 第4版 中山 清喬(著), 株式会社フレアリ
概要 久しぶりにPythonライブラリを開発、リリースしたのでその感想と備忘録を残していきます。 お前だれ？ ブラジルでデータサイエンティスト/機械学習エンジニアやってます。この記事を書き始めてわかったけど、思ってた以上に日本語長文の書き方忘れてて焦ってます。ところどころ変な日本語にご勘弁。 プライベートで開発してたサービスが一段落したので練習がてらPythonライブラリを開発、リリースまでしてみたので、その感想と備忘録を残していきます。 何作ったの？ 今回作ったのはデータ管理のためのライブラリ。練習用とはいえ、想定ユーザーはデータサイエンティスト。 データサイエンティストがタスクやプロジェクトで複数箇所からデータを取ってきて、クリーニング、バリデーション、タスクのためのデータセット作成を行うときにそれらのデータを手軽に管理できるライブラリを作ってみました。 インストールは リポジトリは以
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ サイオステクノロジーの池田 透です。 今回はTerraform Custom Providerの設計について説明します。 T
こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。 さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答メールインタビューを実施。開発状況や独自の強みなどを探っていく。今回は、大規模言語モデル「tsuzumi」を開発し、3月に商用サービスを始めたNTTに聞いた。 NTTの基盤モデルの特徴や強みは何か？ 特長としては下記4点である。 小型軽量である（70億パラメーター） 長年の言語研究のノウハウがつまっており、特に日本語に強い 小型軽量であるため柔軟なチューニングが可能 視覚読解や音声関連技
個人開発にTerraformは必要か否か? - 我思うIaCのはなし - Lean Baseball
仕事はともかくとして, 個人として趣味エンジニアリングと野球データ分析の人です. このブログは先日（2024/3/8）に開催された「第22回 酒とゲームとインフラとGCP」の発表および質疑応答から生まれたエントリーとなります. speakerdeck.com 現地も大変盛り上がりましたし, スライドも殊の外に反響を頂いて*1驚いています. この場を借りてお礼申し上げます🙏 発表後, 現地ではいくつかの質疑応答や会話, ディスカッションがありましてその中で最も印象に残った件がこちら. 何故Terraformを書いたのですか?シェルスクリプトでも良いのではないでしょうか? そうですよね, 単に個人開発（趣味）で作っているものでTerraformとGitHub ActionsでのCI/CD（この件は後日別に発表&ブログ書きます）まで頑張らなくても, shellでサクッとgcloudコマンド叩い
Ubuntu Weekly Topics Ubuntu 24.04 LTS（noble）の開発 / Feature Freeze後の試行錯誤、22.04.4 LTSのリリース noble（Ubuntu 24.04 LTS）の開発 / 初期インストールソフトウェアの変更 nobleはFeature Freezeを過ぎて、ここからは「品質を高めるため」の時間に入ります。 もっとも、UbuntuではFeature Freezeは「以降は新機能の投入に審査が必要になる」という意味しかなく、これ以降の仕様が動かないわけではありません。実際に「デフォルトではゲームをインストールしないようにするのはどうだろう」といった提案やインストーラーのユーザビリティテストが行われており（テストを行うということはつまり、悪い箇所があれば画面遷移等を見直す＝機能的な変化が生じるということです）、GNOME Te
【登壇】今こそ筋トレと健康をIaC化する時が来ました（GCP：Infrasturacture Managerも語りました） | DevelopersIO
【登壇】今こそ筋トレと健康をIaC化する時が来ました（GCP：Infrasturacture Managerも語りました） 概要 12/15（金）クラスメソッド社内にて「Infrastructure as Code（IaC）の素晴らしさを語らせろ」という社外向け勉強会を開催しました。 詳細はこちら → https://classmethod.connpass.com/event/302466/ 今回は、その時の登壇内容について、ブログで共有させていただきます。 【会場の雰囲気】 登壇資料 IaCとTerraform IaCとは IaC（Infrastructure as Code）は、ITインフラストラクチャの定義とそのプロビジョニングを自動化するための方法です。 Google Cloud（GCP）の場合では、Terraform（Infrasturacture Manager）、Deplo
【コラム】アウトプットを続けるデメリットと克服の考え方について アナリティクスアソシエーション 大内 範行 発信元：メールマガジン2023年8月30日号より 今日は「学びのアウトプット」について、メリットではなくデメリットについて書いてみたいと思います。 本を読む、動画を見るなどのインプットだけでなく、ブログやプレゼンなどのアウトプットの活動が、理解の定着、自分の成長、他者からの信頼につながっていきます。 私も、書籍やセミナー、このコラムなど、アウトプットを重ねて来ましたが、確かに効果は実感しています。 数ある効用の中で、私が特に重要だと考えるのは以下の3点です。 ・自分がまったく理解していないことを痛感する ・自分の説明がわかりにくいことを痛感する ・自分が思いつかなかった疑問にぶちあたる 自分自身とのギャップを、外側の視点から見つめることが、自分の成長にとって、特に重要でした。 ただ、
この記事は Google Cloud Advent Calendar 2023 (通常版) の 12/6 の記事です。 Cloud Run はコンテナ アプリをサーバーレス で実行するためのプロダクトですが、統合されている機能を利用せずに、単にアプリ基盤として利用するだけではもったいありません。今回は開発用途、また CI/CD を応用する例を考えてみたいと思います。 要約 ソースコード管理として GitHub を利用し、CI/CD 経由で Cloud Run へアプリをデプロイするフローを応用して、Pull Request 毎にアプリを確認できる URL を作成するフローを作ってみたいと思います。GitHub 以外でも可能ですが、今回の例では GitHub Actions を一部利用しています。 全体のアーキテクチャは以下のようになります。 サンプル コードはこちらにあります。 gclou
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSから抜け出す方法も考えておく【ガバメントクラウド】 - サーバーワークスエンジニアブログ
お手軽な検索API構築 その2 ~マルチコア・ベクトル・分散検索 | メルカリエンジニアリング
Terraformで始めるGCP【CloudRun・CloudSQL】
Render.comが素敵過ぎるのでもっと知られて欲しい
Looker Studio + BigQuery でコストを最適化する方法 - G-gen Tech Blog
GeminiでMulti-Modal RAGを実装した話
新卒エンジニア研修2023（セキュリティ）- 日本経済新聞社 | ドクセル
データ基盤のTerraformディレクトリ構成 - エニグモ開発者ブログ
【BigQuery】データアクセス監査ログの確認方法
dataformからdbtに移行するために調べたこと - Retty Tech Blog
BigQuery にニアリアルタイム連携を導入しようとしている話 — HACK The Nikkei
「AWSのアレはAzureでいうとコレだよね」チートシート - Qiita
私はこうしてGoogleに入社した（アイルランド編）｜KotaのXにはかけない雑多なこと
dbtとBigQueryでRAGを構築してみよう(その１ーベクトル検索エンジン構築編)
Ubuntu 24.04 LTS “Noble N”の準備、「intel-opt」「laptop」カーネルフレーバー | gihyo.jp
自分のキモいスペースを文字起こししたらやっぱりキモかった - スナックelve 本店
Netskopeからのアウトバウンド通信における送信元グローバルIPアドレスを固定化したい - Qiita
Google Workspace のドメイン全体の委任機能における重大リスクの調査
【個人開発】Pythonライブラリを開発からリリースまでしてみた感想と備忘録 - Qiita
はじめてのTerraform Custom Providerの設計の進め方 | SIOS Tech. Lab
ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal
NTTが作った基盤モデルの特徴は？ 大規模言語モデル「tsuzumi」についてメールインタビュー
Ubuntu 24.04 LTS（noble）の開発 / Feature Freeze後の試行錯誤、22.04.4 LTSのリリース | gihyo.jp
【コラム】アウトプットを続けるデメリットと克服の考え方について - コラムバックナンバー - アナリティクス アソシエーション
Cloud Run で Pull Request 毎の確認環境を作ろう