並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 508件

新着順 人気順

GCPの検索結果121 - 160 件 / 508件

  • 画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた

    Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能&人名クイズにも正答できる無料の高性能チャットAI「LLa

      画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
    • AWS/GCP/Azureの比較で最適なAIクラウド活用が学べる「機械学習クラウド講座」が開講

      「機械学習クラウド講座」は、Amazon Web Services、Google Cloud Platform、Microsoft Azureといった大手3大クラウドプラットフォームの機械学習に関連するサービスを中立的に比較学習することで、目的に応じて最適な機械学習サービスの選定・組合わせを可能にする。 横断的にクラウドサービスを比較学習できるほか、実務での利用を想定したさまざまなハンズオンを通じて、実践力が身につけられる。 同講座で得られる、おもな知識・スキルは以下の通り。 Google Cloud Platformの主要サービスであるAI PlatformとCloud AI Building Blocksの利用方法 Microsoft Azureの主要サービスであるAzure Machine Learningの利用方法 Amazon Web Servicesの主要サービスであるSage

        AWS/GCP/Azureの比較で最適なAIクラウド活用が学べる「機械学習クラウド講座」が開講
      • 昼寝猫 on Twitter: "はい。メディアが維新推すのは商売ですが、視聴者は商売関係なく露出する吉村たちを延々見せられますね。それが維新躍進の理由の一つと言われていますが、では吉村ではなく福島みずほが同じ程度露出したとしても、今の維新ブームのようにならないよ… https://t.co/hA3gCP9rz1"

        はい。メディアが維新推すのは商売ですが、視聴者は商売関係なく露出する吉村たちを延々見せられますね。それが維新躍進の理由の一つと言われていますが、では吉村ではなく福島みずほが同じ程度露出したとしても、今の維新ブームのようにならないよ… https://t.co/hA3gCP9rz1

          昼寝猫 on Twitter: "はい。メディアが維新推すのは商売ですが、視聴者は商売関係なく露出する吉村たちを延々見せられますね。それが維新躍進の理由の一つと言われていますが、では吉村ではなく福島みずほが同じ程度露出したとしても、今の維新ブームのようにならないよ… https://t.co/hA3gCP9rz1"
        • 「AWS」「GCP」「Azure」のストレージを比較テスト、その性能はコストに見合うのか

          「AWS」「GCP」「Azure」のストレージを比較テスト、その性能はコストに見合うのか:テストの結果得られた4つの教訓とは Cockroach Labsはクラウドサービスの性能を評価した「2022 Cloud Report」から、「AWS」「GCP」「Azure」について、OLTPアプリケーションの性能テスト結果を評価した。4つの教訓が得られたという。 Amazon Web Services(AWS)、Google Cloud Platform(GCP)、Microsoft Azure(Azure)の処理性能はどの程度違うのだろうか。クラウドネイティブな分散SQLデータベース「CockroachDB」を手掛けるCockroach Labsはクラウドサービスの処理性能のテスト結果をまとめた「2022 Cloud Report」を公開している。 2022年7月21日(米国時間)、同社はこれら

            「AWS」「GCP」「Azure」のストレージを比較テスト、その性能はコストに見合うのか
          • AWSやAzure、GCPでよく見られる設定ミス--トレンドマイクロが集計

            印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本国内でも企業利用が増えているクラウドサービスでの設定ミスは、サイバー攻撃などの一因となりやすい。トレンドマイクロが公開した2021年の年次セキュリティレポート「「2021年 年間セキュリティラウンドアップ」では、主要なクラウドサービスであるAmazon Web Services(AWS)、Microsoft Azure(Azure)、Google Cloud Platform(GCP)でよく見られる設定ミスの傾向を紹介している。 同社のセキュリティ製品「Trend Micro Cloud One–Conformity」の統計データで判明した設定ミスの発生件数が多いサービスでのミスの発生率は、AWSでは「AWS CloudFormat

              AWSやAzure、GCPでよく見られる設定ミス--トレンドマイクロが集計
            • Cloud Functions for Firebaseの利用で、異様にGCPのStorageが消費されると思ったら..

              知っている人には当たり前の知識かもですが、地味に不安だったことなのでメモ。 起こったこと Firebase でアプリを作っていたら、なぜか Storage のリソースが異様に消費されてることに気がつきました。 このプロジェクト自体は Cloud Functions for Firebase をメインに使っていて、Storage 自体にはほぼファイルはありませんでした。 しかし、上記画像の通り異様にアクセスされています。 さらに GCP で Storage をみると見覚えのないファイルが大量に! なぜ...🤔 原因 原因は Cloud Functions for Firebase のデプロイ時に自動保存されるソースコードでした。 Cloud Functions for Firebase のデプロイは以下手順で行われるようです。 関数のソースコードを含むアーカイブを Cloud Storag

                Cloud Functions for Firebaseの利用で、異様にGCPのStorageが消費されると思ったら..
              • GCPが一部サービスの料金を改定、値上げも値下げも 10月から

                米Googleは3月14日(現地時間)、クラウドサービス「Google Cloud Platform」について、一部サービスの価格を10月1日に改定すると発表した。「他の主要なクラウドプロバイダーが同様の製品に定める価格との整合性を高め、顧客が複数のプロバイダー間での支払いや調達を合理化しやすくする」(同社)という。 クラウドストレージでのデータ保存や、保管しているデータを別のリージョンから読み取ったり、複製したりするときの料金を値上げする。 例えばアクセス頻度が低いデータの保存を想定した「Standard Storage」のうち、東京と大阪リージョンから成る「ASIA1」リージョンを使う場合、保存しているデータ1GB当たりの利用料を月額0.012ドル(約1.41円)から0.0132ドル(約1.56円)に値上げする。 ただし同じASIA1でも、バックアップの保存に向いた「Archive S

                  GCPが一部サービスの料金を改定、値上げも値下げも 10月から
                • GCP Comes Out Swinging Against AWS and Azure in 2020 Cloud Report

                  [THE 2021 CLOUD REPORT IS AVAILABLE. READ IT HERE] Since 2017, Cockroach Labs has run thousands of benchmark tests across dozens of machine types with the goal of better understanding performance across cloud providers. If there’s one thing we’ve learned in our experiments, it’s this: benchmarking the clouds is a continuous process. Since results fluctuate as the clouds adopt new hardware, it’s im

                    GCP Comes Out Swinging Against AWS and Azure in 2020 Cloud Report
                  • GCPのデータ処理・ETL系サービスの使い分け - Qiita

                    本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理(ETL処理)の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な

                      GCPのデータ処理・ETL系サービスの使い分け - Qiita
                    • Twitter障害:イーロンマスクがデータセンター統合一時停止、GCP利用削減 | Data Center Café

                      Twitter障害:イーロンマスクがデータセンター統合一時停止、GCP利用削減 Data Center Dynamics 2023.02.0910,419 views Twitterでは水曜日深夜に障害が発生し、ユーザーはツイートやアカウントのフォロー、ダイレクトメッセージの送信ができなくなりました。 一部のユーザーには、「1日のツイート数の上限に達した」というメッセージが表示されました。 Fortuneが見たスタッフへのメールでは、CEOで新オーナーのイーロンマスク氏がこう述べています。「特にスーパーボウルを控えているため、システムの安定性と堅牢性を最大化することを優先し、新機能の開発は当面休止してください。」 また、フォローアップのメールでは、Twitterが使用しているデータセンターである 「サクラメントからの移行、アトランタの統合、少なくとも来週までは(Google Cloud P

                        Twitter障害:イーロンマスクがデータセンター統合一時停止、GCP利用削減 | Data Center Café
                      • GCPの権限管理に関する自動化について

                        イベント Product Security Casual Talk vol.1 ジョブディスクリプション

                          GCPの権限管理に関する自動化について
                        • 「桃太郎デスマッチ」 ー Azure / AWS / GCP 学習済みAIサービスで「桃太郎」を Speech To Text してみた話 - Qiita

                          「桃太郎デスマッチ」 ー Azure / AWS / GCP 学習済みAIサービスで「桃太郎」を Speech To Text してみた話AWSAzureCognitiveServicesSpeechToTextGoogleCloud はじめに 2019年1月23日(木) に Microsoft 主催の Ignite The Tour : Osaka に コミュニティ登壇させていただきました。 本記事は、上記イベントで発表させていただいた LT ( ライトニングトーク ) の内容を記事にしたものです。 ※また、本記事では、3大クラウドプラットフォーム ( Azure / AWS / GCP ) の Speech To Text サービスの性能を比較し、ランク付けをさせていただいておりますが、使用する音声の録音環境、録音デバイス、その他環境の差により、当記事の検証結果と異なる場合がございます

                            「桃太郎デスマッチ」 ー Azure / AWS / GCP 学習済みAIサービスで「桃太郎」を Speech To Text してみた話 - Qiita
                          • GCPでできるだけ安くディープラーニング

                            私は仕事でも趣味でもディープラーニングをしています。趣味ではいつもGoogle Colaboratoryを使ってお金をかけずにディープラーニングしていたのですが、Colabは1日12時間ほどしかGPUを使えず、しかも頻繁に学習タスクを回していると弱いGPUしか利用できなくなるので、進捗があまりよくありませんでした。そこで、お金を使って進捗を出すことを考えました。 Google Cloud Platform(GCP)なら、ちょっと弱めのGPU(Tesla T4)を1時間あたり約12円で借りられます。これならまあ趣味の予算で可能だと感じたので実際にやってみたのですが、GCPは思った以上に複雑で、わかりづらい点が多くありました。そこでこのブログでは、GCPに登録するところから、1コマンドでディープラーニングできる環境を構築するまでの方法を紹介します。 手順Google Cloud Platfor

                              GCPでできるだけ安くディープラーニング
                            • 【社内勉強会】AKIBA.GCP でZennのCI/CDを紹介し、Google Cloud Japan の皆さまに改善アドバイスをいただきました | DevelopersIO

                              【社内勉強会】AKIBA.GCP でZennのCI/CDを紹介し、Google Cloud Japan の皆さまに改善アドバイスをいただきました こんにちは。Zennチームの和田です。2023年3月1日、Google Cloud に関する社内勉強会が開催され、そこでZennのCI/CDの話をしたのでレポートを書きます。 Zenn の CI/CD Zennは、バックエンドにGoogle Cloudを採用しています。少人数のチームで運営しており、できるだけ運用負荷を減らす観点でCI/CDは重視しているポイントです。いまは、以下のような概略図で動いています。 勉強会の目的 おおきくふたつありました。 Google Cloud で動いているアプリのCI/CDとして、Zennを例にとって共有すること Google Cloud Japan の方々に改善点をアドバイスしてもらうこと この勉強会のために、

                                【社内勉強会】AKIBA.GCP でZennのCI/CDを紹介し、Google Cloud Japan の皆さまに改善アドバイスをいただきました | DevelopersIO
                              • GCPでGDPR対応する

                                この記事は GMOアドマーケティング Advent Calendar 2022 5日目の記事です。 GMOアドマーケティングのT.Oです。 今回はGCPのカスタムリクエストヘッダー機能を利用してGDPR対応をしてみます。 0.GDPR(EU一般データ保護規制)とは GDPRとはEU内のすべての個人データ保護やその取り扱いについて定めた規則で2018年5月25日に施行されました。 個人データについては「識別された又は識別され得る自然人に関するあらゆる情報」と定義されており、識別可能な個人に関連する情報(名前、識別番号、所在地、Emailアドレス、IPアドレスやCookieのようなオンライン識別子)が保護の対象となります。 データ主体の権利を侵害する行為や域外移転の手続に反する行為に対しては、2,000万ユーロ以下か、全世界の年間総売上の4%以下のいずれか高い方の制裁金が科されます。 1.GD

                                  GCPでGDPR対応する
                                • Connect to GCP VM instance with ssh - ITips

                                  After creating Google Cloud Compute Engine instance, we should know how to connect. Where are user and password ? Today I introduce how to connect to GCP VM instance with ssh or sftp. What is Google Cloud Platform (GCP) Google Cloud Platform is Google's cloud environment. It is like AWS of Amazon. It has a lot of functions like web server, database server, data warehouse for data analysis, job sch

                                    Connect to GCP VM instance with ssh - ITips
                                  • AWS・Azure・GCPの世界3大クラウドをいいとこ取りできる「究極技術」の活用法

                                    デジタルトランスフォーメーション(DX)を加速させるのに役立つ3つのクラウド技術、「データレイク」「コンテナ」「マルチクラウド」の中から、今回はマルチクラウドを活用するZOZO、NTTドコモ、星野リゾート、マイナビの事例を紹介する。 マルチクラウド 先端サービスを活用 「新しい事業や商品・サービスを作る際、クラウドの先端サービスでなければニーズを満たせないことがある。そこで複数のクラウドのサービスを併用し、マルチクラウドの構成にしている」。ZOZOのIT子会社であるZOZOテクノロジーズの岡大勝開発部Chief ZOZOTOWN Architect(CZA)はクラウド利用の方針をこう説明する。 ZOZOが最も利用するクラウドは米アマゾン・ウェブ・サービスのAmazon Web Services(AWS)だ。「AWSは顧客の声に基づいてサービスを開発しており、全般に使い勝手が良い」と岡CZA

                                      AWS・Azure・GCPの世界3大クラウドをいいとこ取りできる「究極技術」の活用法
                                    • AzureはCPUで首位--AWSはI/Oに優れ、GCPは改善:Cockroach Labs調査 - ZDNet Japan

                                      印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Cockroach Labsが3大クラウドプロバイダーのスピードと処理能力をテストしたところ、Amazon Web Services(AWS)がGoogle Cloud Platform(GCP)とMicrosoft Azureに対する優位を維持するという結果となった。 「2020 Cloud Report」において、AzureはCPUのパフォーマンステストで首位に立ったが、AWSはネットワークとI/Oの性能が最も優れていた。GCPは前回のテストから大幅な改善が見られ、ネットワークスループットで最高の成績を収めている。 Cockroach Labsは3社のプロバイダーのテストで、一連のマイクロベンチマークと、顧客を想定したワークロードを

                                        AzureはCPUで首位--AWSはI/Oに優れ、GCPは改善:Cockroach Labs調査 - ZDNet Japan
                                      • GCPで完結させたゲームプラットフォームのアーキテクチャ 開発期間は短くしつつ、自由度を失わないための工夫

                                        GCPで完結させたゲームプラットフォームのアーキテクチャ 開発期間は短くしつつ、自由度を失わないための工夫 これが新しいデザインパターン - mspoを支えるGCP&Looker 2019年11月18日、グーグル・クラウド・ジャパン合同会社にて「第9回 Google Cloud INSIDE Games & Apps」が開催されました。ゲーム業界で活躍するインフラ、サーバーアプリケーションエンジニア、テクニカルリーダーを対象に開催される本イベント。今回は、GCPを活用するさまざまな企業が集まり、最新の活用事例を語りました。プレゼンテーション「これが新しいデザインパターン - mspoを支えるGCP&Looker」に登壇したのは、アイレット株式会社代表取締役社長の齋藤将平氏と、ガンホー・オンライン・エンターテイメント株式会社CTOの菊池貴則氏。ガンホーの子会社であるmspo株式会社

                                          GCPで完結させたゲームプラットフォームのアーキテクチャ 開発期間は短くしつつ、自由度を失わないための工夫
                                        • 面倒なアプリのログイン機能を超簡単に実装する on GCP

                                          この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 16日目の記事です。 tl;dr「Google アカウントを使ったログイン機能を簡単に実装したい!」 Identity-Aware Proxy を使えば、ログイン画面すら作ることなく Google アカウントによるログイン機能を実装できます。ログイン可能なユーザを制限した社内向けアプリ等にも最適です。 「Google アカウント以外のソーシャル ログインもサポートしたい!」 Identity Platform で簡単に実現することができます。Firebase Authentication と共通の SDK が提供されており、ログイン画面も FirebaseUI により簡単に作ることができます。メールアドレスによるユーザリンク機能、マルチテナント対応、SLA も

                                            面倒なアプリのログイン機能を超簡単に実装する on GCP
                                          • GCP連載#6 Terraform Validatorを使って、GCPのセキュリティポリシーの自動チェックを行う | フューチャー技術ブログ

                                            GCP連載#6 Terraform Validatorを使って、GCPのセキュリティポリシーの自動チェックを行う GCP連載の6回目です。今回はTerraform Validatorを使って、組織のセキュリティポリシーの自動チェックを継続的に行う方法を紹介します。併せて、ポリシーをコードとして管理する方法も紹介します。Policy as code です。もちろんセキュリティポリシーのみだけではなく、命名規則やリージョン制限なども扱えます。 Infrastructure as code 理想と現実Infrastructure as code (以下 IaC)、ここ最近大分一般的になってきました。弊社でも大半のプロジェクトは導入しています。3年前とかに導入するために一苦労していた時代が懐かしい.. IaCが当たり前になった今、インフラの構成管理はもう問題ないかというとそうではありません。特にプ

                                              GCP連載#6 Terraform Validatorを使って、GCPのセキュリティポリシーの自動チェックを行う | フューチャー技術ブログ
                                            • 今夏GCPインテグレーションをリリースします - Mackerel ブログ #mackerelio

                                              いつもMackerelをご利用いただきありがとうございます。 Mackerelチームディレクターのid:daiksy です。 AWSやMicrosoft Azureに対応していたクラウドプラットフォームの連携機能が、まもなくGCPに対応します。 mackerel.io mackerel.io 各種クラウドプラットフォームとのインテグレーション機能は、従来のホスト監視のようにmackerel-agentをインストールすることなく、連携のための設定を行うだけで、Mackerelが自動的に各種連携先から情報を取得し、グラフ描画や監視を行うことができる機能です。これにより、mackerel-agentをそもそもインストールすることができない各種マネージドサービスに対する監視が可能になります。 機能へのご要望などのアンケートのお願い GCPインテグレーションのリリースに先駆けまして、GCPの利用状況

                                                今夏GCPインテグレーションをリリースします - Mackerel ブログ #mackerelio
                                              • GCPのバッチ処理サービス「Batch」を試してみる

                                                それぞれ微妙にできることや制限に違いがあり、ここを捉えた上で選択する必要があります。 Batchの強みはおそらくタイムアウトがないことによって長時間実行ができ、かつシンプルに実装できることだと思います。 (タイムアウト最大値に関して、Batchにおいては存在しないと公式動画の方で説明していますが、Cloud Composerについては不明でした。) Batch単体でもジョブ定義ファイル内で各タスクの依存関係(順次実行、並列実行)はできますが、Cloud ComposerやWorkflowsのように複雑なジョブネットを書くことは難しそうです。 ジョブネットのように動かしたい場合には公式ドキュメントにもあるようにWorkflowsなどからBatchジョブを実行するのが良さそうです。 動かしてみよう 実際にジョブを作って動かすまで試してみたいと思います。 GCP公式がBatchのサンプルコードを

                                                  GCPのバッチ処理サービス「Batch」を試してみる
                                                • GCPのWorkload Identityを使ってAWSのRoleとGCPのサービスアカウントを連携させる

                                                  GCPのWorkload Identityを使ってAWSのRoleとGCPのサービスアカウントを連携させる 2022.12.09 技術 AWS, GCP 動機と解決法 サービスアカウントのシークレットキーjsonをEC2上に置くのやだなー(何かの拍子に流出とかしたらめんどいなー) アクセス元のバッチがAWSにあるんだから、asumerole的なことがAWSとGCPをまたいでできれば便利なんだけどなー という動機から、表題の通り Workload Identity を使って、AWS IAM Role と GCP Service Account を連携させました。 Workload Identity連携 とは? Workload Identity 連携は、キーなしの新しいアプリケーション認証メカニズムであり、オンプレミス、AWS、Azure で実行するワークロードは、外部 ID プロバイダ(I

                                                  • Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#5(コンテナ) - Qiita

                                                    Google Cloud Platform (GCP)のサービスで正式名称や略称はともかく、読み方がわからずに困ることがよくあるのでまとめてみました。 クラウド コンピューティング サービス  |  Google Cloud https://cloud.google.com/?hl=ja Amazon Web Services (AWS)のまとめはこちら! Amazon Web Services (AWS)サービスの正式名称・略称・読み方チートシート - Qiita https://qiita.com/kai_kou/items/cb29d261c8acc49fd22a Amazon Web Services (AWS)サービスの正式名称・略称・読み方まとめ #1 (コンピューティング) - Qiita https://qiita.com/kai_kou/items/a6795dbab7e

                                                      Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#5(コンテナ) - Qiita
                                                    • 『GCPからAWSへのデータ移動』について考えて&まとめてみる | DevelopersIO

                                                      最近では『マルチクラウド』環境で仕事を回すというのも珍しい話では無くなって来ました。クラウドプラットフォーム間を連携するというのも普通に挙がってくるテーマかと思います。 そんな『マルチクラウド』の環境間で『データの移動』という部分について考えてみた場合、ざっと見てみた感じだと『AWS』から『GCP』については比較的情報量が多いなという印象を受けました。GCPが公式で『AWS向け』のドキュメントを展開しているというのも大いに関係しているかと思います。 ですが一方で、『GCP』から『AWS』という逆のパターンだとどうでしょう。AWSが個別に『GCP向け』の情報を展開しているというのは現状無さそうです。また、その他情報源についてはどうでしょうか?感覚値的には『AWS→GCP』程は情報量的に多くないのでは、という感じがします。 そこで当エントリでは、『GCP(Google Cloud Platfo

                                                        『GCPからAWSへのデータ移動』について考えて&まとめてみる | DevelopersIO
                                                      • GCPのCloud WorkflowsとCloud SchedulerでTogglの前日読書時間を自動でPixelaに記録する - notebook

                                                        今回の記事までにいくつかCloud Workflowsの記事を書いた GCPのCloud Workflowsを試す - notebook swfz.hatenablog.com Cloud Workflowsでランタイム引数のデフォルト値を設定する - notebook swfz.hatenablog.com これらで行ったことをもとに今回はテーマを決めてワークフローを作ってみる 今回の題材は「Togglの特定プロジェクトの前日分の作業時間をPixelaにPUTする」 細かなサンプルを作る 基本的な動かし方は前回までの記事でわかったので一連の流れの中から切り出せるものを切り出してサンプルとして実行できるようにする 実行時に引数を渡せるようにする デフォルト値も指定可能にする(前回の記事があるので今回は割愛) 昨日の日付文字列を取得する関数を呼び出す あらかじめ適当な関数を作ってデプロイして

                                                          GCPのCloud WorkflowsとCloud SchedulerでTogglの前日読書時間を自動でPixelaに記録する - notebook
                                                        • 【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog

                                                          こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform のテストについて 2.6 リリース方法について 3. その他開発における Tips 3.2 データセット作成時のエラーについて 4. まとめ 1. はじめに プロジェクトに参画するまで、データをメインに扱う開発経験がほとんどなかった私にとって、「ETL」という言葉も聞き馴染みが無いものでし

                                                            【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog
                                                          • 「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsがレポートを公開

                                                            「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsがレポートを公開:三大クラウドの価格性能比は? Cockroach Labsは、主要クラウドサービスの処理性能を比較した年次レポートの最新版を公開した。1年前とは大幅に結果が異なることと、3つの主要クラウドごとの性能差よりもマシンタイプごとの性能差が意味を持つことが分かった。 Cockroach Labsは2019年12月11日(米国時間)、主要クラウドサービスの処理性能を比較した年次レポートの最新版「2020 Cloud Report」を公開した。 2018年のレポートでは、「Amazon Web Services」(AWS)と「Google Cloud Platform」(GCP)を比較。今回は「Microsoft Azure」も比較対象に加えた。 Cockroach Labsは1000以上のベンチマークテ

                                                              「AWS」「Azure」「GCP」の処理性能を比較、Cockroach Labsがレポートを公開
                                                            • BeyondCorp Remote Accessを支える技術 #1 GCP Cloud IAP connectorを試してみた | DevelopersIO

                                                              BeyondCorp Remote Accessを支える技術 #1 GCP Cloud IAP connectorを試してみた 在宅勤務のニーズが高まる昨今Googleが提唱したBeyondCorp Remote Accessを実現するための技術として、Cloud IAP connectorをご紹介します ども、ゲストのソラコム大瀧です。 在宅勤務のニーズが高まる昨今、Googleが提唱したBeyondCorp Remote Accessが話題ですね。 BeyondCorp Remote Access | Google Cloud VPNに代わって組織のシステムにセキュアにアクセスする手段をという触れ込みですが、「この製品を使えばBeyondCorp Remote Accessだ!」というものではなく、トラディショナルな境界セキュリティモデルに囚われずよりモダンなセキュリティソリューション

                                                                BeyondCorp Remote Accessを支える技術 #1 GCP Cloud IAP connectorを試してみた | DevelopersIO
                                                              • APIをダウンタイムなしでAWSからGCPに引越しました - JX通信社エンジニアブログ

                                                                こんにちは。JX通信社 サーバーサイドエンジニアの内山です。 私が所属するNewsDigestチームでは先日、モバイルアプリ用APIをAWSからGCPにお引越しする、というプロジェクトを行いました。 会社の方針としてGCP利用を推進していることや、GCP特有のマネージドサービスの活用を視野に入れ、移行を決めました。 今回のAPI移行では、大きく以下2パートの作業がありました。 APIのホスティングサービスをGCP上のものにするためのCI/CD設定, 定義作成, アプリケーション修正などの作業 APIドメインのルーティング先をAWS -> GCPに切り替えるインフラ作業 本記事では、後者のルーティングに関して取り上げていきます。 作業概要・前提 有効なSSL証明書を事前に用意するには セルフマネージドSSL証明書の発行・検証作業 トラフィック移行前の確認 安全なトラフィック移行作業をどう行う

                                                                  APIをダウンタイムなしでAWSからGCPに引越しました - JX通信社エンジニアブログ
                                                                • dbt Core を GCPのCloud Run JobsやBatchで実行する方法

                                                                  はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。 よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。 そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。 あとは dbt core を AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。 しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良い スケジュール設定できればOK dbtドキュメントもみたい 無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた

                                                                    dbt Core を GCPのCloud Run JobsやBatchで実行する方法
                                                                  • GCP CloudFunctionsの実行IPアドレスを固定化する方法 - Qiita

                                                                    2020/02/03 追記 CloudFunctionsのIP固定ですが、proxyサーバ立てないでマネージドでも出来るようになりました! https://cloud.google.com/functions/docs/networking/network-settings?hl=ja#associate-static-ip 下記に書いた構成からproxyサーバを外していただき CloudFunctionsの設定で すべてのトラフィックをVPCコネクタ経由でルーティングする に変更すればproxyサーバ無くてもIPの固定が出来ます! はじめに gcp のCloudFunctionsは便利ですが、IPが固定されていなく、VPC内での起動も出来ないのでNATを通す事も出来ません。 IP制限がされているサービスに対してCloudFunctionsでアクセスしたい場合ってありませんか? 私はありま

                                                                      GCP CloudFunctionsの実行IPアドレスを固定化する方法 - Qiita
                                                                    • GCP 導入事例 - ドラゴンクエストウォークを支える GKE と Cloud Spanner | Google Cloud 公式ブログ

                                                                      シリーズ累計の出荷・ダウンロード販売本数 7,800 万本( 2019 年 6 月末時点)を突破した「ドラゴンクエスト」シリーズ。その新作スマホ向けタイトルである「ドラゴンクエストウォーク」は株式会社スクウェア・エニックスが企画・制作、株式会社コロプラが開発を担いプロジェクトを進めてきました。人気シリーズであり、かつてない規模のユーザー数に対応することが求められたことから、Google Cloud Platform を採用。Google Kubernetes Engine(GKE) と Cloud Spanner といったフルマネージドサービスを活用し、高性能、高可用性、高いスケーラビリティを備えたゲームサービス基盤を実現しています。 ドラゴンクエストウォークにおける GCP 採用の背景やねらい、導入効果について、両社のキーパーソンに語っていただきました。 イベントのご案内Google C

                                                                        GCP 導入事例 - ドラゴンクエストウォークを支える GKE と Cloud Spanner | Google Cloud 公式ブログ
                                                                      • Serverless勢朗報!GCPの新しいSecret Manager

                                                                        Secret Managerを使ったServerlessの構築をします。 January 23, 2020 serverless cloud functions secret manager Secret Managerを使ったアーキテクチャ図 こんにちは。つい2時間ほど前にIntroducing Google Cloud’s Secret Managerという投稿でSecret ManagerがPre-Release Stageになったことが報告されました。 居ても立ってもいられず、自分のプロダクトのDev版に実装し、検証をしました。 このプロダクトはServerless界隈では強く求められていたのではないかなと思っています。 その理由と、今回のSecret Managerを使った構築例を紹介しようと思います。しかしまだasia-northeastがないのが残念な点で、プロダクションに使

                                                                          Serverless勢朗報!GCPの新しいSecret Manager
                                                                        • 3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは? | 株式会社G-gen(旧 株式会社トップゲート)

                                                                          削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS

                                                                            3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは? | 株式会社G-gen(旧 株式会社トップゲート)
                                                                          • GCPのサービスアカウントの鍵を作って持ち出す必要がなくなった

                                                                            背景去年触っていた時は Key Management Serviceについて勘違いしていたこと - あーありがち(2018-10-21) こんな感じで、 GCPの中にコードを送り込むことを自動化する際にサービスアカウントを使うので、そのアカウントの鍵が必要pkgcloud が keyFilename がないと激おこという理由で鍵をどう管理するかを考えていたのだけど、事情が変わって鍵の管理を全部不要にできたので、これをまとめておく。 まとめpkgcloud が 2019-04 時点で依存 npm を gcloud から @google-cloud に乗り換えたおかげで client library の挙動が正しくなった 動作時のサービスアカウントの default credentials と permissions を取得できるCloud Source Repositories & Clou

                                                                            • Terraform で GCP IAM 設定どれ使うのがいいのか - pokutuna

                                                                              additive: add members to role, old members are not deleted from this role. authoritative: set the role's members (including removing any not listed), unlisted roles are not affected.

                                                                                Terraform で GCP IAM 設定どれ使うのがいいのか - pokutuna
                                                                              • GCP 101: Getting Started through Cloud Run

                                                                                DevFest 19 Tokyo https://gdg-tokyo.connpass.com/event/137666/

                                                                                  GCP 101: Getting Started through Cloud Run
                                                                                • GitLab GCPに 移行した(中編) - pixiv inside

                                                                                  こんにちは、インフラ部の id:sue445 です。 前回に引き続きGitLabのGCP移行について紹介します。 前編の記事はこちらになります inside.pixiv.blog 今回の目次 今回の目次 やったこと2: 実際にGCPに構築した GitLab構築に関係するリポジトリの構成 gcp-gitlab-terraform gcp-gitlab-playbook gcp-gitlab-helm 備考 全体の構成図 webservice (GitLab本体) GitLab CI 3rd party製のDockerイメージから公式のDockerイメージに移行した Docker Swarmは継続利用 GitLabを複数ゾーンで動かすための準備だけした やりたかった構成 現在の構成 Cloud IAPとTunneling SSH Connectionsを利用したgitアクセス Tunnelin

                                                                                    GitLab GCPに 移行した(中編) - pixiv inside