You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Stable Diffusionの関連ブログがあちこちに量産されていますね。実際のサービスにどう落とし込みマネタイズするか、色々なアイデアが浮かびそうです。 この記事では機械学習をやったことのないエンジニアを想定した、GCPのGCE(ディープラーニングVM)を使用した手順書になります。 Stable Diffusionとは、プロンプトと称するテキストから画像を生成するAIです。CompVis, Stability AI, LAIONの研究者、エンジニアによって開発されました。 Stability AIのEmadがTwitterで活発に情報発信しています。 サーバ環境 GCPでディープラーニングVMインスタンスを作成します。次のマシンスペックで動きます。 Debian GNU/Linux 10 (Debian以外を指定できない) NVIDIA Tesla T4 x 1 (月額3万円ほど) n
※この投稿は米国時間 2021 年 12 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud のサービス アカウントは、ワークロードがエンドユーザーの関与なしにリソースにアクセスしたり、アクションを実行したりする必要がある場合に使われます。 サービス アカウントを使った認証の方法はいくつかあります。例えばサービス アカウントを Google Compute Engine の一部として使う方法、サービス アカウントになりすます方法、キーファイルと一緒に使う方法などがありますが、キーファイルと一緒に使う方法については、特に慎重になる必要があります。 共通の目的は、Google Cloud 上でキーなしのサービス アカウント アーキテクチャを実現することですが、これを組織全体で行うのは難しい場合があります。 サービス アカウント キーの
関連キーワード クラウドサービス | IaaS | パブリッククラウド クラウドサービスの分野では、Amazon Web Services(AWS)の同名サービスやMicrosoftの「Microsoft Azure」、Googleの「Google Cloud Platform」(GCP)といった「ビッグスリー」と呼ばれる大規模ベンダーのサービスに話題が集中する。しかしこうした「ビッグスリー」以外のベンダーが提供するクラウドサービスの方が、自社のニーズに適している場合もある。 ビッグスリー以外のベンダーを選ぶときに注意すべき点 Copyright © ITmedia, Inc. All Rights Reserved.
Google Cloud Platform(以下GCP)のCloud SQLにアクセスする際、次の二つの方法があります。 特定IPアドレスからの接続を許可する Cloud SQL Proxyを使う 前者が使えるのは、AWSなどの別のクラウドから接続する、あるいは社内LANから接続するなどのケースだと思います。本稿では、開発環境からアクセスする場合に便利な、後者(プロキシの使い方)について扱います。(というか自分用のメモ) 対象読者: とりあえずGCPにアカウント持ってる/作ろうとしている 使いどき: Cloud SQLを試してみたい/開発環境から繋げてみたい 下準備 プロジェクトの作成 もし、GCP上での作業が初めてであればプロジェクトを事前に作成しておく必要があります。コンソールにアクセスし、ドキュメントを参照して、作成しておいてください。 Cloud SDK SDKが必要です。手元の環
キンドリルとGoogle Cloudは2021年12月9日(米国時間)、企業のデジタル変革を加速する戦略的パートナーシップを発表した。Google Cloud Platform(GCP)とキンドリルの各種サービスを組み合わせ、より高度、データドリブン、持続可能なビジネスへの転換を支援する。 Google Cloudを活用したデジタル変革の支援策とは 今回の戦略的パートナーシップは、Google Cloudにおけるデータ、分析、AI(人工知能)、およびエンタープライズエッジコンピューティングとデータサービスを使用して、各種業界の顧客企業のDX(デジタルトランスフォーメーション)推進を加速できるよう支援することに重点を置いている。 関連記事 「共創」関係に甘えるな――DX過程のクラウド導入、成功と失敗を分けるポイント DXは誰がやるのか、どうすればうまく進められるのか――。そうした企業の声にク
前提 Google Cloud SDKについて Google Cloud SDK インストール インストーラの取得 インストール 初期設定 gcloud init 前提 ・GCPにてプロジェクトを作成していること ・ホストマシン:Windows10(今回は) 【要件】 OS:Linux、macOS、Windows Python:3.5~3.7、2.7.9以降 実行にPythonが必要らしいのでPythonだけ確認しておきましょう。 コマンドプロンプトからバージョン確認コマンドを打って表示されれば問題なしです。 C:\Users\wanta>python -V Python 3.7.4ただ後から公式サイトより以下の記述を見つけました。 必要な Python バージョンを含むすべての必須依存関係がインストールされます。 ホストマシンにPythonが入っていなくてもインストーラを実行すれば自動で
この記事はGoogle Cloud Platform Advent Calendar 2021のカレンダー | Advent Calendar 2021 - Qiita6日目の記事です qiita.com GCPのWorkflowsでtime.format, time.parseが使えるようになった 今まではWorkflowsから何かAPIへ対してリクエストを送る際に日時系(昨日、今日など)のパラメータがある場合 たとえば昨日の日付を2021-12-05,20211205といったような形式の文字列にして送るということができなかった(色々計算すれば可能なはずだがかなり面倒) time.formatが追加されたことによってISO 8601の形式で日付の文字列を取得できるようになったため少し手を加えれば上記のようなフォーマットにも変換できる 個人的にないと困るなーと思っていたのでさっそく試してみ
サービス概要 プロニチ(プログラミング新聞社) 定期的にバッチを走らせはてな、Qiita、Twitter、connpassからAPIを通してデータを取得 取得したデータをまとめてWEBサイト・画像にて公開した。 こだわりとしてはCloud Run+BigQueryを利用したサーバーレス構成なところ。完全従量課金にしたので初期のアクセスが少ない場合はほぼ無料でサイトを公開することができる。 データベースにBigQueryを使った理由は更新系はバッチ系以外ない、キャッシュすればデータベース参照する必要がない。従量課金で初期費用がかからずSQL構文が使える点、Pandasで加工したデータを簡単に追加できる点などなど システム構成 Python3系 パッケージ (こう見るといろいろ使ってた? google-cloud-bigquery==2.6.2 google-cloud-logging==2.
このエントリは『クラスメソッド BigQuery Advent Calendar 2020』21本目のエントリです。12/25のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで Google BigQuery に関する記事を紡いでいこうと思います。 クラスメソッド BigQuery Advent Calendar 2020 の記事一覧 | Developers.IO クラスメソッド BigQuery Advent Calendar 2020 - Qiita 当エントリではGCPから公開・提供されているBigQueryのODBCドライバについて紹介します。 目次 「BigQuery の Magnitude Simba ドライバ」のインストール ODBC接続設定(サービスアカウントキーファイルを利用する場合) ODBC接続設定(ユーザーによるサインイン
社内勉強会で発表したら好評だったので公開 注意 問題1 問題2 問題3 問題4 問題5 おまけ:発表中の社内の反応 余談 1年前の僕 2ヶ月前の僕 関連クイズ 注意 全問解けても仕事の役にはたちません ググるのは禁止 問題1 Q: 正しい組み合わせはどれか? AWS: CloudShell / GCP CloudShell AWS: Cloud Shell / GCP CloudShell AWS: CloudShell / GCP Cloud Shell AWS: Cloud Shell / GCP Cloud Shell 回答 正解: 3 (AWS: CloudShell / GCP Cloud Shell) AWSがCloudShell(空白が入らない)で、GCPがCloud Shell(空白が入る)です AWSは単語と単語の間に空白を入れない印象がある 問題2 Q: 正しい組み合わ
はじめに GCP のクラウドサービスのデータ制御をする VPC Service Controls がある。 初めて使用するので、前半に内容把握を、後半に実際に軽く試した内容を記載する。 VPC Service Controls とは ざっくり言うと下記な感じ。 サービス境界(Perimeter)を作成して GCP サービスのデータ (API) に対して境界外向けのアクセスをブロックできる リスク低減には VPC Service Controls と IAM との併用が推奨 アクセスレベルを設けるとサービス境界外からのアクセスを許可できる 以下、ドキュメントの内容を元に調査・まとめた学習メモとなる。 概要 下記、項目別にVPC Service Controls の概要 ドキュメントの内容をまとめた。 ほぼドキュメント内容のままだが、正確にはドキュメント先を参照してください。 VPC Serv
以下の記事の2021年版として勝手に書いてみます。 https://qiita.com/yomon8/items/f812079d0ce631f73d45 全て2021年に取得しましたので直近の内容がお伝えできていると思います。 AWS Solution Architect Professional Azure Solutions Architect Expert GCP Professional Cloud Architect 3大クラウドアーキテクト試験で共通していること 身分証明書が2種類必要 筆者の場合は自動車運転免許証 + クレジットカード 実技試験はない 全体的にインフラエンジニアの領域に偏った問題が出題される クラウドファースト (クラウドとしてあるべき姿) が理解できていることが求められる AWS Solution Architect Professional よく言われて
関連キーワード Docker | ネットワーク | ネットワーク仮想化 | 仮想化 第5回「『Kubernetesクラスタ』の自前構築はなぜ難しい? Kubernetes運用の基礎知識」では、コンテナオーケストレーター「Kubernetes」における、コンテナクラスタの構築・運用を手作業で実施することの難しさを解説しました。その難しさを解消するには、どのような製品やサービスが有効なのでしょうか。 併せて読みたいお薦め記事 コンテナの基本をおさらい いまさら聞けない「コンテナ」「オーケストレーター」の仕組みと役割 仮想マシンとコンテナ 何が違い、どう使い分けるべきか? VMwareが「コンテナ」市場でRed HatとDockerに引き離されている理由 ネットワーク仮想化の話題 「ネットワーク仮想化」と「ネットワーク抽象化」は何が違うのか? 「SDNは大企業のためのもの」という考え方はもう古い
マルチクラウドを利用する重要性 企業では、パブリッククラウドの利用が拡大している。DX(デジタルトランスフォーメーション)の推進において、クラウドサービスはキーテクノロジーとなっているほか、政府もガバメントクラウドを掲げており、今後もクラウドサービスを利用したIT基盤の整備が進むことが予想される。 ただし、パブリッククラウドは便利ではある側面、単一のベンダーのサービスしか使っていない場合は障害発生時に業務が回らなくなるというリスクがある。主要なクラウドサービスは高い稼働率を誇っているが、それでも年に数時間は不具合を発生している。最近では、クラウドサービスの停止がメディアでも報じられているので、ご存じの方も多いだろう。 こうした障害発生時にも事業を継続するため、または、ネットワークトラフィックの増加で一定のサービス品質が維持できなくなる事態を回避するためといった理由から、複数のベンダーのクラ
目次 概要 Anacondaのインストール VPCネットワークのファイアウォール ルールの追加 Jupyterlabの起動 Jupyterlabにアクセス 1. 概要 Kaggle competitionに参加しているとマシンスペックが足りなくて処理時間が膨大にかかり困ることや、処理中に他の作業ができなくて困ることが多々あります GCPを使えば、自由自在にマシンスペックを変えて処理時間を短縮したり、Cloud上で処理をさせている間、ローカル環境で別のことができるなど非常に便利です GCPのAIプラットフォームを使えば、簡単にJupyterlabの環境を構築できます (慣れてる人なら3分ぐらいでできる) [Qiita] GCPとJupyterLabでKaggle用環境構築 しかし細かい設定をしたい場合、ちゃんとGCEインスタンスでサーバを立てた方が便利なこともあります. 今回はGCP上に構築
本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利ですが、要件によってはセルフマネージド(自分で SSL 証明書を購入して更新する)が必要になる場合があります。例えば以下の場合です。 内部 HTTPS ロードバランサで SSL 証明書を使いたい場合 ワイルドカード SSL 証明書を使いたい場合 組織認証(OV)、拡張認証(EV)証明書を使いたい場合 GCP でセルフマネージド SSL 証明書を更新するのが意外と手間だったのでその手順についてまとめました。今回はワイルドカード SSL 証明書を発行して、外部 HTT
概要 どうやって実現するの? Access Context ManagerとBeyondCorp Enterpriseを設定して、GCPコンソールへのアクセスを条件付きで制御していきます。 今回必要なリソースを下記にまとめます。 Access Context Manager BeyondCorp Enterprise Google グループ 組織 Access Context Managerとは Access Context Managerとは、Google Cloud内におけるIAMポリシーでの権限制御に加えて、追加の条件を付加して、さらに詳細に権限を制御することができるサービスになります。 【公式から引用】 Access Context Manager を使用すると、Google Cloud 組織管理者は、Google Cloud のプロジェクトとリソースに対するきめ細かい属性ベースの
関連キーワード Amazon Web Services | Google | IaaS | 事例 | Docker ゲーム「オンライン麻雀 Maru-Jan」シリーズをはじめとするオンラインゲームやソーシャルゲームに加え、「FoodScore」(フードスコア)や「Corona Lab」(コロナラボ)などのヘルスケア関連サービス、AI技術を用いた文章の要約サービス「WorkerAI」を手掛けるシグナルトーク。同社は、サービスのインフラをマルチクラウド(複数のクラウドサービスの併用)で構築した。具体的には、Amazon Web Services(AWS)の同名サービスやGoogleの「Google Cloud Platform」(GCP)を併用している。 サービスのインフラとして、シグナルトークがAWSとGCPによるマルチクラウドを選んだ理由とは何なのか。同社に話を聞いた。 AWSじゃなくGC
【登壇】今こそ筋トレと健康をIaC化する時が来ました(GCP:Infrasturacture Managerも語りました) 概要 12/15(金)クラスメソッド社内にて「Infrastructure as Code(IaC)の素晴らしさを語らせろ」という社外向け勉強会を開催しました。 詳細はこちら → https://classmethod.connpass.com/event/302466/ 今回は、その時の登壇内容について、ブログで共有させていただきます。 【会場の雰囲気】 登壇資料 IaCとTerraform IaCとは IaC(Infrastructure as Code)は、ITインフラストラクチャの定義とそのプロビジョニングを自動化するための方法です。 Google Cloud(GCP)の場合では、Terraform(Infrasturacture Manager)、Deplo
昨年終わり頃に、タイトル通り、会社でどのように Google Cloud Platform を活用しているかというインタビューを受けまして、一昨日公開されていました。 事例紹介という形で、ざっくりとした内容にはなっていますが、会社の事業に対して、どう Google のクラウドサービスを活用しているのかを、テックリードの @yukung と一緒に話した内容を、端的にまとめていただていますので、一事例として参考にしていただければ幸いです。 ( PDFファイル: https://lp.cloudplatformonline.com/rs/808-GJW-314/images/Google_GCP_astamuse.pdf ) 尚、取材の中で話していた、膨大なデータの翻訳処理に、GPUサーバを100台並べて並列処理しているという話ですが、結論から言うと、色々ありまして理論上の見積もりであった2週間
[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化するBigQueryLogAnalyticsGoogleCloudLookerStudio 先々月~先月(2022年9, 10月)頃、Cloud LoggingシリーズにLog Analyticsの公開プレビュー版が利用可能になったので、使ってみつつ、Looker Studio(旧Google Data Portal)でBigQueryのクエリコストをユーザー別に見える化するところまで実施してみたので、覚書きを残しておきます。 ※本記事は、2022年11月1日に執筆しました。 用語解説 Log AnalyticsとLooker Studioについて、簡単に解説しておきます。 Log Analytics Cloud Loggingシリーズの機能セットのひとつで、BigQuer
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Overview 非同期メッセージングサービス メッセージングミドルウェアやストリーミング分析パイプラインとして使える Pub/Sub Lite: より安価なモード、低信頼性、ゾーナルかリージョナル、キャパシティを指定する トピック: パブリッシャからメッセージが送られるリソース サブスクリプション: 特定のトピックからアプリケーションにメッセージを送るリソース メッセージ: データとアトリビュートの組み合わせ メッセージアトリビュート: パブリッシャが定義するキーバリューペア アクノリッジメント: サブスクライバから送られる受信成功の
from google.cloud import vision import io import os import cv2 import numpy as np from PIL import ImageFont, ImageDraw, Image def detect_text(image): """Detects text in the file.""" client = vision.ImageAnnotatorClient() content = cv2.imencode(".png", image)[1].tostring() tmp = vision.Image(content=content) response = client.text_detection(image=tmp) texts = response.text_annotations if response.e
tebiki(テビキ)・素材提供:ピナクルズ ニュースサマリ:現場教育のデジタル化を手掛けるピナクルズは9月15日、第三者割当増資の実施を公表している。調達した資金は3億円で、ラウンドはシード。引受先になったのはグロービス・キャピタル・パートナーズ。同社は今回の調達にあわせ、2019年に実施したエンジェルラウンドにおける増資で、有安伸宏氏、辻庸介氏、赤坂優氏の3名から合計5,000万円の出資を受けていることも明らかにした。なお、有安氏がその内3,000万円を出資している。 ピナクルズが提供するのは小売や飲食、製造、物流など人手がかかる「現場」のオペレーションを教育するための動画プラットフォーム「tebiki(テビキ)」。現場のOJTをスマートフォンアプリで撮影することで、短い動画マニュアルを作成することができる。特徴は音声認識と字幕作成で、撮影した動画から自動的にテキストを抽出し、外国人労
1. はじめに 本編は以下記事の続編になります。 前の記事ではAWS側のロールを経由して、GCP側からAWSへキーなし認証を実現することができました。 本編ではその逆で、AWS側からGCPへキーなし認証を実現していきます。 AWSとGCP間はよいお友達笑笑 2. 構成図 GCP側のWorkload IdentityがAWS側のIAMとマッピングします。 マッピング後、Service Accountと連携します。Service Account側でアクセスできるロールを制御しています。 AWS側のEC2が、IAM Roleを利用して、Workloan Identity→Service Account経由し、最終的にCloud Storageを作ることになります。 3. AWS側構築 1.IAM Roleを作成 ユースケース:EC2 権限:AmazonSSMFullAccess(EC2にSSMエ
2020年現在、顧客に提供するITサービス構築を始める際、コスト面や構築スピードの面から、GCPやAWSといったパブリッククラウドサービスの利用を検討することが多くなっています。 少しでも安くITサービスを構築するには、どのパブリッククラウドを利用すればいいか、悩んだ経験はございませんか? 本記事では、GCPとAWSそれぞれ、どのような点にお金がかかり、利用コストにどれくらいの差があるのか、詳しく記載していきます。 GCPとは? コストの比較をする前に、GCPとAWSについて、どのようなクラウドサービスなのか、軽くおさらいをしていきます。 GCP(Google Cloud Platform)は、Googleが提供するクラウドサービスです。 現在クラウドサービスのシェアは世界第4位になります。 TensorFlowやBigQueryといった大規模なデータ分析やAI、Kubernetesといっ
はじめに こんにちは。プロダクトエンジニアグループ所属の@sato-s, @kawaです。普段はSmartHRのオプション機能の開発をしています。この記事では「GitHubのPull Requestごとに動作確認が可能な検証環境をGoogle Cloud上に構築する仕組み」を作った話をご紹介します! 背景 SmartHRでは2022年にインフラをAWSとHerokuからGoogle Cloudへ全面移行しました。(Google Cloudへの全面移行についてはGoogle Cloudの顧客事例として紹介していただき、2022年の Google Cloud Day: Digital ’22 でも登壇を行いました。) 以前はHerokuを利用していたこともあり、Herokuが提供するReview Appsというサービスを活用していました。 Heroku Review Appsとは、GitHub
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 取得してからだいぶ経っていますが、Google Cloud認定資格の中では、Professional Cloud Architectに次いで、Professional Data Engineerを受験する方が多いのかなと思い要点をまとめてみました。 本記事を読んだだけで合格できる、ということを保証するものではありませんので、ご了承ください。 (2024/11/2追記) 2024/10 に本資格を更新した際のアップデートを下記記事にまとめていますので、併せてご参照ください。 もくじ Professional Data Engin
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
【まとめ】Google Cloud Next Tokyo ’24 DAY 2 ブレイクアウト セッション「BNE ゲームタイトルにおけるリリース前後のインフラの最適化と課題」 こんにちは、クラウドエース 技術本部 SRE 部の高橋です。 2024 年 8 月 2 日、Google Cloud のカンファレンス イベント Google Cloud Next Tokyo ’24 DAY 2 が開催され、Google Cloud の生成 AI のコンセプトと実際の活用事例についての発表が行われました。 今回は、Google Cloud Next Tokyo ’24 DAY 2 のブレイクアウト セッション「BNE ゲームタイトルにおけるリリース前後のインフラの最適化と課題」の内容をご紹介します。 このセッションでは、株式会社バンダイナムコエンターテインメント(以下、BNE社)がネットワークをメイ
#はじめに 2020/2/28にGAになったCloud IAM Conditionを試してみたいと思います。 AWSのIAMは以前からリソース名やタグ、Source IPでの認可設定のConditionを記載できてましたが、GCPのCloud IAMにもCloud IAM Conditionという名称で同様の機能が追加になりました。 認可設定を付与する際の条件が設定できます。 #何が出来るのか https://cloud.google.com/iam/docs/conditions-overview 現在、Conditionとして記載できるのは、大きく分けて時刻とリソースの2つになります。 時刻(request.time) リソース(resource) ##マニュアルに記載がある設定例 GCEインスタンス名などのリソース名やタイプを指定した制限(resource.name, resourc
はじめに COVID-19のせいで時間があり余っているため、少しだけ知識のあるJQueryやPython等を使って何かサービスを外部公開できないか考えてみた。 いろいろ考えてみたが、自分が使いたいものを作ってみることにした。それはモバイルSuicaの利用履歴を経費精算に簡単に出せるように編集するというものである。 完成品はこちら https://www.mobilesuica.work 筆者のレベル プログラムを最初に触ったのは25年前に大学の研究でC言語を利用したとき 大学卒業後は全く触れなかったが、10年ほど前にちょこっとRubyとVisual Basicを、2年ほど前からPythonでREST APIを叩くスクリプトを作り始める(自社製品の勉強も含めて) 2020年の2月ぐらいから社内の詳しい人に教えを請う形でJavascript+Python+Dockerという今回のアーキテクチャ
はじめに アクセストークンは1時間ほどで有効期限が切れてしまうため、継続的にAPIを利用するためには定期的にアクセストークンを更新する必要があります。 GUIの場合だと以下のURLから手動で更新が可能ですが、この方法だと自作アプリに組み込めません。 https://developers.google.com/oauthplayground/ そこでcurlコマンドが利用できる、リフレッシュトークンを用いたアクセストークンの取得方法をまとめました。 手順 1. OAuth 2.0 クライアント ID の作成 まずOAuth 2.0 クライアント IDを作成する必要があります。 認証情報画面を開く GCPにログイン後、APIとサービス -> 認証情報 を選択すると認証情報画面が表示されます。 OAuth クライアント ID選択 認証情報を作成を選択し、OAuth クライアント IDを選択してく
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く