Google Compute Engineインスタンス環境下でbqコマンドを使ってBigQueryにデータを投入する | DevelopersIO
アライアンス統括部 サービスグループの しんや です。 DevelopersIOのブログ投稿データを収集・加工・可視化して社内に共有することをここまで実践してきていたのですが、その際に用いている環境にはAmazon Redshiftを活用していました。先日個人的に部署異動(2023年03月01日付けでアライアンス統括部に異動)したのもあり、またデータ連携と可視化の仕組みもよりスムーズに/便利に/広範に連携出来るようにしたいと思い、「社内投稿データ分析環境をBigQueryに載せ替える手順をそれぞれブログにまとめておこう」と思い立ちました。 当エントリではその中から「Google Compute Engineインスタンス環境からbqコマンドを使ってデータをBigQueryに連携する」手順についてまとめておこうと思います。 目次 データ連携イメージ(構成図) Google Cloud:Comp
Google Apps Scriptを使ってSpreadsheetのデータをBigQueryに連携する | DevelopersIO
アライアンス統括部 サービスグループの しんや です。 DevelopersIOのブログ投稿データを収集・加工・可視化して社内に共有することをここまで実践してきていたのですが、その際に用いている環境にはAmazon Redshiftを活用していました。先日個人的に部署異動(2023年03月01日付けでアライアンス統括部に異動)したのもあり、またデータ連携と可視化の仕組みもよりスムーズに/便利に/広範に連携出来るようにしたいと思い、「社内投稿データ分析環境をBigQueryに載せ替える手順をそれぞれブログにまとめておこう」と思い立ちました。 当エントリではその中から「Google Apps Scriptを使ってスプレッドシートのデータをBigQueryに連携する」手順についてまとめておこうと思います。 目次 データ連携イメージ(構成図) 作成・作業手順 実行スクリプト コードの実行 スケジュ
【小ネタ】ChatGPTと共に「21世紀型スキル」の必要性を考えてみた | DevelopersIO
アノテーションのMasashiです。 現在ChatGPTやOpenAIの出現により様々なことができると話題になっており、弊社のブログでも様々なブログ記事の執筆があります。 ChatGPTの記事一覧 ChatGPTの出現により今までの業務効率化などに生かすことができる反面、人にしかできないことは何かを考え始めた方も多いのではないでしょうか。 （私もその一人です） その中で色々調べると21世紀型スキルの重要性が高まってきているという情報もチラホラ聞くため、今回は「21世紀型スキル」の必要性を改めて考えてみました。 ※注1：本記事は個人的見解も含まれておりますため、「そうなんだ」程度に見ていただけますと幸いです。 ※注2：本記事ではChatGPT3.5(無料版)を使用しておりますため、精度は高くない可能性があります。ご了承ください。 21世紀型スキルとは そもそも21世紀型スキルとは何かを改めて
[セッションレポート]Java on Lambda のコールドスタートを乗り越える、これからのサーバーレスアプリケーション(AWS-26) #AWSSummit | DevelopersIO
[セッションレポート]Java on Lambda のコールドスタートを乗り越える、これからのサーバーレスアプリケーション(AWS-26) #AWSSummit こんにちは。AWS事業本部の木村です。 今回は 2023 年 4 月 20 - 21 日にわたって開催された AWS Summit Tokyo 2023 のセッションレポートです。 セッション概要 AWS Lambda は 2014 年に誕生して以来、様々なランタイムをサポートをし、多様なワークロードで利用されています。Java もクラウドに限らず様々な環境で活用をされているプログラミング言語です。一方、これまで Lambda と Java はサーバーレスの特性と言語特性にギャップがあり、起動速度が長い等の課題から活用をすることが難しい場合がありました。ですが今回はその課題を克服し、サーバーレス環境でどのように Java を活用す
![[セッションレポート]Java on Lambda のコールドスタートを乗り越える、これからのサーバーレスアプリケーション(AWS-26) #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92906dcb785a4c93120a3f47650fb23b9bcad275/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Fbnr_AWS_smt_tokyo2023_1200x630_SR.png)
【レポート】 Amazon EC2 のイロハとコスト最適化のキモ AWS-01 #AWSSummit | DevelopersIO
こんにちは。森田です。 本記事はAWS Summit Tokyoで行われたセッション「AWS-01 Amazon EC2 のイロハとコスト最適化のキモ 」のセッションレポートです。 セッション視聴 AWS Summit Tokyoの登録を行うことでオンデマンドで視聴可能です。（現地参加された方は改めての登録は不要です。） セッション概要 スピーカー アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 金融ソリューション本部 ソリューションアーキテクト 阿部 純一郎 氏 セッションで取り上げること Amazon EC2 とは何か Amazon EC2 を利用したシステムの構成検討ポイント Amazon EC2 のコスト最適化手法 セッションの対象者 Amazon EC2 をこれから使い始める方 Amazon EC2 を使っているが使いこなせていないと感じている方 セッションで説明しな
[セッションレポート] 【 SAP / Oracle アプリケーションユーザ必見】 なぜ Enterprise は ERP 向けクラウドに AWS を選んだのか？ #AWSSummit #AWSSummitTokyo | DevelopersIO
[セッションレポート] 【 SAP / Oracle アプリケーションユーザ必見】 なぜ Enterprise は ERP 向けクラウドに AWS を選んだのか？ #AWSSummit #AWSSummitTokyo こんにちは。サービス部の武田です。「【 SAP / Oracle アプリケーションユーザ必見】 なぜ Enterprise は ERP 向けクラウドに AWS を選んだのか？」のセッションを聴講しましたのでレポートします。 こんにちは。サービス部の武田です。 「【 SAP / Oracle アプリケーションユーザ必見】 なぜ Enterprise は ERP 向けクラウドに AWS を選んだのか？」のセッションを聴講しましたのでレポートします。 スピーカー アマゾン ウェブ サービス ジャパン合同会社 ERP事業本部 シニアGTMスペシャリスト 西山 芳生 オンデマンド動画
AWS Builder Labs (セルフペースラボ) の Introduction to AWS Key Management Service をやってみた | DevelopersIO
ラボの指示に従って進めていけば、特につまずくことなく作成できるかと思います。 2. CloudTrail を設定してログを S3 バケットに保存する ここでは CloudTrail を設定していきます。 myTrail という名前の証跡を作成していきましょう。 証跡ログの保存先となる S3 バケット mycloudtrailbucket20230419 もこちらであわせて作成します。 イベントタイプは、管理イベント、データイベント、Insight イベントの全てを選択しましょう。 証跡が作成できました。 こちらもラボの指示通りに設定すれば、特につまずくことなく進めることができると思います。 3. イメージを S3 バケットにアップロードして暗号化する ここでは先ほど作成した S3 バケットに、イメージファイルを KMS の暗号化キーで暗号化してアップロードしていきます。 まずは自身でイメー
VMware Cloud on AWSの初期設定をやってみた 〜SDDCグループ編〜 | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 「VMware Cloud on AWS」では、Software-Defined Data Center (SDDC)という管理単位が存在します。 本エントリでは、初期設定の一環として既に構築したSDDCのグループ化を設定する流れをご紹介します。 公式ドキュメントは以下をご参照ください。 前提条件 前提となる条件を以下にまとめました。 SDDC のバージョンは 1.11 以降必須 マルチリージョン グループのメンバーは、SDDC バージョン 1.15 以降必須 管理ネットワークの CIDR ブロックは、他のグループ メンバーの管理 CIDR ブロックとの重複していないこと 既に別の SDDC グループのメンバーでないこと 手順 (1) VMware Cloud on AWSのインベントリ画面にて、「SDDCグループ」タブを選択し、「グル
ChatGPTのWebUIをローカル環境で実現できる「Chatbot UI」を試してみた | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、ChatGPTのWebUIをローカル環境で実現できるChatbot UIを試してみたいと思います。 本家WebUIとの相違点 まず一番大きな違いとして、Chatbot UIはOpenAIのAPI経由でGPTを利用することから、「オプトインしない限りユーザーが送信したデータが学習に利用されることはない」ということが挙げられます。 逆に言うと本家のWebUIを使う場合、入力情報を学習データとして使用させないようにするためにオプトアウトの申請が必要になります。 ChatGPTのAPIリリースに伴う、OpenAIのAPIデータ利用ポリシーの改定は以下でも紹介されているので、気になった方は読んでみて下さい。 また、細かい点は後述しますが、APIならではのパラメータ設定が可能な点や、会話履歴をJSONでエクスポートできる機能など、本家WebUI
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
Why You Should Use Google Keep on Windows
Google's note-taking app has made a splash on mobile devices, but you definitely shouldn't count out its Windows app just yet. If you're on the hunt for a note-taking app, you're definitely spoiled for choice. However, Google Keep is one of the most versatile note-taking applications. Its features make it easy for you to write, arrange, store, and access your notes on the go, meaning you can get t
VMware Cloud on AWSの初期設定をやってみた 〜vCenterアクセス編〜 | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 「VMware Cloud on AWS」では、AWS環境上にvSphereがデプロイされるため、オンプレではなくクラウド上のvCenterを操作して仮想マシンを実行したりします。 本エントリでは、VMware Cloud on AWSの初期設定の一環として、SDDCをデプロイした後に、vCenterへアクセスするための手順を紹介します。 公式ドキュメントは以下をご参照ください。 実施した内容 ゲートウェイ ファイアウォールの設定 vCenterへアクセス vCenterのパスワード変更 手順 ファイアウォールの設定 (1) vCenterを開きたいSDDCの「詳細を表示」をクリックします。 (2) 「ネットワークとセキュリティ」タブをクリックし、左メニューの「ゲートウェイ ファイアウォール」を選択します。 (3) 管理ゲートウェイ タ
7 Incredible Ways ChatGPT Can Enhance Your Workday Productivity
Looking to boost your workday productivity? Here are some incredible ways ChatGPT can help streamline your workflow and increase efficiency. ChatGPT is an artificial intelligence chatbot capable of mimicking human-like conversations. This large language model can act as your personal assistant; providing personalized responses based on your inputs, helping you work smarter, and boosting your produ
Amazon EFS ハンズオン（構成図あり） | DevelopersIO
コーヒーが好きな emi です。 EFS を利用する機会がありましたので、AWS マネジメントコンソールを使ったハンズオンを作成しました。 EFS に関するコンポーネントについてと、それらはどこに作成されるのかを理解するのに苦労したので、構成図を随所に用意しています。ご参考になれば幸いです。 全体構成 ハンズオン終了時にできる全体構成は以下のようになります。 手元の端末からセッションマネージャー経由で EC2 インスタンスに接続し、EFS ファイルシステムを利用できる状態を目指します。 事前準備 EFS 自体の作成を始める前に、EFS ファイルシステムをマウントするための EC2 インスタンスを作成します。 事前準備では以下のリソースを作成します。 VPC（VPC、サブネット、NAT Gateway） IAM ロール EC2 インスタンス VPC VPC、サブネット、NAT Gateway
試験で使える!!Cloud SQLの基礎知識（Google Cloud） | DevelopersIO
今回も資格試験、初級者向け用にCloud SQLを解説していきます。試験や初学者の知識として、特に求められることは「そのリソースの特徴を理解できているか」に尽きると思います（個人的に）。Cloud SQLの概要を掴み、ぜひ学習に役立ててください。 初めに Cloud SQLとはGoogle Cloud（旧GCP）内でMySQL、PostgreSQL、SQL Serverを運用できるマネージドサービスになります。 オンプレミスからの移行の選択肢としても多く採用され、機能も豊富なためRDBMS（リレーショナルデータベース管理システム）としては、まず最初に考える第一選択肢となります。 今回はその基本的な仕組みと機能について、解説していきます。 まず初めにRDBMSの簡単な解説をするので、Cloud SQLの構造から知りたい方は、左にある目次メニューからバックアップ機能を選択して、RDBMSとはを
考える技法――思考の3つのモードを使い分ける | タイム・コンサルタントの日誌から
考え事をするのが、趣味である。あなたの趣味はなんですかと、もし聞かれたら、読書とか音楽とか、当たり障りのない答えをするかもしれない。でも、本当の趣味は何かと自問したら、きっと「考える」ことなのだろう。暇さえあれば、考え事をしている。趣味とは自由な時間ができたとき、真っ先にすることだとしたら、「思考」がわたしの趣味なのだ。 何を考えるのかって？ いろいろなことをだ。仕事に関わることを考えることもあるが、職場を離れたら、それ以外のことを考えることの方が多い。それも具体的な問題より、抽象的な問題を考えることを好む。じつは最近、ずっと休眠していたTwitterのアカウント（tomoichi_sato ）を復活させ、毎日思いついた思考のエレメントというか、フラグメントを少しずつ流している。ご興味があったら参照されたい。 ちなみに、このところしばらくは、SCMに関わる「システム＝仕組み」というものの性
Project Valhalla 2023 - プログラマーの脳みそ
2023/03/30 にやったJava仕様勉強会の動画が公開されました。当日はJavaのマスコットDuke風の服で臨みました（どうでもいい裏情報） www.youtube.com セッション資料もアップロードしたので参考にしてください。 Project Valhalla 2023 中間報告 いずれも 2023年3月時点での情報です。JEPもドラフト版だったりするので、将来的に変更が入る可能性が高いことをお断りしておきます。本稿では勉強会のセッション内容に加えて、セッション時点で追従できていなかった変更点や、勉強会での指摘を踏まえてフォローアップした内容を含みます。 もしもValhalla世界でJava入門したら ここでは、Valhalla導入後のJava世界だと入門者視点でどのように変わるのかというアプローチをしています。まず、Javaのデータ型は大きくふたつに分類できて、Identity
OSの入っていたSSDをEFIや回復パーティションも含めて初期化する方法 : 自作とゲームと趣味の日々
2016年12月23日21:22 （注：商品価格は執筆当時のものです。販売ページリンクにはアフィリエイトを含みます） OSの入っていたSSDをEFIや回復パーティションも含めて初期化する方法 wisteriear コメント(7) タグ ：#ストレージ_レビュー スポンサードリンク SSDのレビューなどでOSを入れたり削除したりを繰り返すことが多いので、OSの入っていたSSDをEFIや回復パーティションも含めて削除して完全に初期化する方法を備忘録的に紹介します。 まずはコントロールパネルの「ディスク管理」から初期化したいストレージが接続されているか確認します。 タスクバーの検索から「コマンド プロンプト」（スペースを忘れずに）を検索して、右クリックから「管理者として実行」を選択します。 コマンドプロンプトが表示されたら「diskpart」と入力します。 続いて「list disk」と入力しま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「初級から上級までセキュアなAWS環境の作り方」というタイトルでAWS Summit Tokyoのクラスメソッドブースでミニセッションしました #AWSSummit | DevelopersIO
Windows起動時に意図せぬアプリが自動で立ち上がるのを無効化する方法 | ライフハッカー・ジャパン
