AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
GCPサービスで構築したインフラをAWSと比較してみる
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(コンピューティング編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... 今回は「GCPサービスで構築された
AWS SAPを取得したら視野が広がった話
この記事は GMOアドマーケティング Advent Calendar 2021 23日目の記事です。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「無事故でPostgreSQLバージョンアップ兼Cloud SQLへ移行した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWSエンジニアから見たGCPサービス(DB/ストレージ編)」を読んでいただいた方々、ありがとうございます。今回は、GCPのマネージドサービスであるCloud SQLへPostgreSQLのバージョンアップも兼ねて無事故で移行した時に思ったこと・気づいたことがたくさんあったので、それについてお話しいたします。移行の経緯約1年前、女子向けメディア「めるも」はオンプレ環境からGCPへほぼ既存構成のま
無事故でPostgreSQLバージョンアップ兼Cloud SQLへ移行した話
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(DB/ストレージ編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 今回は「AWSエンジニアから見たGCP」をテーマにし、いくつかのDB/ストレージ系のGCPサービスについてAWSと比較し感じた点についてお話いたします。 オブジェクトストレージCloud StorageAWSではS3に相当するストレージサービス。ストレージクラスの概念や耐久性(イレブンナイン)、ライフサイクルルール/ACLでのアク... 今回は、GC
業務でどれだけSQL力がつくのか ~SQLアンチパターンを用いて確認~ 後編
はじめにこんにちは。GMOアドマーケティングのKONCEです。新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → ... 今回は後編です。 今回も 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅲ部 クエリのアンチパターン 2-1. [△]13章 フェア・オブ・ジ・アンノウン（恐怖のunknown） 2-2
業務でどれだけSQL力がつくのか ~SQLアンチパターンを用いて確認~ 前編
はじめに こんにちは。 GMOアドマーケティングのKONCEです。 新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。 今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。 今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅰ部 データベース論理設計のアンチパターン 2-1. [○]1章 ジェイウォーク（信号無視） 2-2. [×]2章 ナイーブツリー（素朴な木） 2-3. [○]3章 IDリクワイアド（とりあえずID） 2
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
アプリエンジニアのAnsible入門
自宅で執筆してますGMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 コロナの影響で私の生活環境は大きく変わりましたが、私は元気です。 今日はGMOSSPの環境構築、リリースなどで活躍しているAnsibleに触れる機会がありましたので、 Ansible初心者の私がAnsibleのPlaybookを修正して本番環境に反映するまでをコードと共にご紹介します。 Ansibleの知識が全くないため、Ansible構築・運用ガイドブックを参考に既存のコードを読み解いていきました。 こちらの本は弊社のインフラチームに良本だとお墨付きをもらい、じっくり読み込んでなんとなく理解が深まりました。 ではさっそく、Ansible独自?の用語と合わせて、設定方法をご紹介します。 インベントリ Ansible適用対象のホストを記載します。その際にホストグループを設定する事ができます。 書き方的
kind (Kubernetes in Docker) を試してみる
こんにちは。GMO NIKKO の Y.S です。 先日、kind という ローカル環境でマルチノードな Kubernetes クラスタを動かすことができるツールがあることを知り、試してみたので紹介します。kind という名前は docker in docker の dind 風に、Kubernetes-in–Docker で kind とのことです。 Docker 上のコンテナを Kubernetes のワーカーノードとして利用することで、Kubernetes クラスタを構築し、ローカル環境で Minikube のようなシングルノードではできないマルチノードなクラスタを動作させることができます。 また、高速・軽量・クラスプラットフォームという特徴があり、ローカル環境だでけなく、CI のテスト環境にもよく利用されているようです。例えば、Kubernetes 本体のテストでも使用されています
MeCabへユーザー辞書を追加する方法
こんにちは、GMOアドマーケティングのS.Rです。 NLP（自然言語処理）は機械学習の中でも人気な分野の一つです。 今回は日本語のNLPで重要な処理である形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介します。 1. NLPの基本処理プロセス 日本語を英語へ機械翻訳する例で説明します。 基本処理プロセスは図1の通りです。形態素解析は日本語に関するNLP処理の最初のプロセスです。 図1. 機械翻訳の処理の流れ 2. 形態素解析とは 形態素解析については以下のWikipediaの解説をご覧ください。 形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の
Google Cloud Functionsを利用してSlackからRedmineへのチケット登録を作った
はじめに こんにちは、 GMOアドマーケティング 開発本部 本部長のクリスです。 インフラチームのマネージャーも兼任してます。 先日、インフラチームのために、 Google Cloud Functionsを使ってSlackで依頼されたタスクを自動的にRedmineに登録する仕組みを作りました。今回、そちらについて紹介したいと思います。 普段マネジメントがメインですが、久しぶりに開発ができてとても楽しかったです。 背景 最近、プロダクトの増加に連れて、インフラチームへのタスク依頼も増えています。 会社ではSlackを使っていますが、コミュニケーションが取りやすい分、インフラへの依頼があちこちのチャンネルに分散されている状態でした。 ・マネジメント側としては、タスクの依頼状況の全体がみえず、フォロー、調整がしにくい ・インフラエンジニア側としては、タスクのチケット登録に追われ、あちこちのチャン
不要なコメント行を表示させない方法を1コマンド化してみた
重度の面倒くさがりのGMOアドマーケティングのK.Aです 今回、前回予告した内容とは違うことを紹介します。 ミドルウェアのデフォルト設定ファイルはとにかくコメント行が多い。 不要な情報ではないけど、きっと今ではコメントを参照するより、インターネットで検索したほうが明確な答えが得られるのではないだろうか。 長いコメント行を見る度に、そんな思いに駆られる。 なので、コメントの長いファイルの内容を参照する場合などは、以下のコマンドを良く使う。 $ egrep -v -e '^\s*#' -e '^\s*$' -e '^\s*;' hoge.conf コマンドの意味を言いあらわすと 行頭の文字が「＃＄；」のいずれかだった場合、その行は除外する だ。 ただ、これを毎回入力するのは少々面倒なので、適当なファイルに保存して実行権限を付与する。 そしてそのファイルにパイプ渡しする。例とするならこんな感じ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
