D.M. です。10年以上に渡って小さなリニューアルを繰り返しながら運営している GMO ポイントですが、2018年11月に Docker / Kubernetes を導入しました。導入のモチベーションとしてはそろそろコンテナ技術を使いこなして依存ライブラリのヴァージョンアップとかを行えるようにしたいといったあたりでした。全くダウンすることなくだいたい1年運用できましたのでどんな感じになのかをご紹介します。
![Kubernetes をオンプレの本番環境に導入してそろそろ1年経つよっていう話 - GMOインターネットグループ グループ研究開発本部](https://cdn-ak-scissors.b.st-hatena.com/image/square/4bfbb01dc652229d5e45ab0c0ab69d6274a11430/height=288;version=1;width=512/https%3A%2F%2F202402071126a4ny5av7.conohawing.com%2Fprod%2Fwp-content%2Fuploads%2Fcluster_image-2-150x150.gif)
D.M. です。10年以上に渡って小さなリニューアルを繰り返しながら運営している GMO ポイントですが、2018年11月に Docker / Kubernetes を導入しました。導入のモチベーションとしてはそろそろコンテナ技術を使いこなして依存ライブラリのヴァージョンアップとかを行えるようにしたいといったあたりでした。全くダウンすることなくだいたい1年運用できましたのでどんな感じになのかをご紹介します。
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験 Kubernetes-nativeなエコシステムを実現する最強テストベッド環境です。さまざまなミドルウェアを運用したマイクロサービスをフルgRPCなサービス間通信で実現するだけでなく、CI/CDと開発環境も用意しています。 こんにちは。株式会社サイバーエージェントのAI事業本部でインフラエンジニアをしている青山真也(@amsy810)と漆田瑞樹(@zuiurs)です。今回は、Kubernetesが好きな2人が考える最強のKubernetes-nativeなお試し環境を構築してみました。記事公開時点で、総コミット数が900に迫るリポジトリになっています。 現在、Kubernetesとそれを取り巻くエコシステムは急速に発達しており、便利なツールやミドルウェアが日々生まれています。これは
Auto Scalingする前に知っておいてほしい7つの疑問とその答えについて解説していきます。 これから、あなたのAWSインフラ環境でAuto Scalingをしたいと思っている人やそもそもAuto Scalingってなに?という初心者の人にぜひとも読んでいただきたいです。 そのため、極力専門用語を使わずに解説していきます。 それでは、早速1つ目の疑問からいっていきましょう。 Auto Scaling(オートスケーリング)ってなに? そもそもAuto Scaling(オートスケーリング)とは何か知っていますか。 すでに知っている人も少なくないとは思いますが、ここで一度Auto Scalingについて簡単におさらいしておきましょう。 AWSのHP公式ページではこのように説明しています。 AWS Auto Scaling はアプリケーションを監視し、安定した予測可能なパフォーマンスを可能な限
AWS Startup Meetup #13 LT 登壇資料です。 Infrastructure as Code(IaC)を導入したものの、IaC化した恩恵が思っていたより少なく、IaCで基盤を統一していく方針を転換していった話をご紹介します。
言いたいこと IaCの運用がビジネスのスピードに合わなくなってきている IaCが辛い原因は考え方じゃなくてツールにあると思う Terraform のmoduleの再利用性がないのは DI ができないから DIのできるインフラ構築ツールがでてくれば、インフラ構築の大変さが劇的に変わる(はず) 発端: IaC って辛いよね 発端となったのはこちらのスライドです。 Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する 簡単に説明すると、「IaCっていい加減つらいよね。なんでもかんでもCode化すればいいってもんじゃないよね。」という話です。 辛みについてはすごく共感できましたが、ただ、ここに語られてることって、 IaCの辛さじゃなくて、terraform の辛さだと思うんです。 ツールが現状の運用のニーズに合わなくなってきただけだと思うんです。 Ter
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
IAMロールの作成 ecsTaskExecutionRole ecsTaskExecutionRoleの実行ポリシーはAWS管理ポリシーのAmazonECSTaskExecutionRolePolicyです。 信頼ポリシーは、ecs-tasks.amazonaws.comからのリクエストを許可します。 これは、ロール作成時に「Elastic Container Service Task」を選択することで設定されました。 CodeDeployECSRole AWS管理ポリシーはAWSCodeDeployRoleForECSです。 信頼ポリシーは、codedeploy.amazonaws.comからのリクエストを許可します。 ロール作成時に「CodeDeploy – ECS」を選択することで設定されました。 イメージを作成してECRにプッシュ CloudShellでできないかなと思ったのですが
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない!」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力=価値創出
アジャイルを展開していくうえで、現場の開発チームがどう振る舞えばいいかは具体的なテクニックがあるのですが、「偉い人」がどう振る舞うべきかについての情報が少ない気がしたので整理します。なお、僕の元ツイートはこちらからの一連です。 アジャイルを推進している偉い人の中にはスプリントレビューに出るなど、マイクロマネジメントになりがちな人がいる。理由を聞いたら「成果物が、普通に考えたらそうならないでしょ、みたいなものを作るから目を離せない」という。進言したのは「それはチームに考えさせてないからですよ」(続— 鈴木雄介/Yusuke SUZUKI (@yusuke_arclamp) 2023年2月4日 前提 偉い人、とは 偉い人は関わりすぎてはいけない なぜ、チームは普通に考えないのか 偉い人が関わらないのもダメ 偉い人は適切に関わる 追記 前提 この議論において「そもそも、偉い人やPOやエンジニアに
今年もいい映画といい感想記事に出会いたい! 毎日さまざまな話題のエントリーが生まれるはてなブログの中から「旬な話題」をピックアップする企画「はてなブログで話題」。今回は「2022年ベスト映画」をテーマに記事を紹介します。 2022年はどんな映画を観ましたか? はてなブログでは、年末年始にかけて、2022年に観てよかった映画について語るエントリーが数多く投稿されました。映画から1年間の思い出をたぐりよせるのも楽しそうです。 そこで本特集では、「ベスト映画2022」をテーマに、はてなブロガーたちが2022年に観てよかった映画をご紹介します! 『RRR』 「意味不明な感情」が湧きあがった もっと話題になるべき作品 『NOPE/ノープ』 興奮しっぱなし こちらの期待を大きく上回る出来映え 『トップガン マーヴェリック』 とにかく驚き、やたらとエキサイトした 大好きなものがすべて詰まった作品 かっこ
Open SourceのETL(今のところExtract Transform LoadのうちExtractとLoadメインみたい)ツール、Airbyteを試してみました。TechCrunchでは、オープンソースのデータパイプラインプラットフォームとして紹介されていました。 airbyte.io jp.techcrunch.com 用意されているSourceとDestinationを組み合わせて、スケジュールを実行の設定ができます。差分更新ができるコネクターが限られていたりはしますが、シンプルに散在しているデータをBigQueryってときとかは使えるかもしれません。 GCPで試してみようということで、インストールはこちらの公式ページの手順に忠実にやりました。要はDockerで一発ってことですね。 On GCP (Compute Engine) - Airbyte Documentation
恥ずかしながら最近になって知ったワークフローエンジン Apache Airflow。日本語の紹介記事もちらほら出てきていますが、公式ドキュメントをちょっとずつ抄訳しながら読んでいこうと思います。 今回はまずはじめに(Home / Apache Airflow Documentation)。 バージョン2.3.3時点のものです。 はじめに Airflowはプログラムによりワークフローを設計し、スケジュールし、監視するためのプラットフォームです。 複数タスクからなる有向非巡回グラフ(DAG)としてワークフローを作成することができます。 一連のワーカー上でタスクを実行します。 リッチなコマンドラインユーティリティによりDAGに対する複雑なオペをいともたやすく実現できます。 リッチなUIのおかげで本番環境で実行されているパイプラインの可視化、進捗の監視、そして必要なら問題発生時のトラブルシューティ
どの企業も財政の引き締めを図っていますが、データだけは例外です。 モダンデータスタックに不況の兆しは見えず、SnowflakeのCEOであるFrank Slootmanは、年次ユーザーカンファレンスで、雇用計画に遅れが出ることはないだろうと述べています。CNBC技術委員会の幹部は、テクノロジーへの投資はコストセンターではなく、ビジネスの推進力であると指摘しました。さらに、Foundryのクラウドコンピューティング年間調査では、クラウドアナリティクスが最大の成長要因として挙げられています。 デジタル経済がこのデータ分野の成長を後押ししています。一方、特にモダンデータスタックでは、俊敏性とTime to Value(価値実現までの時間)が技術者やビジネスリーダーを鼓舞する要素となっています。 この記事では、モダンデータスタックをいち早く採用した企業によるベストプラクティス10選をご紹介します。
はじめに 基礎技術研究室リサーチエンジニアの茂木です。今回は、あまりこれまでの記事にはなかった、開発環境の話をします。 Poetry と Docker をいい感じに併用する方法を探った話です。 Poetry Poetry は、Python のパッケージ・仮想環境の管理ができます。 Poetry を用いてライブラリをインストールすることで依存関係が解決されて lockfile が生成されます。 また、今回はあまり触れませんが、setup.py を書かずにプロジェクトの build や PyPI への publish もできます。 Docker と Poetry の併用 Poetry を使用することでモダンに Python での開発ができるわけですが、一方で開発環境といえば、外せない話題があります。 Docker です。 Docker は、production 環境でも使われますし、開発環境で
Poetryプロジェクトを開発するためのDockerコンテナ 特定のPythonバージョンの環境で、Poetryプロジェクトを作成できるDockerfileを作ったので、忘れる前にメモ。Pyenv,Poetryの組み合わせでも出来るのですが、Docker使うのもありかなと思い作りました。 ディレクトリ構成 ファイル/フォルダの構成はこのようにしました。 usr@raspi:~/data/poeonly $ tree . ├── Dockerfile_vFalse ├── Dockerfile_vTrue └── src Dockerfile_vFalse Poetry仮想環境を作成しないDockerコンテナ Dockerfile_vTrue Poetry仮想環境を作成するDockerコンテナ src Dockerコンテナ上の /work/src/ としてバインドするディレクトリ Docke
はじめに この記事は以前書いたpipenvとGitとDockerを使ったPython開発フローの姉妹記事です。Pipenvの開発があまり活発ではなくなった現在、Pythonを使ったプロジェクトではPoetryを使う場面もぼちぼち出てくると思います。そこで改めてPoetryを使った開発フローについてまとめ直してみようと思います。 全体の流れ 開発環境のインストール プロジェクトの初期化 Docker化 前提環境 Python 3.x UnixライクなOS 開発環境のインストール Poetryのインストール たいていの場合お使いのOS付属のパッケージマネージャーからインストールすることができると思います。 macOSの場合
ワークフローを管理するソフトウェア「Apache Airflow」に入門する.今までは本当にザッと試した程度の経験しかなく,テックブログに記事を書いたことすらなかった.幅広くある機能を試しながら学習ログを記事にしていく.今回は Airflow の検証環境を構築して画面と CLI と REST API で操作するところまでまとめていく💪 なお Airflow の原則と特徴は公式サイトに載っている. Principles(原則) Scalable(スケーラブル) Dynamic(ダイナミック) Extensible(拡張可能) Elegant(エレガント) Features(特徴) Pure Python(標準の Pyhon 実装) Useful UI(便利な UI) Robust Integrations(堅牢な統合) Easy to Use(使いやすさ) Open Source(オープン
Open SourceのETL(今のところExtract Transform LoadのうちExtractとLoadメインみたい)ツール、Airbyteを試してみました。TechCrunchでは、オープンソースのデータパイプラインプラットフォームとして紹介されていました。 airbyte.io jp.techcrunch.com 用意されているSourceとDestinationを組み合わせて、スケジュールを実行の設定ができます。差分更新ができるコネクターが限られていたりはしますが、シンプルに散在しているデータをBigQueryってときとかは使えるかもしれません。 GCPで試してみようということで、インストールはこちらの公式ページの手順に忠実にやりました。要はDockerで一発ってことですね。 On GCP (Compute Engine) – Airbyte Documentation
さがらです。 dbtvaultのSnowflakeのサンプルデータ(TPC-H)を用いたWorked exmpleを試してみたので、その内容をまとめてみます。 より具体的には、以下のリンク先の内容に取り組んでいきます。 Getting Started Project setup Profiling TPC-H Creating the stage layers Loading the vault dbtvaultとは 改めてdbtvaultとは、dbtでData Vault 2.0を用いたモデリングを行うためのdbt packageです。 そして、このdbtvaultに採用されているData Vaultとは、ざっくり言うと「データの数や仕様に変動があっても変更履歴を柔軟に保持し、特定日時のデータをいつでも検索できるモデリング手法」です。 Data Vaultのメリット ここでData Va
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く