はてなブックマーク

この記事は基本的にGKEでの利用を想定して解説していますが、AWS等他のプロバイダでも大きくは変わりません。適時読み替えてもらえると。 クラスタオートスケーラーの課題点 kubernetesでNodeのオートスケールは、ざっくり説明すると以下のような流れになる訳ですが・・・ Podの負荷が上がり、HPAによって新しいPodがスケジューリングされる PodをスケジューリングさせるためのNodeが不足して、新しいNodeが立ち上がる 新しいNodeにPodが立ち上がる このスケーリングには少々問題がありまして、新しいNodeがすぐに有効活用されるかと言えば、そうでも無いんですよね・・・ 時間が経つに連れて新しいNodeにもPodが増えますし、負荷も分散されて行くでしょう。しかし、すでに負荷が上がりきっている既存Nodeに配置されているPodが再スケジューリングされる訳では無いので、急なスパイク

経緯 kubernetesのローカル開発環境といえば、skaffoldを使うのがポピュラーなのかと思います。まあ、あんまり他所の事情は知りませんが・・・ しかし、個人的にskaffold devを使うのってあんまり好きじゃないんですよね・・・例えば以下のような理由です。 毎回build・Pod再起動するの時間がかかる GoとかのImageならマシだが、Railsとかだと遅さが目立つ DockerImageがどんどん増える 自分はDocker for Mac使ってるので、ローカルのDocker環境が汚染されるのもイヤ 当然容量も圧迫する。特にRailsとかだと顕著。 DockerImage増える問題に関しては、kanikoを利用すれば問題にならないかもしれませんが、build・再起動に時間かかる問題に関してはどうしようもありません。それに落ち着いて考えると、コード変更が入るたびにdocker

BerglasはGoogleが先日公開した、GCP向けの新しいシークレット管理ツールです。 内部的にはCloud KMSとCloud Storageが使われているみたいですね。 GKE、Cloud Functions、Cloud Build、Cloud Run等から比較的簡単に、登録した秘匿情報を取得することができそうです。 セットアップ gloudコマンドの導入や、アカウントの認証などは完了している前提で進めます。 BerglasはGoのパッケージとして動作するので、まずはこちらをインストールします(Goの環境構築に関しての説明は省きます)。 go get github.com/GoogleCloudPlatform/berglas/... go install github.com/GoogleCloudPlatform/berglas

Cloud Codeとは？ クラウドネイティブなアプリケーションを簡単かつ迅速に管理・操作するためのエディタ拡張といった感じでしょうか。 VS CodeとIntelliJで提供されるみたいです。 要するにエディタ・IDE上でk8sクラスタを操作できる拡張機能ですね。 VS Codeで使ってみた ちょうど使ってるエディタがVS Codeなので、早速導入してみました。 導入方法としては、普通に拡張機能の追加からcloud codeで探すと出てくるのでインストールするだけです。 するとサイドバーにアイコンが出るので、ここから色々できます。また、当然ですがコマンドパレットからも各種機能にアクセスできます。 何ができるのか 各種リソースの設定を直接編集・反映 サイドバーのツリービューから各種リソースのマニフェストファイルを開く事が可能です。 さらに、それを編集して保存すると以下のようなalertが出

概要 Google Cloud RunはAWS Fargateの様な物っぽい DockerImageベースのサービスがhttpsのURL付きで10秒ほどで立ち上がる Cloud Runとは？ ある日の昼下がり、いつものようにGCPのコンソールを触っていると、Cloud Runという見慣れないものが目に入りました。 以下はスタート画面?のスクショになります。 なるほど、説明を見る限りAWSで言う所のFargateのようなものみたいですね。フルマネージドで使えるだけでなく、GKE上で実行することもできるみたいです。 試してみた 詳しい情報を求めてドキュメントのリンクをクリックしてみましたが、現段階だといずれも404になってしまいます。コンソールから得られる情報を頼りに、手探りで試すしかないようです。 19年4月9日追記 ドキュメント公開されたみたいです。 https://cloud.googl

概要 GCEのプリエンプティブVMを延べ60日モニタリングしてみた 24時間以内に落とされることは1回しかなかった プリエンプティブVMとは？ Google Cloud Platform(以下GCP)で提供されているプリエンプティブVMは通常の約7割引の価格で利用できるお得なVMです。以下は公式の料金表記で、通常の3分の1以下の料金であることが確認できると思います。 詳細な仕様に関しては、以下のリンクが詳しいです。 プリエンプティブ VM インスタンス プリエンプティブVMの制限 プリエンプティブルは格安で利用できる代わりに、以下のような制限があります。 GCP側の都合で、いつでもVMが強制終了される可能性がある プリエンプティブVMは最大でも24時間で強制終了される 24時間以内に強制終了させられることはどのくらいあるのか？ プリエンプティブVMは、GCP側の都合でいつでも強制終了させら

ActiveJob::Arguments#serializeとは ActiveJobの引数にActiveRecordオブジェクトのインスタンスを渡すと、それはシリアライズされずに、Global IDというURIに変換されます。 これを実現しているのが、ActiveJob::Arguments#serializeとActiveJob::Arguments#deserializeです。 例えば、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この記事はPORT Advent Calendar7日目の穴埋めです。 Ruby on Railsの高速化戦略として最もポピュラーなのは、Fragment CacheやローレベルCacheの活用だと思います。私の所属しているチームが運用しているキャリアパーク!でも、多くのページでこれらのキャッシュが使用されています。 キャッシュストアへのアクセス遅延 Railsでキャッシュを活用する場合、多くはバックエンドのデータストアとしてRedisもしくはMemcacheが用いられます。 これらのデータストアはAmazon ElasticCacheなどのクラウドサービスを用いてネットワーク上に設置するのが一般的です。ローカル環境で開発しているとついつい忘れがちなのですが、ネットワーク上に存在するキャッシュストアにアクセスする際には、ネットワークを介することによる遅延が発生してしまいます(多くの場合にお

この記事はPORT Advent Calendar16日目の記事です。 先日Google Homeをもらったので、何か画期的な事がしたかったのですが、なかなか思いつきません。大抵やり尽くされてるので・・・ なので今回は軽い内容でお茶を濁します。 概要 Github上で新しいPull Requestが上がったらGoogle Homeが喋って教えてくれる感じのやつ。 今回は簡易的にPull Requestだけを扱いますが、同様の方法でコメントやMergeの通知も可能です。 必要なもの 動かすためには最低限以下のものが必要です。適宜導入して下さい。 5.0以上のRails ngrok node.js APIサーバーの作成 Githubのイベントを受け取って処理するためのサーバーを作成します。今回はRailsのAPIモードで作成しました。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Ridgepoleは、rails標準のmigrateに代わるDBスキーマ管理ツールです。 Ridgepoleを使ってみる クックパッドにおける最近のActiveRecord運用事情 現在弊社で随時開発中のRails製新規サービスにおいて、DBのスキーマ管理ツールとして、Ridgepoleを導入することが決定しました。そこでRidgepoleを導入するにあたって、悩んだ点やハマった点などをまとめてみました。 環境 Ruby 2.3.1 Rails 5 MySQL 5.7 Point 1. インストール 普通にインストールしようとしたら、Rails5環境には入りませんでした。そこで、正式リリース前の最新ブランチでインストールすると、うまく入りました。 2017/3/18追記 最新のバージョンがリリースされたことで、Rails5でも普通に入るようになりました。

Ruby Advent Calendar 2016の3日目が空いてたので、代わりに投稿してみました。Rubyのちょいネタです。 Rubyでは演算子の多くが再定義可能です。 Ruby 2.2.0 リファレンスマニュアル > 演算子式 再定義可能な演算子の中にバッククォート(`)があるのですが、バッククォートの再定義ってどんな挙動になるのかちょっと想像できません。 なので色々試してみました。 コマンド出力リテラルが再定義できた 結論から言うと、コマンド出力のリテラルが再定義できました。バッククォートで囲まれた文字列をコマンドとして実行するアレですね。

RailsでのHTML生成は、Nokogiri::HTML::Builderを使えばキレイに書ける(かも)RubyRails 最近、Rails製自社サービスのリファクタリングとして、viewに書いていたロジックをdecoratorに移行させる作業を行っているのですが、htmlタグの生成方法に悩んでおります。 content_tagは使いたくない Railsには、htmlタグを生成する汎用的なヘルパーメソッドとして、"content_tag" があります。 例えば以下のような感じでhtmlを生成することができます。 content_tag(:div) do concat content_tag(:h3, 'タイトル') concat content_tag(:p, 'テキスト') concat( content_tag(:ul) do concat content_tag(:li, 'リスト

elasticsearchでは、fuzzy queryの機能を用いることで、いわゆる曖昧検索を実現することができます。これにより、検索クエリ文字列のタイプミス(挿入、欠落、置換等)を吸収することが可能です。 簡単なサンプル 例えば、"title" というフィールドに、以下のような値が登録されているとします。tokenizerには一般的なkuromoji_tokenizerを使用しているとします。

environmentの情報を保持しているだけみたいです。 Rails 5で追加された、DB誤爆削除防止機能だった 気になったので調べてみました。どうやら、Rails5から追加された新機能で、DBの不用意な削除を防止するための機能に必要なテーブルみたいです。 具体的には、environmentがproductionの時に、以下のタスクを実行すると例外が発生します(他にもあるかも)。 >RAILS_ENV=production rails db:drop rails aborted! ActiveRecord::ProtectedEnvironmentError: You are attempting to run a destructive action against your 'production' database. If you are sure you want to cont

とかしますよね。 しかし、もしも判断させたい条件が10個以上とかある場合は、どうするのが良いのでしょうか。 とりあえず、次のような方法を使ってみました(2016/07/25- @yancyaさんのコメントを元に修正)。 def filter(judges) yield if judges.all? end # 条件1~5はifで判断する文 judges = [] judges << 条件1 judges << 条件2 judges << 条件3 judges << 条件4 judges << 条件5 # 全ての条件に通過した場合のみ、ブロック内の式が実行 filter(judges) do puts 'pass' end n = 15 judges = [] judges << (n > 10) judges << (n < 20) judges << (n % 2 != 0) judge

"文章の類似度によるレコメンド"をRubyで実現しようとして、色々探しました。実現できそうなGemがいくつか見つかったので試してみたのですが、いずれも問題があって使用を断念しました。なので自分で実装します。 類似度計算のアルゴリズムとしては、TF-IDF Cos類似度推定法を用います。 参考：TF-IDF Cos類似度推定法 全体の流れ 文章を分かち書き 名詞と形容詞以外を除外 TFIDFの低い単語を除外 重複なし単語リストを作成 各文章をベクトル化 入力文章のベクトルとCos類似度の高いベクトルを持つ文章を探す 目的 具体的な作業目標としては、特定の文章 1件を入力値として与えた場合に、その文章と類似度が高い文章を数件レコメンドしてくれる装置を作成することです。以下のようなイメージでしょうか。 この文章(id = 1)に似ている文章をお勧めして下さい。 ↓ その文章(id = 1)と似て

Rubyで機械学習とか自然言語処理を扱えるライブラリってホント少ないですよね。あるにはあるけど開発止まってるものが多いですし。Python使えって話ですが、やっぱりRubyで書きたいです。 というわけで、単純ベイズ分類器や潜在的意味解析をRubyで扱えるGemであるclassifier-rebornを使ってみました。classifier-rebornはjekyllのチームが開発しているGemで、とても簡単に文章の分類が行えます。 分類器の説明に関しては割愛します。以下の投稿が詳しいです。 ナイーブベイズ分類器を頑張って丁寧に解説してみる 今回は、2chから引っ張ってきたSS(ショートストーリー:二次創作の短編小説のようなもの)をジャンルごとに分類する作業を通して、精度の検証を行いました。 Introduction インストール いつも通りgem installします。依存gemとしてfas

先日User Localが人工知能ボットAPIを公開しました。ボット開発に必要な自然言語処理ライブラリを集約したもので、現時点で以下のような機能が提供されています。 全自動会話API 氏名自動識別API キャラクター会話API 形態素解析API 国産のボット作成サービスということで、前々から気になっていたので早速手を出してみました。今回は全自動会話APIを使ってLINEボットを作成しました。 機能確認 準備 利用するためにはここから会員登録が必要で、現在、第2期募集を行っています。自分は第一期に申し込んで、6月15日にAPIキーが届きました。今から申し込んだ場合は、利用できるまでに若干時間がかかるかもしれません。ただし、会員登録しなくても試用する方法は用意されています。 また、今回はBot実装にあたって、Ruby、sinatra、heroku、LINE BOT API等を利用しています。

Railsの認証機能実装gemといえばdeviseが有名だと思う。deviseを使うと実装そのものはとても簡単に実現できるのだが、内部構造が複雑なため、漫然と使うのは少し不安。そこで、別の認証gemであるsorceryを使用してみた。 基本的には公式のtutorial通りだけど所々違います。 環境 ruby 2.0 rails 4.2 テンプレートエンジン slim 準備 まずは以下のgemを追加してbundle installする。