はてなブックマーク

kubernetesのマネージド・サービスであるGKE,自分も利用していますが、まだまだ情報が少なくベストプラクティスが見つかっていない状態でした。 今回、Cloud Nextのイベント会場内にあった ask the expert というブースで、ソリューションアーキテクトたちに質問し放題という素晴らしい場所があったのでたくさん質問してきました。 あと、講演者のイアンともちょっと話すことができたので、そのあたりの話を簡単にまとめておきます。 ロギング・モニタリング Q.「fluentdのコンテナをside carとして使う方法もあるけど、それだとバッファがはける前にコンテナが死んでしまったときのことが不安。ログの分類などができませんが、stdoutしかないでしょうか？」 A.「stdoutしてstackdriverに全て流すのがベスト。stackdriver上でフィルタリングをすれば、ログ

これがなかなか面倒だったのでメモ。 やりたいこと terraformでhttp load balancer、gke container clusterを作成する http load balancerのバックエンドとしてclusterのnodeを登録する つくりかた 1. http load balancerを作成する googleのhttp load balancerは疎結合な部品の組み合わせで成り立っており、 http load balancer = global forwarding rule + target http proxy + url map です。 terraformのdocを参考にまるっと作ります。 2. GKE clusterを作成する これは特に意識せずにterraformで作成して問題ないですが、一点だけ注意しないといけないのは addons_config { ht

ngx_mrubyとは？ nginxの設定の内部で、mrubyを使うことができる拡張。 nginxとluaの方が使用例が豊富だが、mrubyだとrubyとほぼ互換性がある形で利用できるため、学習コストが低い。 基本的にはmrubyの方が高速らしいが、ノンブロッキング処理できないよね、というところでluaの方が強い部分もある。 詳しい比較はこちら nginxのconfって普通に設定書くとやたら長くなってしまうと思うんですよ。if文の入れ子がNGだったりとか、そもそもif文自体イケてないよね、という話とか by 公式 弾きたいIPを配列で取り扱えたらな〜とか、 外部のyamlに設定ファイル書き出したいなーとか（通常のnginxでできるかどうかはよく知りませんが） そしたらclassも使いたいな〜とか そういう希望があったので、mrubyを使ってみました。 結果、タイトルにある通り、かなりいい感

ラボでscikit-learnもくもく会をやった時にやってみました。 やりたいこと ・論文が溜まってくると、管理や分類がめんどくさい ・似たような論文を勝手に判別してくれると楽だなあ ・クラスタリングだ！ 処理の流れ input: 英語の論文pdf output: クラスタリングした結果 ということで、 １、まずpdfをtxtにする　-> pythonライブラリのPDFminerを使う。python ＜ 3.0 ２、txtにした論文を特徴ベクトルに変換 -> Bag-of-words ３、次元削減　-> 潜在意味解析(LSA) ４、クラスタリングする　-> k-means をします。 1, pdf to txt PDFminerをインストールします。参考サイト様 ディレクトリにあるpdfをバリバリ変換します。stackflowより 以下コピペの塊ですがコード #pdf2txt_conver