FLINTERS Engineer's Blog
2023-04-06 DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話 AI BigQuery Digdag こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと：DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にで… digdag BigQuery Chat GPT 2023-04-01 週休7日に興味あり？新しいBingが弊社の魅力をご紹介します！ AI こんにちは、菅野です。 もう一年の4分の1が終わりましたね。 新生活の季節となった4月1日なので(?)唐突に弊社を紹介する記事を書きました！ と言っても、私が紹介するのでは面白くないので「新しいBing」に会社の
Vagrant のプロビジョン時間を削減する vagrant-cachier プラグインが良い
インストール vagrant-cachier プラグインをインストールするには、vagrant plugin install コマンドを実行するだけです。 $ vagrant plugin install vagrant-cachier Vagrantfile への記述 vagrant-cachier プラグインを有効にするには、Vagrantfile に下記の設定を行います。config.cache.scope では、キャッシュスコープを設定します。 下記では、:boxを指定しており、これは、プロビジョンでインストールしたパッケージを Box 単位でキャシュします。同一 Box を使う Vagrantfile であれば、別の VM でもキャッシュを共有することができます。 私の用途であれば、この設定が使いやすそうです。 あとは、通常どおり、vagrant up を行うとプラグインが有効と
Vagrant CloudのVagrant Shareを試してみたら凄すぎて鼻血出た - 憂鬱な世界にネコパンチ！
Vagrant 1.5がリリースされたと思ったら、Vagrant Cloudなんてのが登場してますね！ で、Vagrant Cloudの中にVagrant Shareってのがあるんだけど、試してみたらとんでもなかったので、早速やり方をシェアするよ！ Vagrant Cloudにユーザ登録 Vagrant Cloudのページにアクセスして、まずはユーザ登録しよう。 迷うことはないと思うけど、「JOIN VAGRANT CLOUD」ってボタンをクリックすれば登録ページに飛べる。 次に、ユーザ名、メールアドレス、パスワードを入力したらユーザ登録は完了だ。 Vagrant1.5のインストール Macの場合は普通にダウンロードページからdmgファイルを落として、ダブルクリックでインストール。 念のため、確認。 $ vagrant -v Vagrant 1.5.0 Vagrantfile作成＆仮想マシ
knife-solo 0.2.0 で rsync エラーによって苦しまないためのたったひとつの方法 - Hack like a rolling stone
結論としては、0.2.0 以降のバージョンを使いましょう。今現在は github から持ってきて使いましょう、ということです(挨拶) 昨日、Jenkins cookbook のバグ潰しをしていたら、@chiastolite さんからこんなことを教えてもらいました。 @shimizukawa @tk0miya 調度Jenkinsをknife solo使って入れてたんですが、runitとnginx妙なとこでファイル展開されて、rsyncがこけるみたいです 2013-04-16 15:29:06 via YoruFukurou to @shimizukawa 手元の環境では発生しなかったので、どういうことだろう? と思って調べてみたところ、knife-solo 0.2.0 が原因でした。 何度か試行錯誤していたらこんなエラーが出てきました*1。 $ knife solo cook -p 2222
入門Chef-Soloを片手にRailsアプリを動作させるところまでやってみた - プログラミングノート
Chefについては前々から気にはなっていたけどまとまった情報があまりなく、中々じっくりと取り組めていなかったのですが、ちょうど次のプロジェクトから導入しようとしていたところに、『入門Chef Solo - Infrastructure as Code』というありがたいまとめ本が出版されたので、それを片手に色々と実験してみました。 入門Chef Soloはよくまとめられていて非常に助かったのですが、Kindleで見ると目次がなくて逆引き的に利用しながら構築するのが結構大変でしたので、自分用に手順書としてまとめてみました。（目次に関しては現在修正版が出ているようです） とりあえずRailsのサービス開発プロジェクトで使いたいので、以前にさくらVPSの設定で行ったような感じでrvm, nginx, unicorn, mysqlでRailsアプリが動くところまでやってみました。もう1年以上前ですが
Vagrantで起動時のネットワークインターフェースを指定するには · THINKING MEGANE
VagrantのPublicNetwork(Bridged)ネットワーク構成のときに、ホストマシンのネットワークインターフェースが複数あると毎回の起動時に選択するのが面倒です。 $ vagrant up -- 中略 -- [default] Available bridged network interfaces: 1) en1: Thunderbolt Ethernet 2) en0: Wi-Fi (AirPort) What interface should the network bridge to? 1 [default] Preparing network interfaces based on configuration... -- 後略 -- Vagrantfileに設定を行うことで、これを回避することができます。 Vagrantfileのconfig.vm.networkに
ちょっと便利なvagrant sshのコマンドオプション
vagrant sshにはコマンドオプションがあり、sshで仮想マシンにログインしなくても実行結果を取得することができます。 コマンドオプション vagrant ssh のコマンドオプションは-c commandです。 -cオプションを使うことで、SSHコマンドを直接実行することができます。 例えば、こんな使い方。 DHCPな仮想マシンのIPアドレスを知る grepなりで取得結果を整形すれば、仮想マシンのWebサーバへのブラウザアクセスなどに利用できます。 Chef-Soloのレシピを個別に実行する Vagrant + Chef-Solo環境であれば、以下のコマンドで個別にレシピを実行することができます # Vagrantfileで定義したレシピを全て実行 $ vagrant ssh -c "cd /tmp/vagrant-chef-1 && sudo chef-solo -c solo.
Vagrant起動時にChef-Soloの実行を省く
Vagrantの起動時にはChef-Soloが実行されますが、きちんと冪等性をもたせたレシピでもChef-Soloの実行には多少の待ちが発生してしまいます。 そこで今回は起動時間を短縮させるためのオプションを紹介します。 Vagrant起動時にChef-Soloの実行を省くには vagrant up時に--no-provisionオプションをつけます もちろんvagrant reload時にも使えます --no-provisionはすべてのprovisionの実行を省いてしまうため、config.vm.provision :shellなど別のprovisionも実行されなくなってしまいます。 特定のprovisionを実行させたい場合は、vagrant up時に--provision-with x,y,zとして実行したいprovisionを指定するとよいです。 $ vagrant up -
半歩進むChef-Solo - Cookbookの共通化（recipeとdefinition）
半歩進むChef-Solo 最近、Vagrant + Chef-Soloによるローカル開発環境Boxイメージ構築自動化に取り組んでいます。 Cookbookをつくるうえでのノウハウがたまってきたので、まとめの意味も込めて「半歩進むChef-Solo」シリーズでエントリ書いていこうと思います。 今日はChefで行う「共通化」についてです。 Cookbookの共通化（recipeとdefinition） Vagrant環境でChef-Soloによる構築自動化を行なっていると、複数の環境で似たような処理を行なっている箇所が出てくると思います。 例えば、同じResouceの組み合わせた処理が何箇所も出てきたり、特定のサーバソフトウェアに関連するセットアップをいろんなRecipeの中でやっていたり。 Chefにはこれらの処理をまとめるために、definitionとrecipeという仕組みがあります。
Vagrantのネットワークが起動しないときは
Vagrantでネットワーク構成を変更した場合など、こういうエラーが出てネットワークが起動しないことがあります。 [default] Configuring and enabling network interfaces... The following SSH command responded with a non-zero exit status. Vagrant assumes that this means the command failed! /sbin/ifup eth1 2> /dev/null このエラーが出ると後続のマウント処理もキャンセルされて不便したので、対策をまとめておきます。 調査した環境 Mac Vagrant 1.1.5 VirtualBox CentOS 6.4 ブリッジネットワークの場合 ブリッジネットワーク構成にした場合、2回目以降の起動時にエラーが
Web Development on Port 80 and 443 in Vagrant | Doug's Home On The Web
In this post I'm going to talk about using port 80 and 443 for web development on a Mac running 1 or more virtual machines under Vagrant. Why use port 80 and port 443? Port 80 is the standard port for HTTP and 443 is the standard port for HTTPS. While other ports can be used, they're non-standard, and some (if not most) webapps make assumptions about those port numbers. You can really get burned o
vagrant sandbox off や rollback がエラーになる時の対処 - 世界のやまさ
個人的に Vagrant をいろいろ試していて、そろそろまとめようと思ったら既にVagrant - naoyaのはてなダイアリーで d:id:naoya さんがいい感じにまとめられていて先を越されてしまった。 非常に便利な Vagrant ですが、私の Macbook にてなぜか vagrant sandbox off や vagrant sandbox rollback でエラーが出てしまったので、その対処を記載しておきます。 環境 MacOS X 10.8.2 VirtualBox 4.2.6 rbenv 0.4.0 ruby 1.9.3p327 Vagrant 1.0.6 sahara 0.0.13 エラー内容 vagrant sandbox off時 $ vagrant sandbox off [default] - switching sandbox off 0%... Prog
VagrantとChef-soloについて学んだいくつかのこと - iakioの日記
ホストはWindows7、ゲストはCentOSです。 Vagrantのインストール http://vagrantup.com/ からダウンロードします。インストーラーが出来て便利になりましたね。 とりあえず起動 どのBoxがよいのかよくわからないけどとりえあず今はminimal-centos-56使っています。他は http://www.vagrantbox.es/ から探しましょう。 > vagrant box add minimal-centos-56 http://dl.dropbox.com/u/9227672/centos-5.6-x86_64-netinstall-4.1.6.box > vagrant init minimal-centos-56 > vagrant upChef-soloを使う場合でも、とりあえずは何もせずに一度VMを起動して、VM内でknifeコマンドなど
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/mosaicxm/vagrant-hostmaster
Detect and disable DNS settings that break on Ubuntu 12.04. - 99a5749 - GitElephant
Powpark