海沿いのキャンプ場BREEZE Family Campが最高クラスの施設・環境だった（館山観光も網羅した記事）
2021.10.2 千葉県館山市は海沿いのキャンプ場BREEZE Family Campに行って参りました。 砂浜沿いとの事でシロギス釣りもしたいなと。あわよくば釣れた魚でBBQしたいなと。キャンプの時は運悪く毎回釣れないのですが、なんと今回釣れました。 キャンプ場情報、釣りスポット、周辺の観光スポットと紹介しますので是非最後までご覧ください。 キャンプ場の施設 場所は館山市の海沿いなので最高の立地です。 グランピングがメインのようで、建物が綺麗です。キャンプ場でよくある建物からDIYとかではなく、最初から色々計算して建物があるように感じました。 今回もフリーサイトでキャンプしました。ここは後ろに用水路があり、蚊や虫が多いサイトでしたので注意してください。 EZDOMEHOUSE↓ 誰もいませんでしたが気になります。インスタ映えしそうな建物。 ちょうど誰かが通ったタイミングで良い感じにロゴ
GO111MODULE=on(go modules設定)
GOPATHの設定 先ずGOPATHの設定をします。 Go言語 GOPATHの設定 GOPATHの設定 $ vim ~/.bash_profile $ export GOPATH=$HOME/go $ export ...normalblog.net2021-09-07 15:59 go modules設定 Goのバージョンによりますが、1.11の前までは、$GOPATHで実行する必要がありましたが、1.11からgo modules実装された事により、$GOPATH以外でも実行できるようになりました。 $ go env -w GO111MODULE=on $ go env GO111MODULE でonが表示されれば、go modulesが有効になり$GOPATH以外でも実行出来ます。 The post GO111MODULE=on(go modules設定) first appeared
AWS Lambda > RDS Proxy/Secrets Manager > RDS 構成の概要手順
LambdaからRDSに接続しようとした際のベストプラクティスを模索して辿り着いた１つの箇所として記録しておきます。 用途としては、webサービスのDBとしてRDS。ちょっとした軽いバッチやAPIのバックエンドにLambdaを検討していました。 必要なもの タイトルにある通り以下です。 LambdaRDS ProxySecrets ManagerRDS RDS Proxyについて LambdaからRDSに直接接続すると、Lambdaが連続で実行された際にすぐに接続数上限に達してしまいます。ここでRDS Proxyを使用すると、接続が再利用される為これを回避することが可能となりました。 Secrets Managerについて RDS ProxyからRDSへの認証に必要となります。 Secrets Managerは、DBのログイン情報や認証情報などの高い情報を管理してくれます。また、Lambd
AWS LambdaにPythonのライブラリを含めて環境構築する手順
AWS LambdaにPythonのライブラリを含めて環境構築する手順を記録しておきます。色々方法あると思いますが、手っ取り早い方法です。 ターゲットディレクトリを決めてクリアしておきます。 rm -rf [targetdirectory] ライブラリをターゲットディレクトリにインストールします。 pipenv lock -r | pip install -r /dev/stdin -t [targetdirectory] メインモジュールもターゲットディレクトリにコピーします。 例. app.pyなどメインモジュール cp -pr * [targetdirectory] zip化します。 cd [targetdirectory] zip -r app.zip ./* app.zipをLambdaにアップロードします。 以上です。 The post AWS
無料漫画のおまとめ更新通知サービス
このページは個人開発の記録です。 要件 この要件は随時更新します。 既存の無料で読める（合法）漫画サイトをクローリングしてデータを集める。クローリングしたデータを取得出来るAPIを準備する。APIからブラウザに更新情報として表示する。 この要件をそれぞれ別リポジトリにして、独立した形にしたいと思います。もし人気が出てきたりした場合等、バックエンドはAPIにしておきたいと思います。その場合、フロントはVue.jsで初SPAにしたいと思います。Vue Routerを使用予定です。最終的にはアプリ版もリリースしたい為、バックエンドはAPIにしました。 また、AWSの知見もたまってきていますので、なるべくAWSを使用したスケーラブルな環境で立ち上げたいと思います。費用はかかりますが、これはもう必要経費として計上してガチでやっていこうかと思います。 3.の細かいところとしては、 お気に入りの漫画の更
BIツールMetabaseで何が出来るのかまとめてみた
BIツールMetabaseを使ってみたので記録したいと思います。 BIツールとは そもそもですがBIとは、Business Intelligenceの略になります。 BIツールとは、例えば、サーバに溜まった大量のログを分析してビジネスの改善に繋げる為のツールです。ビッグデータとして溜めたけどどうにか活かしたい。多すぎて分析するのも大変。そういった事をサポートするツールです。 Metabaseとは Metabaseとは、そんなBIツールの１つです。 https://www.metabase.com/ SQL不要 BIツールの中にはSQL構文が理解・記載出来ないと使えないツールもありますが、MetabaseはSQLを使用せずに表分析・集計・グラフ化が出来ます。 とは言え、DBのテーブル構造が理解出来ていないと集計は出来ません。SQLが書ける人が楽になる為に使いたい方や、細かいSQLは書けないけ
MetabaseとAWS Athenaの連携手順
BIツールMetabaseとAWS Athenaの連携手順とまとめました。 その前にMetabaseをインストールしていない場合は以下参照してください。 Metabaseインストール手順 Metabaseのインストール手順 ubuntuにMetabaseをインストールしたので記録しておきます。 Java install sudo apt-get i...normalblog.net2020-08-19 00:36 Metabase Athena Driverインストール 現在（2020/8）Metabaseの標準でAthenaと連携していなかった為、以下のドライバーを使用しました。 https://github.com/dacort/metabase-athena-driver 以下はMetabaseがインストールされたubuntuです。 cd metabase/plugins wget
Metabaseのインストール手順
ubuntuにMetabaseをインストールしたので記録しておきます。 Java install sudo apt-get install openjdk-8-jre Metabase install mkdir metabase cd metabase wget https://downloads.metabase.com/v0.36.3/metabase.jar Metabase 実行 java -jar metabase.jar & 起動されるので、http://ホスト:3000 でアクセス出来ます。 以上です。 Metabase関連記事 BIツールMetabaseで何が出来るのかまとめてみた BIツールMetabaseを使ってみたので記録したいと思います。 BIツールとは そもそもですがBIとは、Business I...normalblog.net2020-08-19 0
AWS S3 CLIまとめ
AWS S3のCLIコマンドをまとめました。 一覧取得 バケット名リスト aws s3 ls バケット内のファイルリスト aws s3 ls s3://バケット名 コピー ※ダウンロードもバケット間コピーも同じです。 指定ファイルダウンロード aws s3 cp s3://バケット名/ファイル名 ローカルダウンロード先 バケット内一括ダウンロード aws s3 cp s3://バケット名/ ローカルダウンロード先パス --recursive ワイルドカードでコピーしたい場合 e.g.2020-01-24がファイル名についている aws s3 cp --recursive --exclude '*' --include '*2020-01-24*' s3://バケット名s3://コピー先バケット名 削除 ワイルドカードで削除したい場合 ※dryrunをつけると消す対象を確認出来ます aws
AWS Glue Struct型のハマるポイント
クローラー クローラーの設定で項目が追加してもデータカタログを更新してくれる機能がありますが、Struct型の中身が違う場合は機能しませんでした。 Athena AthenaでもStruct型の中身がスキーマとパーティションで違うデータがある場合にエラーとなりました。 ジョブ 上記のようなデータはStruct型ではなく、String型とするしかなかったのでString型にしたのですが、Struct型はDynamicFrameを通すと自動的にStruct型に変換されてしまいます。これを元に戻す為には、DynamicFrameを通した後に、ApplyMappingで型を変換してあげる必要がありました。 datasource = glueContext.create_dynamic_frame.from_catalog( database = "hoge_database", table_nam
AWS Glueまとめ
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格納） の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のことです。 Glueは難しい Glueを触る前、名前と機能からして簡単に出来る・わかりやすいサービス的な感覚だったのですが、出来る事も多く、理解すべき概念も多く、分散処理も初だと理解し難く、AWSのサービスの利用しやすさも低めに感じ、情報も少なく、正直ギャップが半端なく、とにかく凄い時間がかかりました。。 概念・前提知識 Glueは分散処理が基盤となっています。簡単な処理ならGlueのウィザードベースで出来ますが、ジョブスクリプト編集をしていくには、分散処理が初めての自分は色々な概念を理解する必要がありました。また、Glueの中でそれらを便利に使う為にまた別の技術も取り入れられ
何故今AWSの需要・必要性が出てきているのか？
AWS は Amazon Web Services の事で、Amazonが提供するクラウドコンピューティングサービス群の事ですが、今web系サービスを始めとして、サービスの基盤・サーバ環境に、このクラウドコンピューティングサービスを使う企業が増えてきています。 クラウドコンピューティングの代表として、 Amazon の AWS(Amazon Web Services)Google の GCP (Google Cloud Platform)Microsoft の Azure がありますが、今回はAWSについて触れます。 今までのレガシー環境で抱える問題 今までの環境で抱える問題があるからこそ、AWS等のクラウドコンピューティングサービスの需要が高まってきたわけです。先ずはその問題についてご説明します。 今までの古い環境を指す意味で良く使われるのがレガシー環境です。今回もこれを使います。 では
東京一泊の旅 豊洲のキッザニア東京で職業体験
2020.1.12 今月７歳になる息子を連れて ららぽーと豊洲ノースポート3階にあるキッザニアに行ってきました。 今回ネットで事前に予約したのですが、一部か二部か、平日か休日かで料金が変わります。今回は小学生一部の休日（￥4700）と大人2名（￥1950×2）でした。 豊洲駅からは徒歩8分。車の場合はららぽーとの駐車場が使えます。 東陽町からバス(東陽町駅前)で豊洲駅まで行き、徒歩でキッザニア東京へ。 東陽町駅前 豊洲駅 ららぽーと到着。この中にキッザニアがあります。 まず入ると行列が・・・この時、8：15頃でした。 開園が8：30。そこから1Ｆのエスカレーター前しばらく待機し、3Ｆに移動し受付をし、ここでスケジュールカードと50キッゾ(キッザニアの仮想通貨)もらいます。そして、キッザニアに入場したのは8：50頃でした。 お誕生月だったのでバースデーカードをもらいました。このカードでキッゾ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Go言語 GOPATHの設定
AWS Glue PySpark UDFの使い方・複数引数
AWS Glueでトリガーの時間を変更出来ない
AWSの全まとめ
Amazon EC2が容量不足になった時に落とさずにボリューム追加する方法
Lambdaデプロイ時の権限ポリシーにiam:Passroleも必要だった
AWS Lambdaのログを出力・デバッグする為CloudWatchLogsに出力した