はてなブックマーク

Amazon Redshiftとは 高速、スケーラブルで費用対効果の高いDWHおよびデー誰行く分析マネージドサービス 参考：https://d1.awsstatic.com/webinars/jp/pdf/services/20200318_AWS_BlackBelt_Redshift.pdf ユースケース 主に大容量データを高速に集計・分析する必要があるワークロードに利用 経営ダッシュボード 定型レポーティング アドホック分析 ELT/バッチ 機械学習の前処理 Amazon Redshiftを中心としたデータ分析パイプライン アーキテクチャ（RA3インスタンス） ベースは PostgreSQL でDWH用に拡張している AWSの他のサービスコンポーネントを活用したマネージドサービスとなっている コンピュートとストレージを分離しスケーリングと支払を独立 データは永続ストレージとしてS3、キ

AWS公式参照 サーバーレス 自動拡張 運用不要 S3の全てのデータを使用可能 データ容量上限なし S3にデータを配置してそのデータに対して標準SQLを用いて分析できるサービス Presto ベース S3にあるデータを指定してスキーマの定義をしてSQLを実行 大規模データの多くのケースで数秒で結果が返ってくる 分析用データを準備するための複雑なETLは不要 クエリが並列実行される データ形式には様々な形式に対応 CSV, JSON, ORC, Avro, Parquet etc ODBCやJDBCでの接続が可能 AWS Glueと統合されている 料金 スキャンしたデータに対してのみ支払い 1TBに対して5USD 仮に 100GB をスキャンした場合 : 0.49 USD => 54円 スキャンするデータ量を減らすことでコストを削減できる 導入事例 ナビタイム https://www.sli

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

LaravelのMigrationについて 公式ドキュメント https://readouble.com/laravel/5.1/ja/migrations.html 公式ドキュメント引用 マイグレーションとはデータベースのバージョンコントロールのようなもので、 チームでアプリケーションデータベースのスキーマを簡単に更新し共有できるようにしてくれます。 通常、マイグレーションはアプリケーションのデータベーススキーマを簡単に構築できるようにする、 Laravelのスキーマビルダーと一緒に使用します。 コマンド一覧 migrate Run the database migrations migrate:install Create the migration repository migrate:refresh Reset and re-run all migrations migrate:r

// ソースコードの配置 . . . // ソースコードの配置完了後 // composer.lockの内容でパッケージのインストール composer install // configディレクトリ以下の設定ファイルをキャッシュ php artisan config:cache // ルーティング定義をキャッシュ php artisan route:cache 各種コマンドの説明は以下を参照 composer install composer.lockにもとづいてパッケージをインストールする インストール後は以下を行っている composer dump-autoload php artisan clear-compiled php artisan optimize composer dump-autoload autoloadを自動で生成してくれる autoload_classmap.p

Blackfire Blackfire どのメソッドを通り、どれくらい時間がかかり、メモリはどの位消費している等をプロファイリングしてくれる素晴らしいサービス フリープラン・プレミアムプラン・エンタープライズプランと3種類ある Pricing フリープランでも十分なサービスを受けることができる さっそく使ってみる 試した環境 Vagrant 1.7.4 CentOS 6.7 PHP 5.6.24 アカウントの作成 Sign up 今回はGoogleアカウントで登録 インストール Installation 上記ページに遷移 環境別タブから「CentOS」を選択 手順に沿ってひたすらインストール 基本的にコピー・インストールの繰り返しでOK ドキュメントが丁寧なので迷わ無いはず プロファイリング インストールの工程が全て完了したらプロファイリングを行う コマンドラインかChrome拡張でプロフ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Monologを使ってSlackへ通知したい 現在運用しているサービスの通知を全て Slack で受け取りたい ここから全ては始まった。＼(^o^)／ﾊｼﾞﾏﾀ LaravelではMonologを使っている 現在のサービスではフレームワークにLaravelを使用しています。 ログはMonologを使っている。 よくよく調べてみると、、、おっ簡単に出来そうやん！！ よっしゃ、いっっちょやってみっか！ ということでやってみるで。 Monologのドキュメントを眺める ふむふむ φ(ﾟДﾟ )ﾌﾑﾌﾑ… Monolog-Github あった！ Handlers, Formatters and Processors コレの中の SlackHandler これやん！ SlackHandler使ってみるで まずはSlackの設定を作るやで Laravelのconfigに設定を作るやで config/s

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

'default' => 'mysql', 'connections' => [ 'mysql' => [ 'driver' => 'mysql', 'host' => env('DB_HOST', 'localhost'), 'database' => env('DB_DATABASE', 'forge'), 'username' => env('DB_USERNAME', 'forge'), 'password' => env('DB_PASSWORD', ''), 'charset' => 'utf8', 'collation' => 'utf8_unicode_ci', 'prefix' => '', 'strict' => false, ] ], 'default' => 'mysql_one', 'connections' => [ 'mysql_one' => [ 'driv