ETLの実際 - 分析基盤刷新PoC - ETL実例紹介 - ETLでぶつかった壁
![etl-in-the-media-company](https://cdn-ak-scissors.b.st-hatena.com/image/square/46d01ec15888ba3be103455cd031d1701e7b8ba6/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F01ecfbf47bce4c339a67586310a0e51d%2Fslide_0.jpg%3F8590254)
CTOのひらいさだあきです。 RubyKaigi 2017が、2017/09/18から2017/09/20まで広島国際会議場で開催されています。グッドパッチのエンジニアも数名で広島に来ています。 これはRubyの父Matzによる二日目の基調講演のレポートです。また、去年の基調講演レポートはこちらです。 RubyKaigi 2016 基調講演レポート Ruby3 Typing | Goodpatch Blog Types、Concurrency、Performanceに続いて、今年はModuleについての基調講演でした。 RubyのModuleにはさまざまな機能や使い方があり、それぞれが紹介されました。 mixin Namespace Singleton Set of method (メソッドの集合) Unit of method combination (メソッド結合の単位) Refine
Rails アプリケーションのドメインロジックを共有するためにバッチでも Rails を使っているケースはあるかと思います。 先日、長時間稼働しているバッチで MySQL サーバの再起動後に MySQL client is not connected が起きたんですが、数年 Rails を使っていて初めて遭遇したエラーだったので、次の 2 点について調べてみました。 このエラーにはどう対処すべきなのか? バッチ特有の問題なのか? そもそも MySQL client is not connected とは? Mysql2 のこの辺で定義されているエラーです。 定義を見る限り、client が初期化されているにも関わらず、network socket (file descriptor) が無効な状態だとこのエラーになるみたいですね。 network socket が無効な状態になるケースですが
setup.py [global_opts] cmd1 [cmd1_opts] [cmd2 [cmd2_opts] ...] setup.py --help [cmd1 cmd2 ...] setup.py --help-commands setup.py cmd --help Standard commands: setup.py build インストールに必要なものを全てビルドする。 setup.py build_py Python モジュールをビルドする。(build ディレクトリへコピーする) setup.py build_ext C/C++ 拡張をビルドする。(buld ディレクトリへの compile/link を実行する) setup.py build_clib Python 拡張として使用する C/C++ ライブラリをビルドする。 setup.py build_script
容量が指定料金内で利用不可能になりイベントが中断された場合に、Amazon EC2 スポットで Amazon EBS-backed インスタンスを終了する代わりに、それを停止することが可能になりました。指定した料金と時間の要件に応じて容量が利用可能になると、スポットは停止した状態からインスタンスを再開することでリクエストを満たすことができます。この新しい機能を使用するには、持続するスポットリクエストを送信する場合に中断動作を「終了」ではなく「停止」に設定してください。「停止」を選択すると、中断時にスポットがインスタンスをシャットダウンします。EBS のルートデバイスとアタッチ済みの EBS ボリュームが保存され、データが持続されます。容量が再び利用可能になると、指定した料金と時間の要件に応じた範囲でスポットがインスタンスを再開させます。再開が始まると、EBS ルートデバイスは以前の状態に復
ウィスキー、シガー、パイプをこよなく愛する大栗です。 2017年10月2日からAmazon EC2とAmazon EBSの料金が秒単位の請求となります。内容についてまとめてみました。 New – Per-Second Billing for EC2 Instances and EBS Volumes 秒単位の請求 今までEC2は従量課金モデルに従い、1時間単位の請求が発生していました。10月2日から以下のサービスについて1秒単位で請求が発生します。 Amazon EC2 Amazon EBS Amazon EMR AWS Batch 以下のように請求書は時間単位のままで小数で表示されます。 Source: <https://aws.amazon.com/blogs/aws/new-per-second-billing-for-ec2-instances-and-ebs-volumes/>
AWS News Blog New – Per-Second Billing for EC2 Instances and EBS Volumes Back in the old days, you needed to buy or lease a server if you needed access to compute power. When we launched EC2 back in 2006, the ability to use an instance for an hour, and to pay only for that hour, was big news. The pay-as-you-go model inspired our customers to think about new ways to develop, test, and run applicati
忙しい人のための Use AWS WAF to Mitigate OWASP’s Top 10 Web Application Vulnerabilities メモAWSAWSWAFOWASP_Top_10 こんにちは、ひろかずです。 2017年7月に「Use AWS WAF to Mitigate OWASP’s Top 10 Web Application Vulnerabilities」が公開されました。 日本語翻訳されていないので、なかなか読めていない方もいると思います。 リリースから少し時間が経ってしまいましたが、読了したので一筆書きます。 どんなドキュメントか OWASP Top10 で上っている各項目についての解説と、各項目についてAWS WAFでどのような対応ができるかを記載したもの。 Conditionを作る上でのアドバイスも記載されている。 参照ドキュメント Use A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く