タグ

2018年1月4日のブックマーク (3件)

  • AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO

    AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 $ fallocate -l 1G test.dat AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試

    AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO
    atsuizo
    atsuizo 2018/01/04
    他の用途でも使ってる専用線経由でDirect Connect使ってると移行データとかアップするとき帯域すげー心配になるので、これは地味機能だけどありがたいヤツ。n
  • 遠い国のパレード - もっこもこっ

    2018年になって、もう3日目になっていた。 昨年は忙しすぎて、一体何をしてたのか、思いだそうとしてもほとんど思い出せない。高速で走る新幹線から見る窓の外の景色が一瞬過ぎて記憶に残らないのと似ている。 昨年のこともろくに記憶に残っていないので、今が2018年だというのも、新しい年が始まったというのも、遠い国で行われたパレードのようで、実感がない。 「忙しい=仕事がある」というのはしあわせなことだと思っている。しあわせなことだけれど、あまりに忙しいと失うものも多くて、失ったことに気づいてから呆然とする。後の祭りとはこのことか。 思うに昨年はずっと現実感がなくて、機械的に惰性で砂を噛むように生きていたように思う。 あらためて、こうして振り返るきっかけとなったのだから年が新しくなるというのは、よいことかもしれない。今まで年が変わってもなんとも思っていなかったのだけれど、振り返るのは無駄なことでは

    遠い国のパレード - もっこもこっ
    atsuizo
    atsuizo 2018/01/04
    その忙しさ、「充実」なのか「忙殺」なのか、常に意識していたいよね。
  • Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す

    Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを格的に業務利用(PoCではなく番運用)した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取

    Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す