s3cmdで、[Errno 32] Broken pipe と出た時の対処
s3cmd を使って、Jenkinsのジョブをs3に週次でバックアップしてるのですが、 ある時から、 $ s3cmd -f put /tmp/jenkins_bk.tar.gz s3://hogehoge/ /tmp/jenkins_bk.tar.gz -> s3://hogehoge/jenkins_bk.tar.gz [1 of 1] 7725056 of 5660650889 0% in 1s 7.02 MB/s failed WARNING: Upload failed: /jenkins_bk.tar.gz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.00) WARNING: Waiting 3 sec... とか出て、アップロード出来なくなりました。その際の対処法のメモです。 S3の
『ほしのこえ』にウラシマ効果は出てきません - Togetterまとめ
『インターステラー』にウラシマ効果が出てきたことから、ウラシマ効果を扱った作品として、『ほしのこえ』がよく出てきますが、『ほしのこえ』で描かれているのは、通信の速度が光速を超えないために起きるメールの遅延のみであって、ミカコとノボルは年齢差があるように見えるのは演出によるものです。ミカコとノボルの年齢はずれていません。 ただし、漫画版とノベライズ版ではウラシマ効果が出てきます。 ※注意！ 『インターステラー』のネタバレを含みます
吉崎栄泰 - Wikipedia
吉崎 栄泰（よしざき はるやす、1955年2月23日 - ）は、日本の医師、プログラマ。内科の医師を務める傍ら、1990年代から2000年代まで日本で幅広く利用されたアーカイバの一種であるLHA(LZH)を開発した。 札幌医科大学・同大学院で内科学（第一内科）を専攻。帯広協会病院副院長などを経て、2007年から黒澤病院（現帯広中央病院）に勤務、同病院名誉院長。大学時代に出たばかりのインテル社のチップを手に入れるほどのコンピュータ好きで、パソコン通信にもはまり込んだ。 1988年に奥村晴彦が LZSS法をさらに算術符号化した LZARIという圧縮アルゴリズムをPC-VAN上に発表すると、吉崎は「算術符号化の部分をハフマン符号化すればもっと効率的なアルゴリズムになるはずだ」との考えから、それに基づいたLZHUF法を開発した。同年末にLZHUF法を採用したアーカイバLHarcをニフティサーブとア
Yo API を利用してカンタンに Deploy を通知し Yo! | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode エンジニアの重岡です。 Tokyo Otaku Mode はスタートアップゆえに、日々サービスの機能追加や改善を繰り返していますが、遊びゴゴロのある開発にもいくつか取り組んでいます。今回は最近、話題になっている Yo というアプリの API の利用方法に関する話を取り上げたいと思います。 Yo API を使うメリット「Yo」とひと言だけを送り合うメッセージングアプリの API を使うことに何のメリットがあるのか？と思う方も多いでしょう。実際、私も最初に Yo のことを知ったときに「これ何に使うんだ・・・？」と思いました。しかし、Yo について調べていくなかで、メリットがいくつかわかってきました。 メリットのひとつに Android や iPhone などのモバイル端末への Push 通知処理を組み込むために、自前でコード書かなくていいという点が
トレタのシステムアーキテクチャと恵比寿のメシと酒 : TORETA（トレタ） ブログ
ちわす。11月にサーバサイドエンジニアとしてジョインした佐野です。前職ではウェブサービスやソーシャルゲームのサーバ管理、DBA、運用ツール開発など主にインフラ面を担当していました。入社一ヶ月のペーペーでございます。 「ブログ書けやー」とのお達しが出たのですが、ノリがイマイチわからんので、軽い記事(恵比寿のメシと酒)と真面目な記事(トレタのシステム)を両方書きます。真面目な話の合間にメシの話でもしながら...。真面目な記事はエンジニア職向けの内容になります。 ではよろしくお願いします。 トレタのシステムは種々のクラウドサービスで成り立っています。この一ヶ月で僕がシステムに手を加えた部分としては、監視周りの整備(Pingdom, PagerDuty導入, 監視用hubotを書く)、ログ解析基盤の構築(fluentd -> BigQuery連携)、ちょっとした負荷分散(リバースプロキシを少々)を
全MySQLダンプ作成か〜ら〜の、S3アップロードをスクリプトで簡単にする | iret.media
日々勉強の、cloudpack の araiです。 Linux上で、全Mysqlダンプを作成し、S3へアップロードを簡単に行えるスクリプトを作成してみました。 全MySQLダンプ作成スクリプト まず、全MySQLダンプを作成するスクリプトが以下です。 ユーザー、パスワード、ホストを設定して、実行するだけで、簡単にダンプ作成ができます！ スクリプトの概要は、こんな感じです。 １時間毎にダンプ作成を想定、24世代保持するローテート /DUMP_BACKUPSディレクトリの中にダンプ格納用各DB名ディレクトリを作成 全DBのダンプファイルを作成 (mysql、information_schema、performance_schemaを除外) アーカイブ create_all_dump.shを/root/直下に格納します。 #!/bin/bash USERNAME=root ←ユーザーを設定設定(
[MySQL] ibdata1のサイズを削減する手順 [InnoDB] | oshiire*BLOG
我が家では”Zabbix“や”WordPress“を利用していて、そのバックエンドのDBとして、”MySQL“を利用しています。 立ち上げに特に設計もしているわけでもなく、何となく使い始めたために、知らぬ間にいろいろと課題が出てきました。稼働に影響を与えているものとして 2つあります。 MySQLのdatadir直下にある ibdata1がディスクそのものを圧迫している 一つのサーバにいろいろと同居している上、SMPも使えず 32bitによるメモリ制限もあって、MySQLがボトルネックになっている 何も考えずに作り始めるってのは、ホント問題ですねぇ。アーキテクトとしては最低です。まぁ、作り始めたころはまだアーキテクトではなかったので、良しとしましょう [I]よろしくない この二つの課題の内、一つ目「ibdata1ファイルがディスクそのものを圧迫している」問題について、先にまず対処しました
![[MySQL] ibdata1のサイズを削減する手順 [InnoDB] | oshiire*BLOG](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
InnoDBのファイルサイズ管理
最近、InnoDBのデータ領域（テーブルスペース）が成長してしまって元に戻すことが出来ない場合の対処についてよく質問されるので、今日はテーブルスペースが成長することへの対策について説明しよう。（ここのところMySQLネタが続いているが、Planet MySQL日本語版を意識しているわけではないのであしからず！！＜＜ホントかよ？！＞俺） InnoDBのテーブルスペースが成長してしまうのは、ズバリ自動拡張しているからである。テーブルスペースに対して何もオプションを指定しないと、デフォルトでは次のような設定と同じテーブルスペースが作成される。 [mysqld] innodb_data_file_path=ibdata1:10M:autoextend サイズは10MBしかないが、自動拡張するのである。自動拡張してしまうと何が問題なのかというと、データが増えた場合にファイルシステムの空き領域を使い切
イノベーションが失われた組織から脱却する10のルール | GREE Engineering
こんにちは！ ガレージスタジオ部 岸田崇志です。 記念すべき『GREE Advent Calendar 2014』1日目の記事となります！ GREE Engineers' Blogを書くことに憧れて入社したのですが、5年半経ってようやく夢が叶い感慨深いです。 と、前置きはさておき、本題に入らせていただきます。 ここ数年大ヒットが生み出せていないグリーですが、会社が大きくなる中でゲームが作りにくい組織になっていました。 そこで、その課題と現在行っている取り組みについて紹介させて頂きたいと思っています。 めっきりクリエイティブなイメージが薄くなってきたグリーかなと思っているのですが、 「グリーらしくない！」と言われるゲームを作ることが私の狙いの一つでもあります。 過去の自分を振り返り会社が大きくなる中で、自分自身の至らないところもあり以下の様なケースがあったかと思っています。 今までの課題事
育児中ならChrome Castを買って踊れ - 家庭を支える技術 - 最高速度かましたい
このエントリーは、「家庭を支える技術 Advent Calendar 2014」4日目です。 家庭を支える技術 Advent Calendar 2014 - Adventar １日目から非常にコンテンツ力に優れすぎていたので、戦々恐々… ここらで一度皆様のハードル下げに尽力いたします。 現在12ヶ月の赤さまを育児中なので、主に子育て家庭向けに記事を書きます。 なにかの参考になれば幸いです。 最初にスペックをば。 ■俺氏(嫁)@kahonyun [はねる]しかできないエンジニア 主に育児家事担当(低スペック) 週2~4で出勤 家庭内Observer(? 学生のうちに出産したので、まだ就職したことないです雇って下さい。 ■旦那氏@haman29 エンジニア4年め 夫婦で一緒にアプリコンテストやハッカソンに出て、皆大好きでWBCで見切れ芸人してます。 ｺｿｯ(実は2年連続MAで賞を頂いていますあ
エンジニアリングのマネージメント | GREE Engineers' Blog
こんにちは、岡崎です。最近はグリーのインフラチームにおける開発のマネージメントを担当しています。 このエントリーは「GREE Advent Calendar 2014」2日目の記事です。昨日は岸田さんによる「イノベーションが失われた組織から脱却する10のルール」でした。 さて、気がつけばここに書くのも昨年のAdvent Calendar 2013「開発ワークフローを、いつどう変えるか」以来です。去年は開発プロセスについてやってきた事の振り返り記事でしたが、今年も同じようにこれまでのプロジェクトを振り返りながら今回はエンジニアリングのマネージメントについて考えてみます。 エンジニアリングマネージャーとはどのような責任を持っているか エンジニアリングマネージャーとはどのような責任を持った役割でしょうか。本題に入る前にまずは「責任」という言葉の定義について確認しておきます。 「責任」と一言で言う
エンジニアの評価観点について - @katzchang.gist
techass.md エンジニアの評価観点について こんにちは。 @katzchangです。 VOYAGE GROUPでは人事評価制度の一つとして技術力評価会というのが年に2回ほど開催されて、半年くらいの仕事から何かテーマをピックアップしつつ、別チームのエンジニア2名とお話をしつつ、なんと評価までされてしまうという、とても楽しい会があります。 評価する側のエンジニアも多様で、ある程度の評価軸はありつつも、それぞれの質問や評価はそれなりに個性が出るものだろうなーと眺めています。ということで、私なりの質問や評価のポイントをいくつか挙げてみます。 質問に対して明確に答えるための手段を知っているか？ 例えば「キャッシュの有効時間はどれくらいか？」みたいな質問をすることがあるとします。当然、「わかりません！」で終わると残念なのは皆知ってるので、頑張って答えようとします。しかし、その場で「xx分です！
コードレビューをし合える文化がチームを強くする - ppworks.jp
コードレビューしてますか？ 「コードレビューをしよう - pblog」でも触れたのですが、 今回はコードレビューの話です。 コードレビューって何からして良いか分からなかったり、レビューアーに負担なんじゃないか、、、って尻込みしがちですが、レビューしてもらう前に気を付けること、なにをレビューしてもらうのか、そして逆にレビューするのか、そして何が起きるのかあたりを考えていきましょう。 レビューして貰う前に気を付けること レビュアーの負担を減らすのは大事です。 コーディング規約に沿っているか？といった簡単なレビューは、犬にやらせるという方法もありますが、そもそもgit-pushする前に、ローカルのgit-commit時点で対処しておくというのもありです。 犬 is rubocopですし、 rubocopやjshintなどをgit-hookにまとめて設定できるpre-commit gemが便利そう
HoundCIでリポジトリに番犬を飼おう
プルリクエストのレビュー時に 「規約では１行あたり最大８０文字なので、１文字削ってください」 などと一々指摘していると人間関係が破綻する可能性があります。 こういう定量的なものに関してはロボットに任せるのが一番です。 そこでHoundCIを使いましょう。 これはRubocopにリポジトリを監視させるというコンセプトのサービスです。 HoundCIを使うメリット コーディング規約違反のコードがmasterに入る前に必ず検知できる チームメンバー全員でRubycopを使う必要がない ダルいコーディング規約に関する議論が可視化できる 人間関係が壊れない（重要） 気軽にみんなでRubocopを使える Rubocopをsyntasticを使ってVimから自動実行する Rubocopを使ってコーディングルールへの準拠チェックを自動化 Qiitaの上のような記事を読んでから、暇があったら導入しようと思っ
[速報]AWSのアウトバウンドデータ転送料金が値下げされました | DevelopersIO
佐々木です。AWSのデータ転送料金が値下げされる、というニュースが来ました！ AWS Data Transfer Price Reduction | Amazon Web Services Blog この新価格体系は2014年12月1日から適用されます。 インターネットへのデータ転送送信 東京リージョンの値下げ幅も大きいですし、また最近では東京リージョンのDRサイトとして使われることが多いシンガポールリージョンの値下げ幅も大きい(今回最大)というのは嬉しいですね。 リージョン 最初の 1 GB/月 10 TB まで/月 次の 40 TB/月 次の 100 TB/月 次の 350 TB/月 バージニア北部
![[速報]AWSのアウトバウンドデータ転送料金が値下げされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d22525e8d47855df534beb0235a4134f0a80238d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F12%2Fawseyecatch.png)
俺とおまえとawk - 俺たちのブログ
「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。 想定データサンプル こんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム 例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
Git 作業における commit と push の頻度について - Qiita
注意 この記事は、2014年に投稿されたものです。 時代は変わっても運用におけるベースは大きくは変わっていませんが、投稿としては古い内容ですのでご注意下さい。 未だにストックなど多くいただきますので注意事項として、追記させていだきます。 以下本文です。 はい、今更かもしれませんが。俺としてはGitを扱う上で結構重要だと思っている commitやpushの頻度 について書きたいと思います。はじめに断っておきますが技術的なテクとかの話ではないです。ほとんどが 言われてみれば当たり前じゃん 程度の内容だと思って下さい。 ですが、flowとか運用方法 とか gitを使いこなすちょっとしたテク なんかより重要だと思っているのは俺だけでしょうか...？ どの単位でコミットしたりプッシュしていますか？ みなさん、どのような単位でコミットしたりするようにしていますか？未だに 適当にやってる みたいな人がい
このトースター、今日のお天気をパンにプリントしてくれるんだ | ROOMIE（ルーミー）
コンニチハ、ワタシの名前はタイムトラベラー・ルミですヨ。あの頃に戻って人気の記事をピックアップ、編集・修正して改めてご紹介しますヨ。今回はさかのぼること2012年9月24日から、気になる記事を拾ってきましたヨ。 「今日は、晴れるかな」 毎日、お出掛け前には、今日のお天気をチェックすることも多いと思います。その方法は、テレビ？ ラジオ？ インターネット？ スマートフォン？ いまや、テレビやラジオの天気予報から、スマートフォンに表示させるウィジェットまで、お天気を確認する方法は多種多様ですが、もし、朝食に食べるパンにお天気がプリントされたら、ちょっと楽しくて、便利だと思いませんか？ ねむけまなこで、食卓について、お皿の上のパンを見れば、今日のお天気と気温がわかるなんて！ そんなコンセプトで作られたのが、「Jamy Toaster」。 実は、こちらはまだ商品化されていないコンセプトデザインなので
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
TechCrunch | Startup and Technology News
Computer Science & Digital Skills for Educators - Grow with Google
DomainMarket.com, Claim Your Brand!
今更だけどPromise入門 - Qiita