大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付
分子に1を足し、分母に2を足すだけで予測が良くなる話 - CARTA TECH BLOG
コインを投げを観測し、コインの表になる確率を予測するとき、みなさんはどのように予測するでしょうか。 （コイン投げに限らず、表か裏のように二値になるような予測であれば、例えば、広告のクリック率や、単語の出現率、ナンパの成功率でもなんでもいいです。） コインが表になる確率が0から1まで一様だ（まんべんなく出る）とすれば、n回投げてs回表を観測したら、平均であるs/nをその確率として予測するのではないでしょうか。 この方法をもっと複雑な言い方をすれば最尤推定(maximum likelihood; ML推定)とよびます。コインが表になる確率が一様という事前確率まで分かっている前提ならば、これは最大事後確率推定(maximum a posteriori estimation; MAP推定)ともいえます。なんか最強っぽいですよね。 他に方法があるのでしょうか。スムージングという方法もあります。スムー
インフラチームと開発チームの垣根をなくすためにAWSのCI環境を構築した話 - CARTA TECH BLOG
こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環
Treasure2016を経て - CARTA TECH BLOG
こんにちはsuzukenです。VOYAGE GROUPでは学生向けエンジニアインターンシップTreasureを毎年開催しています。今年の内容について主に講義の面から振り返ってみたいと思います。 https://voyagegroup.com/internship/treasure/ Treasureは私が入社するもっと前から開催されていて、かれこれ10年弱続いているそうです。去年までは @brtriver がメインの講師を担当していました。今年は私がメイン担当ということで、言語をPHPからGoに変えてみたり、新たな講義を追加してみたりしました。 今年のカリキュラムは http://techlog.voyagegroup.com/entry/treasure2016info にも少し書きました。最終的に今年の講義スケジュールは以下のようになりました。 1日目: アイデアソン by みっきー
社内向けニュース提供APIをS3+API Gatewayでサーバーレスにサクっと構築してみた - CARTA TECH BLOG
こんにちは！VOYAGE MARKETINGシステム本部の@gomachan46です。 普段はRuby on Railsを用いてPeXというポイント交換サイトの開発を主に行っています。 さて、PeXにはポイントを貯められるコンテンツがたくさんあります。その中のひとつ「YOUの気持ち聞かせてよ！みんなのNEWSウォッチ」は、ニュース記事を読んでリアクションするだけで、簡単にポイントが貯まるコンテンツです。 pex.jp 今回は、「みんなのNEWSウォッチ」のコンテンツストレージとしてはもちろん、APIとしても縁の下から支えてくれているS3の活用事例について書いていきたいと思います。 3行まとめ S3をAPIとして実際に利用してみた 負荷や管理周りなど考える事が減って良い ファーストリリースの価値検証等のフェーズでは特に一考の価値あり 「みんなのNEWSウォッチ」の仕組み はじめに「みんなのN
初めての技術力評価会を終えたので感想を書いた - CARTA TECH BLOG
こんにちは、fluct SSP開発本部の@saxsirです。 今年の4月に入社した新人ですが、職場ではgolangとかAWSとかを使って社内向けのプロダクトをゴリゴリと開発しています。 さて、VOYAGE GROUPでは人事評価制度の一つとして技術力評価会という相互評価の仕組みがあります。 これは年に2回ほど開催されており、直近半年くらいの仕事から何かテーマをピックアップし、別チームのエンジニア2名（評価者）に「私はこんなすごいことをやったんだよ、どやっ」とお話しながら自分の技術力を評価してもらうという場になります。 もちろん、新卒も例外なく技術力評価会を行います。 今回は初めての技術力評価会を終えて私が学んだこと、を社外の方向けに書こうと思います。（言うまでもなく、私は被評価者です） ※以下、「技術力評価会」を「評価会」と略して表記する場合があります TL;DR 「なぜやったのか」を説明
モバイルファーストなサービス開発におけるDockerの活用術 - CARTA TECH BLOG
こんにちは！ポイント交換サイト「PeX」の開発を行っていますVOYAGE MARKETINGの加藤です。 Crewからはちゃむと呼ばれています。 少し長くなりますので先に本エントリーの概略を3行でまとめると Docker成分多め 作ってみた 後半でテーマ深掘り です。 最後までお付き合い頂けると嬉しく思います。 はじめに タイトルは若干釣り気味ですが、個人的にDockerをwatchし続けています。 先月のDockercon 16で、ついにDocker for (Mac|Windows)がpublic betaになりましたね。 以前はDocker Toolboxで必要だったVirtualBoxを必要とせず、それぞれのOSでのネイティブ仮想化技術（MacOSはxhyve、WindowsはHyper-V）で動作するようになりました。 ますますDockerが使いやすくなってきていますね。 さて
バッチ処理の通知・アラート管理 - CARTA TECH BLOG
こんにちは、nekoyaです。 システムを日々運用していく中で、その処理結果の記録や異常検知の仕組みは地味ながらも大切な存在です。 各種監視ツールからの通知や、ブラウザから利用可能なWebインタフェースなど、その形態も様々です。 今回はその中から、バッチ処理の結果通知について、我々のチームが実践している方式をご紹介します。 loggerを通して記録する まず前提として、通知する内容はプログラマ自身が出力することが基本になります。 自分はここ数年はPythonをメインに使っていて、標準のloggingモジュールを通して import logging logger = logging.getLogger(__name__) logger.info('hello!') のようにログを吐いておくと、スクリプトの終了時にそれまで出力したログがいい感じに集約されて通知されるようにしています。 ログレベ
sbtのマルチプロジェクト構成によって関心事を分離する - CARTA TECH BLOG
こんにちは、id:katzchang / @katzchang です。 Zucks Ad Networkでは広告配信に使うWEB APIサーバを Scala で実装しています。当然、ビルドツールには sbt を使っています。で、いい感じに分離して設計するためにマルチプロジェクト構成にしたかったんですが、探し方が悪いのか、なかなか構成例が見つかりません…。そもそも ./build.sbt と ./project/Build.scala の二通りの構成定義があってググってもどっち向けの記述かよくわからなかったり。 ということで、実際に使っている定義を使って紹介しようと思います。 なぜマルチプロジェクト構成か？ Zucks Ad Networkでの広告配信サーバは現在、JSONデータを返すWEB APIサーバで動かしています。十分に低レイテンシかつ高スループットか、シンプルに実装しやすいかなどが
RubyとRailsとMySQLの時刻について - CARTA TECH BLOG
こんにちは！ VOYAGE MARKETINGの @sayadroid です。 最近は、自社の長寿メディアを丸っとリニューアルするプロジェクトに携わっています。 元来PHP, symfony(1.x(小声))で書かれているそのメディアが、 Ruby on Railsで生まれ変わる予定です。 弊社では様々なメディアが、様々な言語で動いているため、 言語の組み込みクラスの仕様をうろ覚えで書くと、 細かな挙動を勘違いしてしまうことなどもあります。 そんな中で、最近ハマったRuby関連の、罠小ネタを一つ紹介します。 前提 Ruby on Rails 4.2.0 server timezone = JST MySQL5.6 timezone = UTC 「質問」テーブル * body: 質問文 * opened_at: 掲載開始日時 * closed_at: 掲載終了日時 要件 opened_at「
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
