3行まとめ 背景 データの流れ そのままコピーするだけのLambda 外部テーブルを使おう ゆるふわをゆるふわのまま扱う JSON Linesを1カラムのレコードとして取り込む 定期的に外部テーブルにクエリして結果を保存する まとめ 3行まとめ BigQueryはいいぞ 外部テーブルはすごいぞ Scheduled Queryも便利だぞ こんにちは。ひむ（@himu）です。 株式会社fluctでエンジニアとして働いていたり、ボルダリングしたりガチャを回したり健康で文化的な生活をしています。 fluctはインターネット広告プラットフォームのサービスなどを提供しており、毎日億単位の大量のイベントログが発生しています。 イベントログには、売上の計算に必要なデータから、アプリケーションを改善する上で必要なデータなど、様々なデータが入り混じっており、情報が追加されることも度々あります。 今回は、そんな

こんにちは、@saxsir です。今年の7月からエンジニア => 人事になりました。 それはさておき、VOYAGE GROUPでは学生向けエンジニアインターンシップTreasureを毎年開催しています。 主に来年就活をするであろう学生エンジニアのみなさんに向けてまとめを書いておこうと思ったのですが、今年は参加してくれた学生がたくさんブログを書いてくれました！ 参加してくれた学生の生の声を読んだ方が伝わるかなと思うので、みんなが書いてくれたブログを紹介する形にしたいと思います。 【2019.4.22 追記】 この記事を読みました、と言ってくれる学生さんが多かったので末尾に Treasure2019のエントリーリンクを追記しました！ 皆さんのエントリーお待ちしております(๑•̀ㅂ•́)و✧ 目次 目次 Treasureとは 参加者の感想ブログ（みんなたくさん書いてくれてありがとう！ 内容や環境

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

筆不精なのでこのブログも放置気味だったのですが、まあ流石にそろそろ少しずつでも今まで貯めた込んだものを書き残した方が良い気がしてきた。 なので、これからなんか書いていきます。 最初はDeep Learningの記事にしようとも思ったけど、社内勉強会でLDAをまとめてたのを思い出したのでまずはこれから書こうと思います。 注意書き 理論 1.LDAの前に「トピックモデル」とは 2.LDAとは*2 3.LDAで使う確率分布 カテゴリカル分布（マルチヌーイ分布） Dirichlet(ディリクレ)分布 4.確率的生成モデル 5.グラフィカルモデル表現 6.LDAの解釈 7.経験ベイズ(Empirical Bayes) 8.変分ベイズ法(Variational Bayesian methods) 9.平均場近似(Mean field approximation) 10.変分下限とKullback-Le

今時builderライブラリも無いだろという感じですが，書いたのです． github.com Motivationにも書いているのですが，普通に作ったJavaのbuilderは不完全なインスタンスを作成できる可能性を孕んでいます．注意深くコードを書けば問題ないかもしれませんが，えてして我々 (主語が大きい) はミスを犯しがちです．そしてNPEがやってきて……我々はしぬ． というわけで今回作ったのがarnoldです． 端的にいうと「必要なすべての要素を取りこぼさないbuilder」であり，「そのジェネレータ (annotation processor)」でもあります．Basic usageにあるように， import net.moznion.arnold.annotation.ArnoldBuilder; import net.moznion.arnold.annotation.Requir

PeXからのソラチカルート交換は2018年3月31日までで終了となります。 ECナビとPeXの10％還元キャンペーンも2018年3月31日までとなっておりますので、ANAマイルを本気で貯めたい方はラストスパートをかけていかないといけない時期になりましたね！！ ソラチカルートでANAマイルが実質99％で交換が可能！！ これは陸マイラーにとっては歓喜のキャンペーンとなるのではないでしょうか？ というのは、従来のソラチカルートは90％のレートでポイントサイトのポイントがANAマイルに交換ができるというのがセオリーです。 ソラチカルートの詳細についてはこちら。 sasamiler.net それが実質99％に上がるというのは、本当にすごいことなんですよね！！ というわけで、本日はこちらのキャンペーンについて詳細を解説していこうと思います。 ECナビ×PeXキャンペーンでポイントが10％還元！ANAマ

SQLを覚えると実務で使える様々なデータを取得できるようになります。毎回同じようなSQLを記述するのが面倒で、テキストファイルに定番のSQLをメモで残している方も多いのではないでしょうか。 そんな方にお勧めなのがFranchiseです。SQLを残しておけるノートブックです。 Franchiseの使い方 メイン画面です。複数のデータベースに対応しています。 結果を地図に描画する例です。 グラフ。線グラフです。 棒グラフ。 並び替えた棒グラフ。 ドットだけ。表示を2カラムにしています。 一般的な一覧表も可能です。 レンジを使ってその時の値を表示するパターン。 メールを取り込んでクエリを投げるパターン。 FranchiseのデータリソースはSQLite/PostgreSQL/BigQuery/MongoDB/Microsoft SQL Server/Oracle/DB2/Teradataなどとな

こんにちは。 @at_grandpa です。普段はバッチを書いたりメンテナンスをしています。 今回は、先日起きた障害対応の時、チームの状態をスムーズに変えることで対応コストと精神的負荷を抑えられた、ということを書きます。 目次 目次 障害発生 普段の対応 今回の対応 原因究明と現状把握 関係者が会議室に集まる 対応用Slackチャンネルを開設 ペアワークで実対応 落ち着いたら自席&Slackコミュニケーションへ移る 対応完了の確認と報告・チケットまとめ まとめ 障害発生 先日の朝に「レポートの数値がおかしい」という連絡がきて確認したところ、とあることが原因で、バッチの自動実行が約半日行われていないことがわかりました。 普段の対応 普段の対応は以下のような形です。 エラー発生をSlackの全体チャンネルで報告 バッチ系チャンネルにて、考えや現状を垂れ流す わからないことがあれば有識者にメンシ

Zucks Ad Networkでデータ解析をしています、@yuu_itoです。 気づいたら3月も半ばですね。花粉で目がしょぼしょぼします。 メモを取ることについて書いていきます。 きっかけ 技術調査のために論文を集めGoogle Docsにまとめていた時、 とりあえずまとめた後に共有しますねと連絡したら、 メモはGitHub Issueへのコメントで書いておいたら？というのが始まり。 やってみて気づいたこと まとまっていない状態の文章を晒すことに抵抗があったのですが、やってみると嬉しいことがありました。 1. Issueに気づいた人がコメントをくれる。 弊社ではGitHubとSlackを連携してIssueの更新をSlackに通知しています。 取り組んでいること、考えていることを書いていると 「なんかデータの傾向がイメージと違った」→「それ～だからかも」 「計測しているデータ、不要なものも

こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環

はじめに こんにちは、大正デモクラシーです。年末年始に実家に帰るにあたって、Windows 10がインストールされているXPS 13を持って行ったんですが、実家で庭木の剪定以外にやることがなかったので、それ以外の時間はずっとコード書いてました。しかし、持って行ったマシンの開発環境がまったく整ってなかったのでいろいろ設定しなおしてとりあえずいい感じになったので、その作業メモを書いておきます。 TL;DR これまでLinuxやmacOSで育ててきた環境をWindows 10で使うことはあきらめて、これらのツールをとりあえず入れました。 cmder | Console Emulator Chocolatey - The package manager for Windows GitHub - Microsoft/Git-Credential-Manager-for-Windows: Secure

この記事は、 Advent Calendar 2016 - VOYAGE GROUP techlog の16日目のエントリです！ みなさんこんにちは！ VOYAGE MARKETINGにてエンジニアをしている なかにしごう (@gomachan46) | Twitter です。 2014年より社内非公式サークルとして 音ゲー部 を立ち上げ、お昼休みは会議室のプロジェクターで音ゲー鑑賞、定時後はゲームセンターで練習と、現在もなお元気に活動しています。 さて、今回はタイトルの通り WebSocketを用いた全く新しいOAuth をご紹介したいと思います。 ご存知の方も多いとは思いますが、さらっと簡単に用語の説明をしていこうと思います。 WebSocket WebSocket（ウェブソケット）は、コンピュータ・ネットワーク用の通信規格の1つである。インターネットの標準化団体であるW3CとIETF

SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析

選択したExcelのセルをMarkdown形式でコピーするExcelアドインをリリースしました。 日付の書式、金額、カンマフォーマットなども生かしたままコピーできます！ 右寄せ・左寄は先頭行の設定に従います。 良かったら使ってあげてください。 動作確認済みのOffice＆Windows Windows 7 64bit & Office 2010 Windows 10 64bit & Office 2016 必要環境 .NET Framework 4.5.2以上 Visual Studio 2010 Tools for Office Runtimeのインストールが求められるかもしれません (VSの入っていないWindows 7では求められました) 上記モジュールがインストールされていない場合、インストーラーからダウンロードされてインストールされる。。。と思います。 操作方法 貼り付けたい範囲

こんにちは！VOYAGE MARKETINGシステム本部の@gomachan46です。 普段はRuby on Railsを用いてPeXというポイント交換サイトの開発を主に行っています。 さて、PeXにはポイントを貯められるコンテンツがたくさんあります。その中のひとつ「YOUの気持ち聞かせてよ！みんなのNEWSウォッチ」は、ニュース記事を読んでリアクションするだけで、簡単にポイントが貯まるコンテンツです。 pex.jp 今回は、「みんなのNEWSウォッチ」のコンテンツストレージとしてはもちろん、APIとしても縁の下から支えてくれているS3の活用事例について書いていきたいと思います。 3行まとめ S3をAPIとして実際に利用してみた 負荷や管理周りなど考える事が減って良い ファーストリリースの価値検証等のフェーズでは特に一考の価値あり 「みんなのNEWSウォッチ」の仕組み はじめに「みんなのN

生物統計を学んでいる人の中には、「結果変数が連続変数の時には線形回帰、二項変数（0と1など2つの値しか取らないもの）のときにはロジスティック回帰分析を使うべき」のように1対1対応のお作法のような形で教わった人も多いと思います。一方で、計量経済学で回帰分析を習った人の中には、「最小二乗法（Ordinary Least Square; OLS, 線形回帰）はありとあらゆる場合に使えるベストな方法であるので、結果となる変数の分布に拘わらずOLSを使える」（ちなみに結果変数が二項変数のときにOLSを用いることをLinear probability modelと呼びます）と教わった人もいるでしょう。初心者向けの統計学や計量経済学の本を読むとこのような説明がされているものが多い印象があります。このような教え方をすれば確かに手っ取り早く手が動かせるようになる（統計解析ソフトウェアを使って解析がはじめられ

ブログ間違った，普段こういう事はこっちに書いてます． http://moznion.hatenadiary.com 最近自分がコードレビューで使いがち，あるいは表立って使ってないんだけど内心評す時に使う言葉が色々とあり，まとめてみることとした．参考にしない方が良いと思う． 左は言葉，右は説明． 屈強 - コードが力強い時に使う．例えば長い一枚スクリプトとか，コメントが一切ないバッチ処理とか．やや批判的な意味合いで使うことが多い． マッチョ - 屈強と同じ文脈で使いがち 屈強だけどしなやか - 屈強だけどしなやかな時に使う．好意的な屈強さと言える． モノリス - 長大なトランザクションスクリプト見た時とかに使う．やや批判的． 言い訳ないですか - 後で直していくぞ！ というメンタルの時に書かれたコードのコメントが案外少ない時に使う言葉．言い訳は無いよりあった方が良い．実際には「もうちょっと言