みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
MySQL インポートの進捗表示 - Qiita
いつも忘れてしまうのでメモ。 ご存知の通り、以下のようにするとターミナルはダンマリ。進捗不明、いつ終わるのだと・・・
MySQL (MariaDB) データベース定義の差分を取得する方法 - Qiita
MySQL または MariaDB で2つのデータベースの定義がどう異なるのか、調べたいことってありますよね？ mysqldump を使って diff で差分を取得することをまず考えるかもしれませんが、もしその差分をなくす、つまり一方に行った変更を他方に反映したい場合に、まさかそこから手動で ALTER TABLE 文を書こうなんてエンジニアはいないと思います。 そんなわけで mysqldiff コマンドの出番です。 mysqldiff コマンドについて mysqldiff は Python で実装された Oracle 公式の MySQL 向けユーティリティツール群である MySQL Utilities に含まれるツールのひとつです。2つの異なるデータベースを比較し、その差分を出力することができます。 Perl製のツール MySQL::Diff について mysqldiff で検索すると同
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた こんにちは、インフラエンジニアの nobuh です 分散DBという夢 クラウドのデータベース界隈では昨年くらいから MySQL 互換のクラウドでのデータベース、Amazon Aurora や Google Cloud SQL がホットな話題だと思います。 それはデータベースの黎明期から研究の場では分散データベースというのが大きな研究分野になっていて、RDBMS でありながらもスケールアウトが可能で耐障害性もあり、そして実用的な速度で稼働できるデータベースというのがデータベースエンジニアの約束の地、最後の楽園となっているからです。またその分散データベースが MySQL 互換で WordPress も動けばもう最高です。 Google Cloud SQL の元となっているらしい Google の F
UI/UXデザインツールの大本命、Adobe XDの私が大好きな便利な機能をすべて紹介します
Adobe Experience Design（以下、Adobe XD）の評判はいいって聞くけど、実際のところどうなの？ 使えるの？ そんな疑問がすっきりするAdobe XDで何ができるのか、Webサイトやアプリのワイヤーフレームやプロトタイプを作成するのに便利な機能を紹介します。 Wireframing and Prototyping in Adobe XD 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様に許可を得て翻訳しています。 UI/UXデザインに適したツールを探して Adobe XDとは Adobe XDのアートボード Adobe XDのシェイプ操作 Adobe XDのオブジェクトのグループ化 Adobe XDのリピート グリッド（Repeat Grid） Adobe XDのエクスポートとインポート Adobe XDでプロトタイプを作成 Adobe X
スライドモードをリリースしました - Qiita Blog
最近やっと念願のErgoDoxが届き、Dvorak用のキーマップを何度も書きなおしてはしっくりきてない mizchi です。プログラマブルキーボードは人類の夢、エンジニアのロマンですね。まあ、肩こり軽減のためにセパレートタイプにするのが本来の動機だったんですが。 人類の夢 = ???ところで人類の夢といえば、怠惰なエンジニアの皆さんや、忙しい隙間を縫って資料を作成しないといけないビジネスパーソンは、少なからずMarkdownからスライドを生成したいと思ったことがあるはずです。手っ取り早く、自分が知ってる知識の応用で、リッチなGUI環境に頼らないテキストベースのオーサリングで…… そういう環境こそが求められているのでは？と常々自分は思っていました。なんせ僕も、卒論を全部Markdownで書いてPandocでTeXに変換していたような人間なので。 そこでこの度、Markdownで作成可能なスラ
Railsアプリケーション開発を完全にDocker化する
Railsアプリケーション開発を完全にDocker化する Tweet Degica のすべてのサービスは Rails で開発しており、そのうちの一部は Docker を使用した本番環境にデプロイしています。しかし開発者個人の開発環境にはいまだに Docker を導入できていません。最も大きな障害は spring を docker コンテナ内で上手く扱う方法が確立されていなかったことですが、この問題は docker-compose を工夫して利用することで解決可能であることがわかりました。 ということで、今回は rails アプリケーションの開発環境を完全に docker 化する方法を紹介します。 完全に、というところがポイントです。この方法を使えば docker 以外のツールを一切ホストマシンにインストールせずに rails アプリの開発を行うことができます。 (ちなみに、弊社の本番環境は
The Management Myth
During the seven years that I worked as a management consultant, I spent a lot of time trying to look older than I was. I became pretty good at furrowing my brow and putting on somber expressions. Those who saw through my disguise assumed I made up for my youth with a fabulous education in management. They were wrong about that. I don’t have an M.B.A. I have a doctoral degree in philosophy—ninetee
HTTPS results in 7% Google AdX revenue drop - Rome2rio
For some time now, Google has been publicly encouraging website owners to transition to HTTPS, a more secure version of the ubiquitous HTTP protocol that powers the web. You can identify websites that use HTTPS with the padlock symbol in the address bar: In August 2014, Google went one step further and used their considerable influence as the world’s most popular search engine to entice website ow
ReactでTDD（テスト駆動開発）を始めよう : 環境構築からテスト作成、機能実装までの詳解ガイド | POSTD
最小限の設定のTDD手法を使い、「何をテストすべきか？」から、よくある落とし穴の避け方まで、Reactコンポーネントをテストする方法を学びましょう。 導入 まず、 React を触ったことがあり、更にはいくつかのテストも書いた経験があるとしましょう。それでも、コンポーネントをどうテストするのが最善なのか、よく分からないかもしれません。どこから始めるのでしょう。具体的には何をテストすればよいのでしょうか。 いくつかのReactコンポーネントは簡潔過ぎて、そもそもテストが必要なのかすらはっきりしません。 AngularからReactに乗り換えた 人なら、テストには愛憎のような思いがあるかもしれません。 確かに Angular にはテストを支援するツールがたくさんありますが、同時にテストを書くのが難しくなる可能性があります。冗長ながら省略できない定型コードが多々ある上、 $digest の呼び出
全社合宿に行ってきました - Qiita Blog
こんにちは、 gocciです。 先日1泊2日の全社合宿に行ったので、その様子をレポートします。 場所は湯河原にある「おんやど惠」というところです。開発合宿でよく利用されているので、ブログなどで見たことある人がいるかもしれません 🙂 全社合宿の目的合宿は次の5つを目的として実施されました。 会社のVision/Missionの共有と議論中長期を含む事業計画の共有と議論各プロジェクトのロードマップやOKR (Objectives and Key Results) の共有と議論Team Building温泉と美味しいご飯で それでは、全社合宿のはじまりはじまり～！ 初日11時50分に湯河原駅前で集合。 宿に着いてお弁当 会議室の様子こんな感じで広い会議室を借りることができます。Wi-Fi、プロジェクター、スピーカーなど会議に必要な物が揃っていました。 アイスブレイク普段の仕事モードからみんなで
Auto ScalingではなくてAuto Cachingという考え方 - Copy/Cut/Paste/Hatena
今年の3月くらいからずっと悶々としていて、なかなか手が出せなかったアイデアがやっと実現できました。 mod_mrubyでやりたいことできたー！— k1LoW (@k1LoW) June 16, 2016 （試行錯誤して書いてみたら、結果たった数行という。。。） Auto ScalingではなくてAuto Cachingという考え方 AWSではAuto Scalingという、サーバの負荷の変化などによってEC2インスタンスをスケールする便利な機能があります。 が、大抵はクラウド環境でないと容易には実現できません。 例えば、クラウドではなく サーバリソースは増やせない。 普段はキャッシュはしてほしくないコンテンツ。 ただ、アクセスが多くなるとかで何かしら負荷が高くなった時には「仕方なく」キャッシュを使っても良い。落ちるよりはマシ。 負荷が戻ったらキャッシュを使わないようにして欲しい。 という状
デザインは「課題解決の設計」トレタのデザインプロセスに学ぶ、デザイナーの役割とは | SELECK
今回のソリューション：【GitHub、Trello、Sketch、Flinto・他】 〜「デザイナーがプロダクトマネジャー」という意識を大切にする、トレタのデザインプロセスの全貌を公開〜 事業開発において、デザイナーと、デザインそのものが成すべき役割とは何か。それぞれの企業が「デザイン」をどう捉えているかは、そのデザイン・開発プロセスを知ることで明らかになる。 飲食店向け予約・顧客台帳サービス「トレタ」を運営する、株式会社トレタ。同社では、デザイナーをプロダクトマネージャーのような立ち位置に置き、「課題解決の設計」が役割であると定義している。 デザイナーが要件定義の段階から仮説検証、フィードバックに関わることで、プロダクトをより良くすることを目指しているのだ。 デザイナー出身者がプロダクトマネージャーの役割を担うようになっていくのは、ひとつの自然な流れだと話す、同社でCCO（最高クリエイテ
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
私は間違っていた。ごめん。ウォーターフォールは何のメリットも無い - メソッド屋のブログ
私はソフトウェアの専門家としてお答えすると、ウォータフォールは何のメリットも無いというのが私の意見であることを共有しておきたい。そういう意見に至った経緯をこのブログで書き留めて置きたい。 尚、これは所属会社の見解ではないことは明確にしておきます。 サム・グッケンハイマーの一言 私は DevOpsのエバンジェリストで、それ以前からアジャイル開発をかれこれ１５年ぐらい実施し、導入の支援をしている。私はかつては、日本の環境の制約の中で如何にアジャイル開発のメリットを最大に引き出すか？ということを考えていた。 ウォーターフォールに対する立場も、真っ向から否定するものでもなく、現状もあるし、それに慣れている人もいるし、実際ウォーターフォールでも失敗しない人も居る。だから、人にウォータフォールのメリット・デメリットを聞かれた時も「変化しないものに関してはウォータフォールはいいのかもしれない」と回答して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLTuner-perl
SQL Load Balancing Benchmark - Comparing Performance of MaxScale vs HAProxy | Severalnines
ProxySQL - A High Performance Open Source MySQL Proxy
bwin·必赢(中国)唯一官方网站
株式会社リクルート
Airbrake
Space Mono - Google Fonts
TechCrunch | Startup and Technology News
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜