複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog
こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。 今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6「Shardingマジ怖い」tech.kayac.com Advent Calendar 2012)。 こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速
データフォーマットの選定とUnityにおけるAvroの使い方 - Tech Inside Drecom
これはドリコム Advent Calendar 2016 20日目です。 皆さんこんにちは。 新卒1年目のエンジニアはっとりと申します。 静的ファイルフォーマット検討 社内ではUnity向けのマスターデータのモデルクラス、パース処理を自動的に作成してくれるIDLの仕組みが求められていました。IDLの導入によりクライアント側のコードを書く手間を省くことができます。また、IDLスキーマに型が明示されるのでサーバー/クライアント間のコミュニケーションコストを削減できるといったメリットもあります。 現状の社内では、MessagePackやJSONが使われてきておりIDL導入の知見がありませんでした。 新たなIDL付きのファイルフォーマットを導入できるかの検討の結果、Avroを採用することとなりました。 今回はその採用のいきさつと簡単にAvroの使い方をご紹介したいと思います。 環境 Unity 5
APIドキュメントを支える技術 - Qiita
最近のウェブ開発では各機能ごとをAPIでつなぎ込む時代になっています。 そのため、各チームが開発をしていく上で、 他のチームにAPIの仕様を伝える方法をきちんとまとめておく必要が出てきています。 そんな中でAPIドキュメントにどのような役割が求められていて どのような選択肢があるか、一旦自分の把握している知識をまとめています。 (ここで書いているAPIは、httpでアクセスしたら、JSON形式でレスポンスを返すウェブサービスのAPIを指しています) APIドキュメントを用意する上で、すぐにぶつかる壁 APIドキュメントを用意する場合に、何も考えずにExcelやwikiにまとめると、早い段階で メンテナンスのコスト の問題にぶつかります。 『APIドキュメントを書く時間がない』 『本当にドキュメント通りの結果が返ってくるか、試してみないとわからない』 『実際に返ってくるAPIとレスポンスが違
AndroidのUnitTest用モックサーバーをYAMLとJSONから作る - Qiita
背景 ニフティクラウド mobile backendのSDKが4つ iOS / Android / JavaScript / Unity JavaScriptのUnit TestでStubcellを使ったスタブサーバーを用意していた その時のYAMLファイルとJSONファイルを使いまわしてAndroidでもテストしたかった 準備 AndroidのUnit Test環境の構築は以下を参照 MockWebServerを使ってAndroidアプリのHTTP通信テストをしてみる assetsフォルダにあるレスポンスのJSONファイルを読み込むところまではできていた YAMLを使うライブラリの設定 snakeyamlを使う build.gradleを編集 mavenCentralをリポジトリに追加 dependencies { compile fileTree(dir: 'libs', includ
PHPでHTTPの並行ダウンロードを実現する（Guzzle編） - hnwの日記
PHPで最近注目のHTTPクライアントライブラリにGuzzleがあります。日本での知名度はまだまだという印象ですが、かなり高機能かつ真面目にメンテナンスされている印象で、今後のデファクトスタンダードになりうるライブラリと言えるでしょう。 本稿ではこのGuzzleを使ってWebサーバから並行にダウンロードする方法を紹介します。Webブラウザのように同時に複数コネクションを管理しながらKeep-Aliveでコネクションを使い回しますので、下手なコードで実現するより接続先Webサーバにも優しいはずです。 Guzzleの特徴 まずは、Guzzleについて僕が特徴的だと思う点を紹介します。 パッと見でわかりやすいインターフェース cURLは必須ではないがデフォルトでcURLを使う cURLの無い環境がありうるので、cURL無しでも動くのは嬉しい cURLのわかりにくいインターフェースを隠してくれるの
Googleのベストプラクティスに沿ったモダンな製作の出発点「Web Starter Kit」
Web Starter Kitで用意されている各種の設定ファイルなどは、そのまま使うのではなく、各自が自分のスタイルに合わせてカスタマイズするとよいでしょう。ファビコンやスマートフォンでサイトをホーム画面に追加した際に表示されるアイコンなど、各自で差し替える必要があります。 humans.txtやrobots.txtなども使用する場合には適宜編集する必要があります。 動作環境の構築 Web Starter Kitに用意されたツールを使用するためには、以下の言語の環境が必要となります。 Node.js (v0.10.x以上) Ruby (1.8.7以上) これに加えて、以下のツールのインストールが必要になります。 Nore.js上で動くタスクランナーのgulp (3.5.x以上) Sassのコンパイルを行うRubyのgem (3.3.x以上) それぞれのインストール方法について、簡単に紹介し
全てがJSONになる - ✘╹◡╹✘
TL;DR JSON Schemaを使ってこういうことが実現可能になった。 ダミーAPIサーバの提供 ドキュメントの自動生成 APIクライアントの動的定義 APIサーバのバリデータの動的定義 APIサーバのレスポンスの自動テスト JSON Schemaとは JSON SchemaというのはあるJSONのデータ構造を記述するための方法および書式の仕様で、 JSON SchemaもJSONで記述される。 これを利用すれば、リソースベースの(=RESTfulライクな)APIの仕様が簡便に記述できる。 例えば、我々のAPIはレシピとユーザというリソースを扱っていて、 それぞれCRUDのAPIを備えており、レシピはidとtitleとdescriptionという属性を持つ、 という旨をJSON Schemaで表現できる。 なんで最近ちょっと流行ってんの Mobile First、 Service Or
UnityからC#でJSONのWebAPIをコールして解析する方法 - Qiita
HTTP通信はWWWクラスでやる。 非同期呼び出しなのでStartCoroutineで呼び出す。 UnityでJSONを解析する方法はいくつかあるが 1. LitJson 2. JSONObject を試してみた。 LitJsonはユーザー定義のデータオブジェクトにマッピングする方式。 JSONObjectは連想配列のような汎用オブジェクトにマッピングする方式。 簡単な形式のJSONならJSONObjectで、複雑な形式のJSONならLitJsonがいいんじゃないかと思う。 以下コード抜粋 using LitJson; //JSONObjectはnamespaceなしなのでusing不要 public class JSONWebAPICallSample : MonoBehaviour { void Start() { StartCoroutine(Download()); } IEnum
にひりずむ::しんぷる - JSONPath が便利でスクレイピングが捗る話
JSONPath というのがあって、いわゆる XPath の JSON 版です。 仕様は以下 JSONPath - XPath for JSON XPath すべての機能が使えるわけではありませんが、巨大な JSON から目的の key を探す場合にはなかなか便利です。 たとえば、Dailymotion の JSON なんかはダンプすると 900行ぐらいあったりして、しかも超絶階層が深い。更にいうと配列が多くて、順番が変わる可能性も高い (というか実際に昔作ったスクリプトがうごかなくなっていた)。 そういう場合にサクッと指定してモリっと取ってきてくれると便利ですね。 例えば Dailymotion の動画のタイトルが欲しい場合は、JSONPath を使わないと以下のようになります。 my $title = $json->{sequence}[0]{layerList}[0]{sequenc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
YQL console
Welcome to Cerny online, Your First Developer Blog