I have loaded my application logs in BigQuery and I need to calculate country based on IP address from those logs. I have written a join query between my table and a GeoIP mapping table that I downloaded from MaxMind. An ideal query would be OUTER JOIN with range filter, however BQ supports only = in join conditions. So the query does an INNER JOIN and handles missing values in each side of the JO
概要 クライアントのIPアドレスを含んだ行動ログをBigQueryに保存し、どの地域からアクセスされているのかを分析したいなと思ったので、やり方をまとめました。 3年以上前の情報ですが、以下の記事を参考にしています。 cloudplatform.googleblog.com 準備 以下のような元データをBigQuery上に用意します。 $ cat test_data.csv 1,192.188.171.9 2,202.41.146.198 3,103.83.231.23 4,202.64.101.91 5,43.240.52.112 6,103.12.247.112 7,217.228.79.15 8,35.10.42.69 9,86.40.207.143 10,66.71.60.27 11,72.136.125.125 12,68.144.88.194 13,194.197.79.18
This work is supported by Anaconda Inc, the NSF EarthCube program, and UC Berkeley BIDS A few weeks ago a few of us stood up pangeo.pydata.org, an experimental deployment of JupyterHub, Dask, and XArray on Google Container Engine (GKE) to support atmospheric and oceanographic data analysis on large datasets. This follows on recent work to deploy Dask and XArray for the same workloads on super comp
AWS Database Blog Amazon Aurora under the hood: indexing geospatial data using Z-order curves When designing high-performance database systems like Amazon Aurora, you typically want to work on things that deliver the most impact for the broadest set of workloads. But sometimes, it pays to focus on specialized use cases where you have the opportunity to change the game. In this post, let’s take a l
Time until freeze Time until packaging Time until next point release
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more In early 2015 we started an official data visualization team at Uber. The idea behind it: deliver intelligence through crafting visual exploratory data analysis tools for Uber’s datasets. Every day, Uber manages billions of GPS locations. Every minute, our platform hand
1986 年に豊田の小さなレンタルビデオショップとして創業したゲオは、現在、全国に 1,000 を超える直営店を抱え、メディア事業だけでなく、リユース事業やオンライン事業、アミューズメント事業などを展開するゲオグループへと成長を遂げました。創業時に掲げた "CHANGE as CHANCE" にある通り、変化こそが成功への原動力と捉え、「ポケットマネーで楽しめるレジャー」を事業の中心に据えながら、社会の変化とともにゲオグループもつねに変化を続けています。 当社は創業当時から「商売には IT がつきもの、だからこそ良い製品/サービスを積極的に使っていこう」という意識が経営層にあり、IT に対する理解も深くあります。 また、事業のコアとなる IT システムについては、創業時から内製で構築することにより、スピード感や競争力を保ってきました。 小売業の世界では何事もスピードが非常に重要です。IT
こんにちは、ホリデー株式会社の内藤です。Holiday ( https://haveagood.holiday/ ) というサービスの開発を行っています。 先日開催した Cookpad TechConf 2016 では、『おでかけスポット検索のむずかしさ - Holiday を支える検索技術』という題で発表を行いました。 おでかけスポット検索のむずかしさ - Holidayを支える検索技術 from Yusuke Naito www.slideshare.net この発表では、 おでかけスポットの検索では、全文検索だけでは満足のいく結果は得られない 地理空間検索に拡張することでよりよい検索体験を作ることが可能 これを実現するための Elasticsearch の機能を紹介 というような内容を紹介しました。 例えば、我々が「中目黒」を思い浮かべた時にイメージするエリア内の住所には、「中目黒」
Is it possible to build a system to determine the location where a photo was taken using just its pixels? In general, the problem seems exceptionally difficult: it is trivial to construct situations where no location can be inferred. Yet images often contain informative cues such as landmarks, weather patterns, vegetation, road markings, and architectural details, which in combination may allow on
フェイスブックの位置情報追跡の薄気味悪さを実証したハーバード大生がインターン内定取消しに2015.08.14 10:205,051 satomi フェイスブックで働きたかったら、悪いことは言わないから、本家の痛いところは突かないことです…ぶるぶる…。 同社にインターン内定が決まっていたハーバード大生が、位置情報共有設定の不備を指摘したら、感謝されるどころか内定が取消しになってしまったようですよ? 学生の名前はAran Khanna君。Khanna君はインターン開始まで待ってられなくなって、同社がAndroid版Messengerでユーザーの位置情報を集めていることを実証するChrome拡張機能を作ってみました。 フェイスブックはデフォルトの設定のまま使うと、MessengerのAndroidアプリで同じスレにいる全員に自分の詳しい位置情報が知れてしまうんです。フェイスブックで友達じゃない人
ホリデー事業室の内藤です。 ホリデー事業室は昨年の4月に発足した部署で、Holiday(https://haveagood.holiday)という新規サービスの開発を行っています。 Holiday とは、クックパッドが長年取り組んでいる「毎日の料理を楽しみにする」分野からは少しだけ離れ、「いつもの休日を楽しくすることで人生を豊かにする」ことを目指したサービスです。 例えばこちらのおでかけプランのように、「〇〇に行くならここも行ったほうがいいよ」や「〇〇を散策するならこのコースだよね」など、おでかけのレシピを投稿したり探すことができるようになっています。 今回は、全文検索エンジン Elasticsearch を使って、全文検索と位置情報を絡めた検索についてお話したいと思います。 本稿で説明する内容は、実際に Holiday の中でも応用を加えた形で使われています。 Holiday では、複数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く