こんにちは。データサイエンティストを目指している五所です。 今回は、マーケター向けの情報発信をします。 やりたいこと 弊社では、デジタル広告を自社で運用しています。 効果測定のツールとしてエクセルを利用しているのですが、重すぎて処理に時間がかかるという問題が発生しています。 また、エクセルでは自動化に限界があります。 サーバー・クライアントの概念が無いので、DBみたいに外部から接続してデータを追加する使い方ができません。 そこで、先行研究としてElasticsearchに広告レポートのデータを突っ込み、Kibanaで可視化するというのをやってみました。 使ったのはPython3で、CSVファイルを扱うためPandasを使っています。 今回作ったソースコード一式はこちらに置いておきました。 github.com 動作環境 Ubuntu 14.04 Python 3.4.3 Elasticse

This presentation was given by Marios Michailidis (a.k.a Kazanova), Current Kaggle Rank #3 to help community learn machine learning better. It comprises of useful ML tips and techniques to perform better in machine learning competitions. Read the full blog: http://blog.hackerearth.com/winning-tips-machine-learning-competitions-kazanova-current-kaggle-3

前々回：API BlueprintでWeb APIのドキュメントを生成する - Qiita 前回：API Blueprintとapi-mockでモックサーバを作成する - Qiita 概要 さて、今回はAPI Blueprintを使って作成したWeb APIがドキュメント通りに動作するかを、dreddを使ってテストします。 dreddとは dreddはAPI BlueprintをベースにしたWeb APIのテストフレームワークです。"Language-agnostic"と謳っているだけあってテストのフックにはnode.js以外にもgoやPython、Rubyなど多様な言語が利用でき、またCircleCIやJenkinsCIなどのCIのサポートもあります。 このように、API Blueprintのエコシステムに乗っかることによって、API Blueprint形式で書いた仕様からaglioを使

前回：API BlueprintでWeb APIのドキュメントを生成する - Qiita 概要 ここでは、api-mockを使って記述したドキュメント通りに動くWeb APIを立ててみます。 api-mockで立ち上がるモックサーバは、実際にはデータの追加や削除等のデータに応じたレスポンスを作ることはできません。APIを1から実装する段階ではあまり恩恵がありませんが、既に他のアプリケーションとの連携ができる場合などには、疎通確認したいといったケースには便利なツールです。 また、きちんとドキュメント通りに想定するレスポンスが返ってくるので、MacOSならパイプを挟んでpbcopyすることにより、手軽にコピペできる等の使い方も考えられます。 api-mockでWeb APIドキュメントからモックサーバを立ち上げる api-mockコマンドで先ほど作成したrecipe.apibを指定するだけでサ

「翻訳: WebAPI 設計のベストプラクティス」を読んで色々と思うところがあったので書きました。 上記の記事は訳文でありますので、正しくは「Best Practices for Designing a Pragmatic RESTful API」に対する所感と述べた方が良いのかもしれませんが、日本語で通して読めるよう Qiita に投稿された訳文に対する所感として書いています。 以下では「翻訳: WebAPI 設計のベストプラクティス」並びに「Best Practices for Designing a Pragmatic RESTful API」は「当該記事」と表現します。 観点 当該記事では「○○とした方がよい」との意見に対してそうすべき理由が明らかになっていないか、もしくは表現が曖昧な場合が目立っていると感じました。設計は実装のようにプログラム言語仕様が制約を与えられないため、意図

Update 2021-02-08: Old post is old! I really don't recommend messing with Dredd anymore, it was a handy stepping stone on the way to contract testing with API descriptions but these days using OpenAPI v3.x and using those descriptions to power contract testing in your existing test suite is a far more useful and less painful way to go. If you have documentation for any sort of HTTP-based API, from

今回のウェビナーでは、Hadoop1.xからみなさまに深く親しまれてきたApache Hiveが昨今、どのような形で高速化されてきたかについて話します。MapReduceからTezに変わった実行エンジン、インデックスを持ったカラムナーファイルフォーマットであるORC、モダンなCPUを最大限に活用するVectorization、Apache Calciteを利用したCost Based Optimizerによる実行計画の最適化、そして1秒以下のクエリレスポンスを実現するLLAPについて説明します。いずれの機能も数行の設定やコマンドで活用可能なものばかりですが、今回はそれらの背景でどんな仕組みが動いているのか、どんな仕組みで実現されているのかということについて話します。Read less

この1年ほどfitbitで歩数データを取り続けている。 最近、歩数データは1日よりも小さい単位（1分、15分）で取得できることを知ったので、それを利用して日々の行動をパターン化したい。 同時に手持ちの睡眠データと組み合わせて、行動パターンとの関連も見たい。 睡眠データはSonyのSmartband2で取得している。 なお、コードも含めた結果はRPubsにアップしたので細かい話をそちらを確認してほしい。 http://rpubs.com/dichika/stepandsleep 可視化した結果 歩数データは１時間ごとの集計をLDAでもって５グループに分けた。 LDAを用いた理由はこの研究会でLDAを歩数パターンに適用している発表があったのでその追試の意味合いが大きい。 5グループへの分類が終わったら、各グループの特徴を時間別の分布、総歩数、睡眠の質（入眠後3時間以内の深い眠りの割合）で確認す

Parrots in captivity seem to enjoy video-chatting with their friends on Messenger

『 Autobiography of a Blind Programmer(視覚障碍者プログラマの自伝) 』という記事を投稿した後、コンピュータをどのように使っているのか、どのようにコードを書いているのか、そしてどのように抽象的概念を理解しているのかよく聞かれました。 先週この記事を書き始めたのですが、話が脱線しがちになることに気が付きました。ツールに関係のない過去の話を持ち出してしまっていました。個人的な好みやなぜ好んでいるのかを長々と説明していました。なぜこのようなことを言っているのか。 それは、上のリンクの記事、『 Autobiography of a Blind Programmer(視覚障碍者プログラマの自伝) 』をぜひ読んでいただきたいのです。もし、その気になれない場合は、頭の片隅にでも置いておいてください。私の経歴に興味がわいた時にでも読んでください。 前置きはこのくらいにし

ヴォイニッチ手稿ハッカソンという謎のイベントが開催されるので主催でもなんでもないけど勝手にそれ向けの資料をまとめていく。 計算言語学の論文を書いた時に、ネタでVoynich manuscriptとRongorongoも一緒に計算対象にしたりして、サーベイをしたのでその時の知見をまとめて行く。書いた論文は別に未解決文字にフォーカスした論文ではなく面白いかどうかはわからないけどかなり真面目な内容の奴なのであしからず。 voynich maniscriptとは 謎の文字と気持ち悪い絵がいっぱい書かれた変な本。何らかの未知言語で書かれているかもしれないし、適当にそれっぽく作って詐欺に使われた道具かもしれない。個人的には、アラビア語系の言語で書かれたなんらかの文書をもとに適当に作ってそれっぽい絵を付けた美術品だと思ってる。 以下のページが、これまでの歴史的経緯について詳しい http://www.v

材料調達、キットがとっても大変なので、次回生産予定はありません。このページの商品は在庫限りで販売終了の予定です。設計データ、使用部品、回路図を公開しておりますので、是非みなさんも製品化にチャレンジしてみてください。 Bluetoothでスマートフォンやパソコンと接続できるフリックキーボードを作るための電子部品のセット販売品です。グーグルさんとは直接の関係はありません。 表面実装部品とArduino Nanoを取り付けるためのソケットがはんだ付けしてある基板と必要な部品がまとまったキットです。完成させるためにははんだ付けが必要です。 Bluetoothモジュールの設定は済ませてあるので、電源を入れればBluetoothキーボードとして使えます。すべてのBluetoothキーボード対応端末への接続は保証できません。ご了承ください。 組み立て方はBluetooth物理フリック入力キーボードの組み