「いい検索」を考えるWord Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Elasticsearch とオブジェクト指向。Object datatype と Nested datatype の違い - mattintosh note
Elasticsearch のデータタイプには Object datatype と Nested datatype というものがある。 Object datatype | Elasticsearch Reference [6.6] | Elastic Nested datatype | Elasticsearch Reference [6.6] | Elastic これを説明する前にオブジェクト指向な考え方について知っておかなければいけないが、これを書いている人間はつい最近まで「オブジェクト指向とはなんぞや？」という人間だったため詳しい人からすると誤った考え方をしているかもしれないのでその辺をご容赦いただいた上で読んでもらいたい。 オブジェクト指向的なデータの作り方 非オブジェクト指向的な考え方の場合、データを下記のような構造で作成すると思う。こういうデータ構造が出来ないわけではないし間違
DynamoDBのテーブル設計をするとき、自分に問いかけていること - 或る阿呆の記
DynamoDBをいじり始めてかれこれ一年くらい。見よう見まねで騙し騙しやってきたが、色々と痛い目を見てわかってきたこともある。転んで生傷つくりながら、テーブル設計をする際に考えるようになったことを、備忘録的に記述していく。 オートスケールの話はしない（わからない）。インフラ専門部隊がいないなら、オンデマンドがいいよ。人的コストより多分安いよ。 ドキュメント なにはともあれ、公式のドキュメントについて存在を知っておく→「DynamoDB のベストプラクティス - Amazon DynamoDB」 こんな記事を読んでいる時間があるなら、公式のドキュメントを読むべきだ。でも多分読めない。自分も今でも読めていない。ここに書かれているのは本当に日本語だろうか、と真剣に思う。まぁ教科書なんていうのはだいたい、わかってから読むとわかるもんである。 それでも通して読むことでなんとなく親しみがわくのが人間
Kibana Vega Visualizationでウォーターフォールチャートを表示する - Qiita
この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の19日目の記事です。 はじめに Vega/Bison/Balrogの日英表記での対応が一生覚えられません。j-yamaです。 某日、某所にて。こんな質問を受けました。 『Kibanaでウォーターフォールチャートって表示できません？エクセルとかにあるやつなんですが。』 （もともとのKibanaにはないけれどVegaのExampleにはあったような…探してみよう） https://vega.github.io/vega-lite/examples/ （あった！） 「実験的な機能で、難しいんですけど、Vega Visualizationを使えばできるみたいですね（参考URLペタリ）」 『使い方教えてもらえます？』 「・・・」 というわけで、Kibana Vega Visualizati
2019年末版: Redash のメモリ使用量を節約する - ariarijp’s blog
まえがき 約2年前にこんな記事を書きました。 ariarijp.hatenablog.com 最近、Twitter で趣味の Redash エゴサをしていると、メモリ使用量でお悩みの方がいるようだったので、2019/12/20 現在で Redash のメモリ節約にチャレンジしてみます。 サクッといきます。 環境 先日公開した以下の記事の手順に沿って Vagrant 上で環境構築しました。 ariarijp.hatenablog.com コンテナのリソース確認のため、 ctop も使います。 github.com 節約前 ctop コマンドで見るとこんな感じ。 ざっくり Redash のコンテナ群だけで1.2 GB 前後といったところでしょうか。 (注)PostgreSQL のメモリ使用量については、この記事ではいっさい触れません。 節約後 起動しているコンテナ自体が減っていることもあります
ElasticsearchのSearchTemplate - はてだBlog（仮称）
Elasticsearchには、Search Templateという、よく使うクエリをElasticsearch自体に登録して、それをテンプレートにして検索クエリの一部を差し替えたような検索ができます。 使い所によって、共通化、タイプ量削減、設計方針の強制、コンセプトの共有、いろいろな捉え方ができると思います。 テンプレートのフォーマット指定は、mustache風です。 www.elastic.co 私の中では、存在は知っていたものの、（後半に示しているJSONをパラメータに受け取ってそのままプレースホルダーにはめ込みできるというところが特に）再発見でしたので、勉強メモとしてこちらにサンプル例を書き連ねてみます。 確認に使ったElasticsearchのバージョンは ver6.8です。 もっともシンプルな例 いろいろな例 001（オーソドックス：検索ワードの当てはめ） 002 (001と同
Elasticsearch の Mapping 管理を Go + CUE に移行した - 好奇心に殺される。
Go / Elasticsearch Elasticsearch の Mapping 管理を Go + CUE に移行した Elasticsearch の Mapping JSON を全て Go の構造体で定義していたのを Go + CUE に移行したので知見を共有します。 Overview こんにちはponです。私が働いている白ヤギコーポレーションではElasticsearchを利用しているのですが、顧客ごとにIndexの設定、言語、Analyzerなどをカスタマイズできるようになっています。そのため、顧客の設定をDBから取得してGoで構造体を通してJSONを生成し、Mappingを作成/更新する機構が存在します。これを Go + CUE に移行して課題が解決できたので共有します。少し珍しいCUEのusecaseだと思います。 Before CUEの紹介の前に、まずは弊社が抱えていた課題
インドを旅して感じた「穏やかな日常」と隣り合った「秩序のなさ」
2012年インドのデリーで発生した集団強姦事件は、インド国内だけでに留まらず、全世界に波紋を呼びました。インドを旅した方々のブログを読んでも、盗難、詐欺、恐喝と、耳を塞ぎたくなるような体験談の数々。それでもインドを旅したかったので、細心の注意を払って乗り込みました。ところが、いざ降り立ってみると、悪い人なんてそうそういません。何か困ったことがあれば、たいていは親切にしてくれます。それにも関わらず「インドは危ない国なので油断はできない」という結論に至りました。 こんにちは、自転車世界一周の周藤卓也＠チャリダーマンです。3月20日にムンバイに降り立ってから、ネパール、バングラデシュを挟んで、インドには55日滞在しました。人によって賛否のわかれる国ですが、私も同じような感想でした。自由な空気には癒やされた反面、秩序のない社会には苛立ちます。 ◆いや、別に普通かも……？ バス停には行先案内なんてな
価値のないものを高速につくらないために - ネットの海の片隅で
スピードとスピード感は違うし、素早くつくることと雑につくることも違う。 我々の仕事がコードを書くことではなく問題を解決することである以上、どんなに素早くつくるとしても誰のどんな問題を解決するのかは常に意識していなければならない。 その点について深く考えずに思いつきで「A すれば B できるようになる」というものをつくるのは素早いのではなく雑なものづくりだと思っている。 そもそも「〜できる」ということにはあまり価値がないと思っていて、「〜するようになる」「〜してしまうようになる」というように行動が変わるところまで意識的に持っていかなければならないと考えている。 *1 面と向かって他者の行動を変えるのだってめちゃくちゃ大変なのに、インターネット越しに画面だけでユーザーの行動を変えるということがそんなに簡単にできるはずがない。 だから、画面の向こうにいる人に対して何かしらのアクションを引き起こさ
Continuous Testing in DevOps…
I’ve recently attended a number of conferences, some testing ones, some agile ones and some dev ones too. Although some of the talks were painful due to misunderstandings of one thing or another (be it testing, automation, agile, BDD, TDD, etc…), overall, I thought the conferences were pretty good and I met some new people too and got to share some stories with them. One thing I heard a fair amoun
BigQueryでUplift Modeling分析｜Dentsu Digital Tech Blog
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryでUplift Modeling分析を行うための方法について紹介します。 広告効果を上げるためには？ 広告効果とは、広告に接触した場合と接触していない場合とのその後のコンバージョン（CV）の差である、と言えます。 介入が無作為に割り当てられるランダム化比較試験（randomized controlled trial, RCT）において、広告効果は平均処置効果（average treatment effect, ATE）として推定できます。 詳しくは過去記事[1]にまとめています。 Uplift Modelingは「広告施策において、その効果を上げるためには誰を広告配信対象とするべきか」を推定するための方法です。 ユーザーの特徴量を 𝐱𝑖 とすると、Uplift Scoreは下記のように算出されます。 Up
デザイン言語を使ってやりたいことを整理しよう - Omoroki DesignLang
Startup Weekend Yokohama 5のプレイベント用に作成した資料でSlideShareに抜粋しました。 デザイン言語を使って、やりたいことを整理しよう！ ~「ボケて」の誕生物語から学ぶ~ // SW Yokohama 5 プレイベント 2016年6月4日 15:00 - 17:00 横浜市神奈川区鶴屋町2-17相鉄岩崎学園ビル 808教室
Architecture Overview of Fuchsia OS - Speaker Deck
Transcript Architecture Overview of Fuchsia OS Kernel/VM探検隊online part1 2020/06/06 @kurun_pan @kurun_pan Software Engineer @Sony ♪ This LT and contents are a personal activity (a hobby) ! ♪ Kurun / くるん About me Agenda n 本日、Fuchsiaを話すことにした背景 n Fuchsiaとは n Fuchsiaアーキテクチャ概要 n Kernel (Zircon) 概要 n 時間が余れば (多分余らない) 、その他 'VDITJBʹ͍ͭͯɺ͋͘·ͰૉਓͰ͢ɻ ͦͷͨΊɺؒҧͬͨ༰ؚ͕·Ε͍ͯΔ͔͠Ε·ͤΜɻ 「FuchsiaでFlutterアプリを動かす︕」 ※GW休み中の
HSEとは何か
Heterogeneous-Memory Storage Engineについて解説します これは2020年6月6日に行われた カーネル/VM探検隊 online part1での発表資料です 参考文献 Heterogeneous-Memory Storage Engine: https://www.micron.com/hse Don't stack your log on my log: https://www.usenix.org/node/187064 電源を切っても消えないメモリとの付き合い方: https://speakerdeck.com/fadis/dian-yuan-woqie-tutemoxiao-enaimemoritofalsefu-kihe-ifang この資料のサンプルコード: https://github.com/Fadis/hse_demo カーネル/VM探検隊
自分プロジェクトを挫折せず続ける技術 - 個人開発をはじめよう！ - Lean Baseball
職業としてエンジニアをやりたい・やってるけど（サーバーサイド→アプリエンジニア, インフラ→機械学習エンジニア的な）ジョブチェンジをしたいという方は結構いらっしゃると思います（かつての私もそんな人達の一人でした*1）. エンジニアをやりたい, 別の領域のエンジニアにジョブチェンジしたいというときに, 仕事終わった後, 週末などに個人学習をする 勉強会やイベントに参加したりコミュニティーのメンバーになって仲間を増やす 一念発起?して自分でWebサイト・サービスやiOS/Androidアプリを作ってリリースする といった, 「自分プロジェクト」言い換えると「個人開発」をすると思いますが, これって中々続かない事多くないですか? 少なくとも私は上手く行かなかった時期がありましたし, 今は上手く行ってるものの, たまにこの手の相談を受けます. そんな中, 奇しくも今年の4月に「個人開発をはじめよう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アセンブリ言語のみで言語処理系を作った話 // Speaker Deck