annbench: 近似最近傍探索アルゴリズムのベンチマーク
ML@Loft #11. 類似画像/テキスト検索 https://ml-loft.connpass.com/event/169623/ 松井 勇佑（東京大学生産技術研究所）http://yusukematsui.me/index_jp.html annbench: https://github.com/matsui528/annbench 画像検索を考える上で近傍探索アルゴリズムの選択は重要ですが難しいです。既存の有名なベンチマーキングライブラリは網羅的ですが実行に十数時間かかるという問題がありました。そこで私は軽量でシンプルなベンチマークのライブラリを作りました。これにより手軽に手法を比較出来ます。是非使ってみてください。
dbt Style Guideを読む
こちらの記事の続きです。 dbt style guideを元にプロジェクトを構築するといいと書かれていたので、dbt style guideを読んで行きます。 公式のリファレンス読むの大事ですよね。 例にもよってモチベーションは、同僚にも読んでもらってデファクトスタンダードを作るためです。 まとめ dbtに限らず、いい感じのことが書いてあった SQL触る人なら一度目を通してもいいかもと思った ただ、スタイルガイドは一人で「これに従うんだー」っていうんじゃなくて、チームで合意形成することが大切だろうなと思った(余計な論争に発展しかねない) Model Naming モデルはstaging、marts、base/intermediateの3つのカテゴリーに分類される なぜこの設計を採用するかの詳細はこちらのポストを参照してね(僕なりにまとめたものはこちら) ファイル、ディレクトリ構造は次のよう
機械学習システム開発と運用の落とし穴
クローズドで行われた勉強会の資料です、画像認識まわりでありがちなハマりどころについて解説しています
Vimのソースの歩き方
8月ごろ、Vim9 scriptにあった二つの不具合を修正しました。 この記事では、どのような過程を経てバグを発見・特定・修正したのかを紹介します。数ヶ月前の記憶を引っ張り出して書いているため、時系列など事実関係に誤りがあるかもしれません。 これからVimを弄る予定の方にとってちょっとでも情報が増えるといいなーとおもいます。 バグの発見 vim-jetpackというプラグインマネージャーがあります。 vim-plugによく似た簡潔なインターフェースながら、細かく設定をいじらなくても非常に早く動作するとても便利なプラグインです。 (詳細については作者のtaniさんがアドベントカレンダーで解説された記事を参照ください) これはVim scriptで実装されているのですが、ふとVim9 scriptで実装したらどのくらい動作が速くなるのかと気になったため、移植してみることにしました。 移植自体は
データ分析基盤を学びたい人におすすめの本・サイトまとめ | Hakky Handbook
データ分析基盤を学びたい人におすすめの本まとめ これは、データ分析基盤をこれから学びたい人向けのおすすめの書籍をまとめたドキュメントです。 本 データ分析基盤全般 クラウドでデータ活用！データ基盤の設計パターン 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ データマネジメントが 30 分でわかる本 データ分析基盤入門 データ活用を促進する！ プラットフォーム＆データ品質の考え方 DX を成功に導くデータマネジメント データ資産価値向上と問題解決のための実務プロセス 75 データマネジメント知識体系ガイド Google Cloud でのデータ分析基盤 Google Cloud ではじめる実践データエンジニアリング入門 AWS でのデータ分析基盤 AWS ではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門 AWS の薄い本
Handbook Introduction | Hakky Handbook
Handbook Introduction このドキュメントは、Hakky Handbook のイントロです。 目的 Hakky Handbook は、Hakky の会社・事業・カルチャー・技術に関する情報を体系化し、外部・内部に発信することを目的として情報の蓄積や発信を行なっています。 Hakky について知りたい外部の関係者の方や、技術的なナレッジを知りたい方、社内のメンバーにとっても有益な情報を公開していくことを目的としています。 コンテンツ コンテンツは以下のカテゴリーに分かれています。 Docs となっているところが、各事業についてや会社で扱う技術や情報などを体系的に取りまとめたものになります。各事業のサービスを受ける方や、これから Hakky に参画したい、また興味を持っていただいてる方は、気になるものを読んでいただけると参考になるかなと思います。 Docs データ活用支援
dbt入門 | Hakky Handbook
dbt 入門 dbt とは dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。 特徴 dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能 スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法 dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt
Misskey Hub – Misskeyプロジェクト 公式サイト
Misskeyは分散型プラットフォームMisskeyはフリーかつオープンなプロジェクトで、誰でも自由にMisskeyを使ったサーバーを作成できるため、既に様々なサーバーがインターネット上に公開されています。また重要な特徴として、MisskeyはActivityPubと呼ばれる分散通信プロトコルを実装しているので、どのサーバーを選んでも他のサーバーのユーザーとやりとりすることができます。これが分散型と言われる所以で、単一の運営者によって単一のURLで公開されるような、Twitterなどの他サービスとは根本的に異なっています。サーバーによって主な話題のテーマやユーザー層、言語などは異なり、自分にあったサーバーを探すのも楽しみのひとつです(もちろん自分のサーバーを作るのも一興です)。
GitHub - dagger/dagger: Application Delivery as Code that Runs Anywhere
Dagger is a tool that lets you replace your software project's artisanal scripts with a modern API and cross-language scripting engine. Encapsulate all your project's tasks and workflows into simple functions, written in your programming language of choice Dagger packages your functions into a custom GraphQL API Run your functions from the CLI, your language interpreter, or a custom HTTP client Pa
【SQL】ゼロ知識から実行計画を読み解きパフォーマンス改善 - Qiita
【SQL】実行計画を読み解きパフォーマンス改善 【SQL】ゼロ知識からSQLのパフォーマンスを考えられるようになるまで ではindexの理解や、DBMSがどのような仕組みで動いているかなどについてまとめました。 知識がついたところで、実際に手を動かしながらSQLのチューニングをしてみようと思います。 ※ 毎回記載していますが、間違った事を書いているかもしれないので、何か気づいたらコメントください。 また、この記事ではSQLのパフォーマンスのボトルネックになっている箇所を特定し改善するための視点をまとめたものです。 この記事を読むと得られること ・実行計画を読んで現状を把握することが出来るようになります。 ・パフォーマンスの優れたSQLを意識して書けるようになります。 ・indexを使い全体を最適化し実行計画を変更することが出来るようになります。 前提 前提としてPostgreSQL 10.
機械学習でFX：Oanda APIを使ってPythonから自動売買する - Qiita
機械学習やDeep Learningで日々腕を磨いている皆さん、一度は競馬やFXの予測で儲けてみたいと思った事はありませんか？ 競馬やFXを機械学習やDeep Learningのモデルで予測してみることは非常にいい勉強・経験になるのでオススメです。 この投稿ではPyhonでFXの自動売買を動かすのに最適なOanda APIについて紹介したいと思います。 Oanda APIとは Oandaという会社が提供しているFXの自動売買のためのAPIです。 個人でも利用できるAPIを提供している会社は少ないのですが、OandaはpythonからAPIを利用するためのパッケージ（oandapyV20）も存在しており、pythonユーザにとっては非常に使い易いサービスとなっています。 APIを利用するには、Oanda社で口座を登録して、APIのためのトークンを発行してもらう必要があります。 デモ環境であれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3 Methods to Solve Your Data Quality Problem Using Python
SQLをこれから学びたい人向けのサイト・本のまとめ | Hakky Handbook
Dagger.io