Cookiecutter Template for Data Scientists Working in Docker Containers
![Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search](https://cdn-ak-scissors.b.st-hatena.com/image/square/febf4ddc6136b1e15a19e8089954a58fa0c3996c/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F52666bf730fd44b9bd93bb5b5075cc85%2Fslide_0.jpg%3F13199836)
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 クラウド利用が進んできています。 企業内での複数 AWS アカウント契約も珍しくありません。 新規に AWS をご利用されるお客様においても 複数アカウント前提で話をすることが多くなっているように感じます。 複数アカウントを契約した場合のアカウント構成を どう考えたらよいかを整理してみました。 複数アカウントの使い分け アカウントを分割する際の基準を考えてみます。 リソース制限 クラウドの利点は、リソースを使いたい時にすぐ使えることですが、 無制限にリソースを作成できるわけではありません。 例えば、S3 バケットの上限はアカウントあたり 1,000 バケットです。(執筆日時点) 大量のリソースが必要な場合はアカウントを分割します。 リソース制限が本番サービ
MIRU 2019 チュートリアル http://cvim.ipsj.or.jp/MIRU2019/index.php?id=tutorial 松井 勇佑(東京大学生産技術研究所)http://yusukematsui.me/index_jp.html ベクトルの集合を前にして新たにクエリベクトルが与えられたとき、そのクエリに最も似ているベクトルを高速に探す処理を近似最近傍探索という。近似最近傍探索は画像検索をはじめ様々な文脈で用いられる基本的な操作であり、速度・メモリ使用量・精度のトレードオフの中で様々な手法が提案されている。本チュートリアルでは、アプローチや対象とするデータの規模に応じて近年の手法を分類し、その概観を示す。また、各手法に対応するライブラリを紹介し、大規模データに対する探索を行いたい場合にどのように手法を選択すべきかの道筋を示す。
安月給とはいえ年収もどうにか400万超えたし、仕事は暇だけど、ちょっとやる気出せばだいたい解決出来る適度な難易度でやりがいがあるとまでは言いづらいけど、手応えはある感じ。 自炊も覚えて野菜とか魚とか食べるようになってうんこもベチャベチャじゃなくトゥルンって感じの健康的で繊維質なものになった。 自重筋トレも2年くらい続けてたらそこそこ体が引き締まってきてて、筋肥大はしてないしあばらも浮き出てるけど、バランスのいい肉付きになってて何より生活が楽になった。以前のように筋トレしていなかったときはちょっと動くことさえ億劫でめんどくさかったけど、今にして思えばあれは、基礎体力が無いので細く弱った体にとってはわりと負担だったんだなって思う。 HIITも週イチでやってる。4分間だけど、これのおかげで速歩きとか長時間歩いてても息が乱れなくなった。アナルは開発済み。 彼女も居ないし好きな女も居ない童貞、酒もタ
Udemy講座「【Python・Django・TensorFlow + 転移学習】画像分類AIアプリ自作入門」をやりました。タイトル通り、PythonのTensorFlowで作成した機械学習モデルをDjangoを用いてWebアプリ化する講座です。全3.5時間を一晩で流し見しながら追体験しましたが、個人的に求めていた内容にピンポイントで合致して満足しています。 https://www.udemy.com/django-ai-app/ 受講の動機 受講前の知識 各セクションの雑感 イントロ 環境構築(既修者はスキップOK) データの収集・クレンジング CNNによるトレーニング 転移学習でスコアアップを図ろう! コマンドラインアプリ化しよう! Djangoでウェブアプリ化しよう おわりに 受講の動機 受講した理由は、機械学習モデルをWebアプリに組み込む方法をザックリと知りたかったためです。最近
これなに? この記事はBQMLで利用できるアルゴリズム、モデルを作成する方法と、特徴量生成や評価値の確認などを行うための関数についてのまとめです 一応続き物ということになってますが、前回記事と前々回記事はデータセットの作成までしか行っていないので、BQMLの使い方自体については、この記事だけで完結してます 興味ある方は BigQuery + jupyterで機械学習を行う(その1: データセットの作成)(前々回記事) BigQuery + jupyterで機械学習を行う(その2: 前処理、EDA、特徴量生成)(前回記事) をお読みいただけると嬉しいです なお、すべての処理はjupyter上で行い、この記事自体もjupyterで書きました(jupyter上でbqを使用する方法については前々回記事参照) from google.cloud.bigquery import magics from
There are an awful lot of libraries that want to help you animate things on the web. These aren’t really libraries that help you with the syntax or the technology of animations, but rather are grab-and-use as-is libraries. Want to apply a class like “animate-flip-up” and watch an element, uhhh, flip up? These are the kind of libraries to look at. I wholeheartedly think you should both 1) learn how
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
フレームワークに頼らずVulkanで畳み込みニューラルネットワークを実装する方法を解説します これは2019年7月20日に行われた 第15回 カーネル/VM探検隊 での発表資料です サンプルコード: https://github.com/Fadis/kernelvm_20190720_samples
はじめに Qiitaには初投稿となります。よろしくお願いします。 毎年この時期になると、ボージョレ・ヌヴォーがニュースに取り上げられ、その度に例のコピペが話題になります。あれを元に、何年産がおいしい年なのかというランキングを作ろうとした人は、多いのではないかと思います。しかし、難しいのですね。1位は分かるにしても、それ以下の順位を出そうとすると情報の不足に突き当たります。 一応、グラフ化している人もいるようですが、もう少し定量的にやりたい。しかし全ての情報が与えられているわけではない。となれば、こういうときはベイズ推定でしょう、というわけでやってみました。 分析の準備 使用したコピペ まずは、参考にしたコピペです。 95年「ここ数年で一番出来が良い」 96年「10年に1度の逸品」 97年「1976年以来の品質」 98年「10年に1度の当たり年」 99年「品質は昨年より良い」 00年「出来は
The requested URL was rejected. Please consult with your administrator. Your support ID is: 11431019930562623858
Mission: Expression » 2019 Examples to Compare OCR Services: Amazon Textract/Rekognition vs Google Vision vs Microsoft Cognitive Services 2019 Examples to Compare OCR Services: Amazon Textract/Rekognition vs Google Vision vs Microsoft Cognitive Services linkIntroductionWe're building a note app that will surface images+documents in full-text search, so it needs to do OCR as well as possible. Prefe
LightGBM の学習率は基本的に低い方が最終的に得られるモデルの汎化性能が高くなることが経験則として知られている。 しかしながら、学習率が低いとモデルの学習に多くのラウンド数、つまり計算量を必要とする。 そこで、今回は学習率を学習の過程において動的に制御するコールバックを実装してみた。 きっかけは以下のツイートを見たこと。 validation scoreをモニタリングして、lr=0.1で限界に達したらlr=0.01に下げる、みたいなことやったら面白い気がする。誰かcallback使って実装して欲しい https://t.co/iaG6rNo1t5— mamas (@mamas16k) 2019年7月17日 なるほど面白そう。 下準備 使用するライブラリをあらかじめインストールしておく。 $ pip install lightgbm seaborn scikit-learn 学習率を動
ユニコーンを目指すスタートアップのパフォーマンス改善 木村和貴氏(以下、木村):ありがとうございます。それでは準備ができましたので、三木さんよろしくお願いいたします。 三木明氏(以下、三木):はい、よろしくお願いいたします。僕がパワーポイントでのマウス操作が超苦手なので、今日は「GitPitch」を使わせていただいています。「Performance Hack 101」ということで、パフォーマンス改善方法を自己紹介ついでに話したいと思います。よろしくです。こんちわーす! 会場:こんちわーす! 三木:あざーす! みなさんのパフォーマンスが高いので、この時間に来れるってすばらしい。 僕はRepro(リプロ)の三木っていいます。左を見ていただくとわかるけど、スタートアップを立ち上げたり、いろいろと失敗したりしているいわゆるスタートアップおじさんです。今Reproの創業者兼CTO、VPoEをやってい
前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。 なお、Pythonによる決定木・ランダムフォレスト のコード例は、以下の書籍にも記載されてますので、参考にしてみてください。 Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本(ソフトカバー)この商品を含むブログを見る これは、kaggleという世界的なデータ分析コンペティションで提供されているサンプルデータですので、ご存知の方も多く少し面白みには欠けますが、決定木とラン
これは何かGoogleの Material Design Guideline - Data Visualization がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則(Principles) データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く