re:dashは何が良くて、何が足りないのか - Qiita
re:dashを使い始めて約半年、社内で実運用を始めて約10ヶ月が経ちました。 re:dashに繋がらなくなると苦情が出るレベル、にまでは社内で使われるようになりました。 その感想を書きます。 かなり主観も入ってますが、これから使おうとしている方は是非参考に。 現在の使用状況 クエリ数は約900 このうちスケジューリングで定期実行しているのは約200 ダッシュボード数は約150 何が良いのか OSSであること これは非常に大きいです。 商用のBIツールの場合、よくわからない挙動や動作をした場合でもベンダーに問い合わせたりする必要があります。 ただしre:dashはOSSです。 意味不明な動作をしたらコードを読めば動作が把握出来ます。 (※もちろんPythonのコードをある程度読める必要があります) また、開発が非常に活発で外部からのPRもちゃんと見てくれます。 作者の@arikfrさんが開
El Capitan / SierraでTeX環境をゼロから構築する方法 - Qiita
重要 本記事の内容は2018年5月に公開されたMacTeX 2018に対応していません。MacTeX 2018を用いたインストールの方法は、Yusuke Teradaさんの記事をお勧めします。 0. はじめに 2015年10月に公開されたOS X 10.11 El Capitanでは、セキュリティの強化やフォント管理方式の変更に伴って、従来のTeXインストールの方法が通用しなくなりました（詳しくは寺田先生による説明をお読みください）。ここでは、El Capitan以降のmacOSにTeX環境をゼロから構築する方法を、備忘録を兼ねて書き留めておきます。 ここで対象とするのは新たにTeXを導入するEl Capitan / Sierraユーザーです。Yosemite以前からのTeX環境を残したままEl Capitan以降にアップデートした場合の対応はここでは説明しませんので、他のエントリー（ここ
KeynoteのスライドをSlideShareにアップロードすると日本語が表示されない問題 - Qiita
追記: 一番オススメの対処法 (忙しい人向け) @a_bicky さんがご提案された次の方法で、とりあえずこの問題は回避できます! 情報ありがとうございます! LANG=C LC_ALL=C sed -i '' s'|/Registry (Adobe) /Ordering (Japan1) /Supplement [0-9]|/Registry(Adobe) /Ordering(Identity) /Supplement 0|g' /path/to/pdf 詳細: 日本語を含む Keynote を slideshare にアップロードする - あらびき日記 SlideShare を引き続き使う場合、 @koic さんの記事『SlideShare に Keynote からの PDF をアップロードする際のスクリプト』にあるようにコマンドとしてまとめておくと便利そうです 追記の追記: ブラウザ
Sublime Text 3 で使っているキーバインディングの設定 - Qiita
Tabでカッコの外にカーソルを移動させる Shift+TabでもTabの挿入にする Ctrl+Spaceでオートコンプリートのパネルを閉じる コード補完の候補選択をTabとShift+Tabで上下に移動させる 日本語入力で変換候補をTabで移動できるようにする 以上のキーバインディングを設定しました。 （Sublime Text 3 Build 3059、Mac OS X 10.9 Mavericks） 1. Preferences ＞ Key Bindings - User の設定 ・Default (OSX).sublime-keymap - User [ // Tab でカッコの外にカーソルを移動する { "keys": ["tab"], "command": "move", "args": {"by": "characters", "forward": true }, "conte
もう保守されない画面遷移図は嫌なので、UI Flow図を簡単にマークダウンぽく書くエディタ作った - Qiita
はじめに Webサービスやアプリを企画したり、立ち上げたりする際にプロトタイピングツールや、ExcelやPowerpoint、Illustraterなどを駆使した謎のファイルで画面遷移図を描くことがある。 こういう図を元に仕様を決めて行って、サービスを作っていくのは以下の点で困る。 画面遷移図が保守されない。 書くのが非常に面倒くさい ユーザーのモチベーションの流れが追いづらく、見た目ばかりに注目してしまうものになりがち マシンリーダブル(ソフトウェアで構造を取り出せない)でない。 このような欠点があってどうにも扱いづらい。 そんなわけで、markdown風のテキストから簡単に画面遷移図を描けないかなとコンパイラを作成し、次にそれをインタラクティブに編集できるエディタを作成した。 UI Flows図について 画面遷移図的なものを書く際に、僕が個人的につかっていた表現方法として、UI Flo
Spark の MLlib を使った Dataproc でのレコメンドシステムの実装 - Qiita
はじめに 前回の Advent Calendar の投稿では, 簡単に Dataproc の特徴について説明を行いましたが、今回は, 実際に Dataproc を使ったレコメンドシステムの実装について解説したいと思います。 実装するシステムの概要 【追記】 下記では、BigQuery から直接読み込む実装にしていますが、データ量が大きい場合（数百MB以上）は、テキストデータに比べて読み込みに大幅に時間がかかるため、BigQuery から GCS へ一旦エクスポートし、CSVファイルとして読み込むことをお勧めします。 本投稿では、ユーザーのアイテムに対するLikeや閲覧履歴から、ユーザーに対してアイテムをレコメンドするシステムを実装します。ライブラリとしては、Matrix Factorization を Alternating Least Square という手法で計算するライブラリを使って
Apache Spark 1.6 Dataset APIをいち早く試してみる - Qiita
Apache Spark 1.6から新しく追加されたDataset APIを試してみる。 2015/12/14現在まだリリースされてないが、年内中にはリリースされるはず。 背景 RDDはLow Level APIで、としてフレキシブルだが、最適化が難しい （Spark 1.3から登場した）DataFrameはHigh Level APIでオプティマイザーが最適化してくれるが、フレキシブルさがない。特にUDFの使い勝手が不便なところや型チェックに弱い Dataset API 登場 上記の問題を解決するためにSpark 1.6から実験的（Experimental）に登場したのがDataset APIである RDDとDataFrameの良いところを併せ持つAPIとして開発されています。つまり、早くて使い勝手のよいAPIだと言えます。 画像はhttp://technicaltidbit.blogs
LSTMを使ってズンドコキヨシを学習する - Qiita
概要 LSTMを使ってズンドコキヨシを学習してみました。 Chainerを使って実装しています。 ちょっと前にあからさまに誤ったコードを投稿してしまったのですが、修正して再投稿します。 LSTMの説明は以下の投稿が詳しいです。 わかるLSTM ～ 最近の動向と共に モデル 以下のようなモデルを構築します * 入力として「ズン」または「ドコ」を受けつける * 出力はNoneまたは「＼キ・ヨ・シ！／」 * 「ズン」「ズン」「ズン」「ズン」「ドコ」をこの順で入力したら「＼キ・ヨ・シ！／」を出力、それ以外の場合はNoneを出力するように学習する コード #!/usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import chainer from chainer import Variable, optimizers, fu
Matrix Factorizationとは - Qiita
Machine Learning Advent Calendarです。 普段はGunosyという会社で推薦システムを作ってます はじめに 推薦システムに関する最近の文献を読むと結構な割合で出てくるMatrix Factorizartion(MF)と呼ばれる手法があります。 ざっくり言うとこの手法は協調フィルタリングにおける次元削減を行うことでよりよい推薦を行おうという手法であり、 Netflix Prize(100万ドルの賞金が賭けられた推薦システムのコンテスト)で最も成果を上げたモデルの一つでもあります。 本記事ではこの手法を紹介していきます。 協調フィルタリング まず協調フィルタリングについておさらいしましょう。 あるサービスで3人のユーザが５つのアイテムに対して5段階評価をしたとき、その評価値を以下のようにベクトルで表すことができます。 \vec{user_{1}} = (4, 5,
ズンドコキヨシ.jl with Iteration （追記あり） - Qiita
@chezou さんの ズンドコキヨシ.jl を見て、私もズンドコキヨシを Julia で書いてみたくなった。 ただのn番煎じじゃつまらないので、できる限りトリッキーに書いてみた。 ※【2016/03/17 20:20】 厳密バージョンについて追記しました。 Iteration による実装 # zundoko_iter.jl immutable ZunDoko end Base.start(::ZunDoko) = 0 Base.done(::ZunDoko, i::Int) = i == 6 function Base.next(::ZunDoko, i::Int) if i == 5 ("キ・ヨ・シ！", 6) elseif i == 4 rand([("ズン", 4), ("ドコ", 5)]) else rand([("ズン", i + 1), ("ドコ", 0)]) end end
CRDT (Conflict-free Replicated Data Type)を15分で説明してみる - Qiita
CRDTについて勉強したので纏めてみました。15分くらいでざっとわかったつもりになれる感じで纏めてみたつもりです。 全体スライド Slideshareのスライドが埋め込めなかったので、↓からアクセスしてくださいm(-_-)m 下記はスライドの講演の書き下しのようになっているので、スライドだけ見るんじゃなくて、スライドを見ながら文章を読み進めたい方向けです。 CRDTとは 今回は、CRDTというデータ構造について紹介します。CRDTはそもそも2011年にSSS(Stabilization, Safety, and Security of Distributed Systems)という国際会議で、INRIA(フランス国立情報学自動制御研究所)のMarc Shapiro博士によって発表された、比較的新しいモノです。 CRDTは"Conflict-free Replicated Data Type
Pythonで形態素解析器の比較できるパッケージつくった - Qiita
この記事の内容 Pythonで形態素解析器の比較ができるパッケージ作りました。 Python2.7, Python3.xで動作します。 4つの形態素解析器をサポートしてます pipでインストールできます。 pip install JapaneseTokenizer パッケージのURL ただしWindowsはダメです。ごめんなさいね。 パッケージの特徴 単語分割するための簡単なインターフェース提供 「単語分割 -> ストップワードと品詞でフィルタリング」の操作が1行で完結 Mecab, Juman, Juman++, Kyteaの4種類を同じインターフェースで呼び出し可能 実務でバリバリ使える 株式会社インサイトテックの至るところで1年間半以上、使われてます。 数百万件のテキストでも割とバリバリと処理してくれます 実は本家のpyknp(v0.3)よりも動作が早い 辞書追加の簡単なインターフェ
カスタムドメインの GitHub Pages で HTTPS を使う - Qiita
2018/5/10 追記: GitHub が公式にカスタムドメインの HTTPS での配信をサポートしたため、下記の手順を利用する必要がなくなりました 詳しくは Custom domains on GitHub Pages gain support for HTTPS | The GitHub Blog を参照してください。 GitHub Pages では *.github.io のドメインが割り当てられて HTTPS も有効になっていますが、カスタムドメインを使うと HTTPS を使うことができません。ここでは CloudFlare を使ってカスタムドメインの GitHub Pages で HTTPS を使う方法を紹介します。 GitHub Pages にサイトを構築する まず GitHub Pages でサイトを構築しないことには始まりません。今回はカスタムドメインで HTTPS を使
Gradient Boostingについて - Scikit-Learnを使ったfeature transformation(GBDT + LR vs LR) - - Qiita
Gradient Boostingについて - Scikit-Learnを使ったfeature transformation(GBDT + LR vs LR) -機械学習EnsembleLearningBoostingGBDT 1. scikit-learnを使った実験概要 Gradient Boostingについて - 準備編 - （ http://goo.gl/y2EVLI ） の予告通り今回はSklearnで実験をしてみました。目的は、GBDTを使ったfeature transformationが予測を改善するのか、という点を確認する事です。 ところで、Gradient Boostingでfeature transformationする話は昔からあったはずですが、ADKDD'14で発表されたPractical Lessons from Predicting Clicks on Ads
Gradient Boostingについて - 準備編 - - Qiita
基本、個人的に勉強した内容を書き留めていくつもりです。間違っている箇所があれば指摘して頂けると、とてもうれしいです。 1. Boostingとは何ぞや Boostingとは弱学習器をたくさん集めて強学習器を作ろうという話が出発点で、PAC Learningと呼ばれています（PAC Learning:強学習器が存在するとき弱学習器は必ず存在するが、弱学習器のアンサンブルが存在する場合、強学習器と同性能の学習器を作れるかという話です）。他方、J.H.Friedma先生[1]が損失関数を最小化する枠組みでも議論できるんでない？という（おそらく）疑問から、なんと機械学習の枠組みでBoostingを説明してしまいました。損失関数を最小化する問題として再定義し、損失を最小化する方向を探すのに勾配情報を使っているので、Gradient Boostingと呼ばれています。 で、この方法が昨今のデータコンペ
extensionを追加してもっと快適なJupyter環境を構築する - Qiita
Jupyterはすごい便利なんですが、この機能があったらなーと思うことがあります。 そんなときにはextensionです。 JupyterにはNotebook extensionsとかいうのがあって、機能の拡張ができるようになっています。 公式サイトにもextensionsがあるということはちょこっと載ってるんですが、いくつか使用してみると結構便利。 Jupyterは使っているけどextensionは使っていないというひとに是非試して欲しいです。 Jupyter notebook extensions Jupyterに機能を追加するextensionを集めたレポジトリがGitHub上に公開されています。 このレポジトリを利用すると、ブラウザからextensionのactivate/deactivateの切り替えが可能で便利です。 IPythonの公式デベロッパーチームとは関係ないグループで
[AAAI16実況報告] MIT/CSAIL はCommon Lispを水中探査ロボットAIに実運用している - Qiita
はい、また思いつき投稿です。 経緯を知らない方のためにもう一度。 発表のためにAAAI-16に来ています。知らない人も多いかと思いますが、IJCAIとならび、AIの国際学会で最も難関と言われる学会です。個人的には自分もA*の改善論文でPaper Award 密かに狙っていたのですが、Bidirectional Search 論文に取られてしまいました。 今日は、幸運にも MIT / CSAIL の Brian Williams 先生とお話することが出来ました。 (100kgを超してそうな巨体です・・・でもイケメン) この先生は、かの有名な宇宙探査機 NASA Deep Space 1 にCommon Lispで作ったシステムを載せ、成功に導いた先生です。 Common Lisp のリアルタイムコンパイル機能のおかげで、運用中に発覚したバグを(たしか木星を過ぎたあたりで) REPLにログイン
![[AAAI16実況報告] MIT/CSAIL はCommon Lispを水中探査ロボットAIに実運用している - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5093690e692d8548e23fc66d813db4e1e2bad0c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQUFBSTE2JUU1JUFFJTlGJUU2JUIzJTgxJUU1JUEwJUIxJUU1JTkxJThBJTVEJTIwTUlUJTJGQ1NBSUwlMjAlRTMlODElQUZDb21tb24lMjBMaXNwJUUzJTgyJTkyJUU2JUIwJUI0JUU0JUI4JUFEJUU2JThFJUEyJUU2JTlGJUJCJUUzJTgzJUFEJUUzJTgzJTlDJUUzJTgzJTgzJUUzJTgzJTg4QUklRTMlODElQUIlRTUlQUUlOUYlRTklODElOEIlRTclOTQlQTglRTMlODElOTclRTMlODElQTYlRTMlODElODQlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWYyYmI0MzUyOWQyNTQ5OWEwYTg2ZTdmZWEyOGRjZjk0%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBndWljaG8yNzE4MjgmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTM4YjBhMWY5NjRiYTI5ZjU1ZTFkMGYxNmQ2OGRlZDU4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D044df53adf17fea49cb9575adcbd3646)
ipythonの便利な使い方 - Qiita
In [70]: %%timeit ...: a = 0 ...: for i in range(100): ...: a = max(a, random.random()) ...: 10000 loops, best of 3: 37.7 us per loop In [45]: os.path.exists? Type: function String Form:<function exists at 0x10890be60> File: /Users/*** Definition: os.path.exists(path) Docstring: Test whether a path exists. Returns False for broken symbolic links In [46]: os.path.exists?? Type: function String Form
【チュートリアル】機械学習を使って30分で固有表現抽出器を作る - Qiita
はじめに 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。固有表現抽出は、質問応答システム、対話システム、情報抽出といった自然言語処理を用いた応用アプリケーションの要素技術としても使われています。 今回は機械学習技術を使って固有表現抽出器を作ってみます。 ※注意事項 理論的な話は一切出てきません。理論を知りたい方は他を当たってください。 対象読者 固有表現抽出を少しは知っている方 固有表現抽出器を作ってみたい方 Pythonコードを読める方 固有表現抽出とは？ ここでは、固有表現抽出の概要と方法について説明します。 概要 固有表現抽出は、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を抽出する技術です。具体例を見てみましょう。以下の文から固有表現を抽出してみます。 上記の文に含まれる固有表現を抽出すると人名と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/nyarla/items/c9f794bc3a0dc297fdc4