Luceneでレーベンシュタイン距離を求める - CLOVER🍀
先日、Apache Solrを使った「もしかして検索」や単語のサジェストみたいなところを調べていて、「レーベンシュタイン距離」なるものがあることを知りました。 レーベンシュタイン距離 - Wikipedia このあたりも参考になりました。 編集距離 (Levenshtein Distance) - naoyaのはてなダイアリー スペルミス修正プログラムを作ろう また、Luceneで行った場合のエントリも。 2つの文字列間の距離計算の抽象化（スペルチェック）（2.4） | 関口宏司のLuceneブログ SolrのSuggesterを試してみる Wikipediaによれば、レーベンシュタイン距離は2つの文字列がどの程度異なっているかを示す距離で（編集距離）、文字列を何回の手順でもう片方の文字列とするように変形できるか、という感じみたいです。 同じく、Wikipediaのまんまですが、「kitt
典型的な DP (動的計画法) のパターンを整理 Part 1 ～ ナップサック DP 編 ～ - Qiita
はじめに --- DP は役に立つ はじめまして。NTTデータ数理システムでアルゴリズムを探求している大槻 (通称、けんちょん) です。 好きなアルゴリズムは最小カットやマッチングですが、会社ではなぜか「DP が好きな人」と呼ばれています。 巷ではよく「DP なんて実務では使わない」といった言説が定期的に流れますが、そんなことはないです。僕自身この 2 年間で DP が使える実務案件に 3 件くらい関わりました！ それはともかくとして、DP を学び立ての方がよく抱く悩みとして「バリエーションが多すぎて混乱するし、統一的なフレームワークがほしい」というのがあります。確かに DP のバリエーションは非常に多岐にわたるのですが、そのほとんどが以下の 3 つのフレームワークで説明できると思います: ナップサック DP 区間 DP bit DP 今回はこのうちのナップサック DP について、とにかく
Node.jsのスクレイピングモジュール「cheerio-httpcli」が第3形態に進化したようです - Qiita
var fs = require('fs'); var client = require('cheerio-httpcli'); // ①ダウンロードマネージャーの設定(全ダウンロードイベントがここで処理される) client.download .on('ready', function (stream) { stream.pipe(fs.createWriteStream('/path/to/image.png')); console.log(stream.url.href + 'をダウンロードしました'); }) .on('error', function (err) { console.error(err.url + 'をダウンロードできませんでした: ' + err.message); }) .on('end', function () { console.log('ダウンロードが
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
私が今までクロージャを理解できなかった理由 - プログラミングを勉強するブログ
Javascriptを勉強する上で誰もがつまずくと言われるクロージャですが私も例に漏れず理解できないでいました。 さまざまな解説サイトを読んだりサンプルコードを書き換えてみたりして 静的なスコープの言語で利用できる。 関数が終了したあともそのローカル変数が参照できる。 といったクロージャの「仕組み」や「特徴」については分かったものの、もっとも重要ともいえる 「どういう時にクロージャを使えばいいのか」 が分かりませんでした。言いかえると友人がなんて言って悩んでいる時に 「そう言う時はクロージャを使うといいよ」 と言ってあげればいいのか。 例えばプログラムの勉強を始めた友人が 「これと同じ処理もう何回も書いてるんだよ。コピペばっかりしてる気がする」 と言って悩んでいたら 「そこを関数にすればいいんじゃない？」 って教えてあげますよね。 これと同じように友人が 「○○○○○○なんだよ、うまい方法
Reproducibility: A cautionary tale from data journalism
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 Timo Grossenbacher, data journalist with Swiss Radio and TV in Zurich, had a bit of a surprise when he attempted to recreate the results of one of the R Markdown scripts published by SRF Data to accompany their data journalism story about vested interests of Swiss members of parliament. Upo
xtrabackupが終わらない - kenken0807_DBメモ
xtrabackupでバックアップとっていたがいつまでたっても終わる気配ないという状況に。 バージョンはxtrabackup2.4.7。 xtrabackupにはIOを制御するための--throttleオプションがあって、これにやられた。 マニュアルの情報。 --throttle=# This option limits xtrabackup –backup to the specified number of read+write pairs of operations per second. @The xtrabackup Option Reference 詳細はここThrottling Backups。 簡単にまとめると、バックアップの時にread + writeを1 MB単位での1秒あたりの入出力操作の数を制御するとのこと。 単位はIOでデフォルトは0で制御しない。 xtrabac
おーい磯野〜 callback使ってる関数をPromiseでラップしてasync/awaitで書こうぜ〜 - taiki-t's diary
例1 const sleep = (ms) => { return new Promise(resolve => setTimeout(resolve, ms)); } const something = async () => { await sleep(100) doSomething() } 例2 Geolocation.getCurrentPosition() - Web API インターフェイス | MDN から // 元メソッドの構文は // navigator.geolocation.getCurrentPosition(success, error, options) // クラスの中 getCurrentPosition(options) { return new Promise((resolve, reject) => { navigator.geolocation.g
プロビジョニングツール Itamae を速くする - Qiita
TL;DR Itamae を使ってプロビジョニングしていたけど実行時間が長くて困っていた ssh接続を使いまわすように改造したら40分かかっていたのが2分くらいになった（20倍の高速化） 問題 Itamae は内部的にサーバー側でコマンドを実行するところが多いみたい コマンドを実行するたびに ssh で接続、コマンド実行、ssh 接続を切断、している（実際に仕事をしているのは Specinfra） 1つ1つのコマンド実行時間は長くても数秒なので、TCPソケットのリソースがきれいに開放されるよりも早い（印象） ソケットリソースが少しづつ逼迫し、スローダウンしていく（ように見える） def create_specinfra_backend Specinfra::Backend::Ssh.new( request_pty: true, host: ssh_options[:host_name],
Docker’s Voting App on Swarm, Kubernetes and Nomad
TL;DRWhen you work in tech you definitely have to be curious, as it’s essential to always keep learning and to stay up to date. Things are moving extremely fast in this area. Container orchestration is such a hot topic that, even if you have your favorite tool (my heart goes to Docker Swarm), it’s always interesting to see how the other ones work, and learn from them as well. In this article, we w
RasPiとディープラーニングで我が家のトイレ問題を解決する - Qiita
おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（[動画](https://www.youtube.com/watch?v=ktSukhHdogM)）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、
本だけではわからなかったユーザビリティテストのリアル - CrowdWorks Designer Blog | クラウドワークス デザイナーブログ
こんにちは、UXデザイナーの八尾です。 京都に旅行して久しぶりに自転車に乗ると筋肉痛になりました。運動不足です。 UXデザイナーとしてデザイン組織に入り、主に定性調査を任されています。 （ユーザーインタビューやユーザビリティテストを通じてユーザーの真のニーズの把握や仮説の検証を行なっています。） 今回は、社内で初の試みであった、自社サービスの本格的なユーザビリティテスト（ユーザーテスト、ユーザビリティ評価って呼ばれたりもしますよね）について書かせていただきます。 まだ体制の整っていない中で行った手探り感と自社で定性調査を実施する上での気づきがお伝えできればと思っています。（暖かく見守ってやってください） 本を読んでみる。でも、本のようにはいかない まず、どういう流れで進めればいいのかすらわからないのでとりあえず本を読みながら考えました。 主に参考にしたのはこちらの本です ユーザビリティエン
さらなる高みを目指すプログラマーにおすすめの本15冊
すべての答えがStack Overflowで見つかるわけではない 本が不可欠となる職は多数存在するが、うわべだけのソフトウェア開発はその限りではないかもしれない。頭1つ抜き出たプログラマーはよく分かっている。 コーディングの難題に関する解決策はGoogle検索で簡単に見つけられるかもしれないが、構文エラーの直し方が、あなたの技術について何かを教えてくれるわけではない。 プログラミング、コーディング、ソフトウェア開発など、どのように言おうとも、それがあなたの仕事であり、あなたは開発者だ。そしてそれは単なる職ではない。往年の熟練した技術者の現代における姿だ。 どのプログラムもソフトウェア技術者が作るものだ。「プログラムの方法を知っている」大勢から抜きんでたプログラマーになるためには、学習し、精神を研ぎ澄まし、スキルを向上させ、職人のように考えるあらゆるチャンスを利用する必要がある。 本記事では
プログラマの為の数学勉強会
2013年 プログラマの為の数学勉強会 資料 第1回:イントロダクション 第2回:浮動小数点数・極限・微分 第3回:微分法の応用・多変数関数の微分法 第4回:微分法の応用(続き)・方程式の数値解法 第5回:微分方程式の数値解法・積分法 第6回:数値積分法・積分法の応用 第7回:行列・ベクトル・ガウス消去法 第8回:行列式・逆行列・連立一次方程式の直接解法 第9回:線型空間・線型写像・固有値固有ベクトル(その1) 第10回:線型変換・固有値固有ベクトル(その2)・内積空間 第11回:連立一次方程式の反復解法・二次形式・多変数関数の極値・重積分 第12回:確率論入門 第13回:情報量・エントロピー・重要な確率分布・大数の法則・中心極限定理 第14回:擬似乱数の生成法・推定 第15回:検定 第16回:検定の続き, 回帰分析 第17回:回帰分析の続き 第18回:ベイズ統計
「Scalaにおける数学」について、とその補足 #scala_ks - Qiita
10/8日(土曜日) Scala 関西があり、そこで「Scalaで学ぶ数学」で登壇した。 そこで、話した感想と、話し切れなかったことについて記事にしておく。 1 + 1 = 2をScalaの型で表現する 話した内容としては、まず、Scalaで1 + 1 = 2の記述をScalaの型によって表現することである。 その後もう、「50%の勝率でn試合すると(n/2)勝する確率」についてを、少しだけしゃべったが時間が無いのでさらっと流した。(これについては後述しておく) 1 + 1 = 2で話たコードの全体だけ記しておく。 object Peano{ sealed class Number sealed class Zero extends Number sealed class Succ[N <: Number] extends Number type One = Succ[Zero] type
Scala+PlayでWebSocketプログラミング - Kuchitama Tech Note
最近、TypetalkにWebSocketを利用したAPIが追加されてて、WebSocketに興味を持つようになりました。 ストリーミング | Typetalk API | Nulab Developers で、クライアントサイドのプログラミングだけでなくサーバサイドもちょっとやってみたかったので簡単にサンプルを作ってみました。 WebSocketで接続したら、じゃんけんが出来ます。 使い方などはREADMEに記載しているので、良かったら試してやってください。 Kuchitama/socket-janken · GitHub 今回、サーバサイドの実装には得意のPlayframeworkを使ってScalaで実装しました。 PlayframeworkはAkkaのアクターを使ったWebSocket実装をデフォルトで提供してくれているので、かなり簡単に作れました。 作ったサンプルアプリはHerok
ぼくはterraformだけ触ろうと思った - terraform でインフラ構築#1 - Kuchitama Tech Note
先日のホッテントリにこんな記事が… dekotech.dekokun.info 丁度この記事見る直前ぐらいにterraformを仕事で使って、全く同じ気持ちを抱きました。 terraformでもCloudFormationでも、CLIでクラウドインフラ構築とかやってた人は触ったら抜け出せなくなると思います。 ただ、terraformはAWSに限定されないです。強い。 www.terraform.io なぜterraform www.terraform.io terraformは安心のHashiCorp製のオーケストレーションツールです。 terraformを使うことで、インフラの Infrastructure as Code が実現できます。 というかインフラに限らず、かなり幅広く XXX as Codeできますね。 社内IT担当者とか結構嬉しいんじゃないでしょうか GitHubのリポジト
SEGV探偵が往く - なるせにっき
人は誰しも108つの夢を持つと言いますが、読者の皆さんにも探偵を夢見た人は多いことでしょう。実際問題として探偵業をやろうと思ったら地道な聞き込み＆張り込みの日々でしょうし、逆に派手な探偵業は陰謀＆殺人で恐ろしい。わたしも自分の命は大事ですからどうするか。そう、探偵ごっこをするわけですね。 というわけでSEGV探偵です。死ぬのはプロセスなので安心。Rubyを使っていればSEGVなんて見慣れたものですが、いざ捜査しようと思うと意外とその辺には転がっていないもの。（むかしはつかみ取り出来るくらいいたそうですよ）とはいえ今でもいわゆる「バグ鉱脈」みたいなものはありまして、その一つが「最新のコンパイラでビルドしてみる」です。 今日はGCCの開発版であるGCC8を試してみましょう。FreeBSDだとsudo pkg install lang/gcc8-develで簡単に入れられるのですが、他の環境だと
Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ - ぴよぴよ.py
今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x
【随時更新】これまでに書いたpython画像処理系の記事まとめ - webエンジニアの日常
こんにちは、エンジニアのさもです。 これまでに書いた&これから書くpython画像処理系の記事をここにまとめました。 目次的にお使いください 目次 画像処理入門 k平均法による減色処理 塗り絵を生成してみる ミニチュア風画像をつくる アンシャープマスキング 2値化と３つの閾値たち 繰り返し部分の高速化 膨張・縮小 フォトモザイク（ギャザリングアート） 細線化 画像処理入門 www.uosansatox.biz 基本的な画素の操作を解説しています スポンサーリンク k平均法による減色処理 www.uosansatox.biz 有名なクラスタリングアルゴリズムのk平均法を応用して、減色処理を行いました 塗り絵を生成してみる www.uosansatox.biz エッジ検出アルゴリズムを使って塗り絵を作ります ミニチュア風画像をつくる www.uosansatox.biz ぼかし処理と鮮鋭化を行
ゲーマーのための「円形キーボード」開発中。シンプルなデザインで快適なゲームプレイを提供 - AUTOMATON
ゲームに特化したキーボード「Hunter 1.0」が現在開発されている。開発チームはKickstarterにてクラウドファンディングキャンペーンを実施中だ。小型のゲーミングキーボードはこれまでにもいくつか発売されているが、「Hunter 1.0」は円形にデザインされているのが最大の特徴であるといえるだろう。長方形ではなく円形にデザインであることにより、指の長さにあった場所にキーが存在している。 キーボードの数も最小限に抑えられており、左側には移動に使われるキーであるWASDに加えてEおよびRとFキー、そしてF1~F4が配置され、右部分にはスペースキーとスティックが備えられている。このように配置されているキーは13個のみで、用途を絞ったかなりシンプルなデザインであるといえるだろう。すでに発売されている似たコンセプトのミニキーボード「Razer Tartarus Chroma」のキーが15個、
ネットサーフィンの壺
はじめてFirebaseを学んだときは良さがまったくわかりませんでした。 それはいまいちメリットがわかりづらか […]
New Web History API Proposal
IntroductionThe widely available History API is difficult to use even for the most basic use cases. This has become an impediment for custom-built web apps and shared libraries. The description below explains why and how it can be changed to address these issues. Status-quoHistory API has been around for a few years and implemented in all major browsers. It defines methods and properties that incl
がたろう TTLでCPUを作る爺（コンパイラやOSも手作りです） on Twitter: "【意外と知らないＣ言語（2）】 文をコメント化する方法は3通りあります。 （1）// foge （2）/* foge */ （3）/* foge //*/ 3番目は始点を示す /* を削除するだけで、コメント化が撤回されるのでデバッグ時などに便利です。 ＼^o^／"
【意外と知らないＣ言語（2）】 文をコメント化する方法は3通りあります。 （1）// foge （2）/* foge */ （3）/* foge //*/ 3番目は始点を示す /* を削除するだけで、コメント化が撤回されるのでデバッグ時などに便利です。 ＼^o^／
misspell - ソースコード専門のスペルミスチェッカー
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 英語圏に住む人であっても英語のスペルミスをします。むしろ日本人が日本語で文章を書くように、普段ずっと英文を書く中ではスペルミスがたくさんあるでしょう。コードの中でもそんな発見は良く目にするのではないでしょうか。 今回は特にソースコードに特化したスペルミス発見器、misspellを紹介します。 misspellの使い方 misspellはコマンドラインで使えます。ファイルまたはディレクトリを指定するだけです。 $ misspell Blog/ 8.md:19:68: "currenty" is a misspelling of "currently" 2.md:217:34: "unneccesary" is a misspelling of "unnecessary" この手の多く
Skype(スカイプ)がリアルタイムでコードレビューできる機能を公開したよ - MUTANT
こんにちは、てつです。 最近、DMM英会話で英語の猛勉強しています。あれって破格のサービスですよね。 講師との会話は全てスカイプ上でオンラインで行うのですが、そんなスカイプで最近、リアルタイムでコードレビューできる機能が追加されたようです。 「Interview」と呼ばれる機能でオンライン上で面接者のプログラミングスキルを図るのが目的のようですが・・・ これってプログラミング学習をしている人にも使えそうです。 Skype上でコードレビューできるInterviewとは？ Skypeが新しくリリースした機能で、オンライン上でリアルタイムにコードレビューができる機能。 エディター立ち上げて、Skype立ち上げてと二度手間をかけることなく、これを使えば１つにすっきりまとめることができます。 こんな感じで左側のエディターでコードを共有することができます。 もちろん複数人でコードを編集することもできま
ウェブブラウザ向け深層学習モデル高速実行フレームワーク「WebDNN」
2017/09/03 Deep Learning Acceleration勉強会@DeNAでの発表資料です。
板ポリだけで めちゃカッコいい グラフィックスを出す！
16. タップテンポ（ ） readonly List<float> timeSteps = new List<float>(); float average; void Update() { if (Input.GetKeyDown(KeyCode.Space)) { if (timeSteps.Count > 0 && timeSteps.Last() < Time.time - 2) timeSteps.Clear(); timeSteps.Add(Time.time); average = 0; for (var i = 1; i < timeSteps.Count; ++i) average += timeSteps[i] - timeSteps[i - 1]; average /= timeSteps.Count - 1; } if (timeSteps.Count > 2)
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
Google Container Engine (GKE) のすごいところやメリットを理解するには、まずコンテナのオーケストレーションシステムである Kubernetes をちゃんと理解する必要があります。 本資料では Kubernetes のアーキテクチャやコンポーネント及びリソースを１つずつ解説し、その後、GKE を使うとどれだけ Kubernetes が便利で実際に使えるかを説明します。Read less
優れたエンジニアが集まり継続的に成長する会社にする方法 ～組織を急拡大させる採用育成評価ガイド～/Concise Guide to Finding the Best Technical Talent
CEDEC2017「優れたエンジニアが集まり継続的に成長する会社にする方法 ～組織を急拡大させる採用育成評価ガイド～」講演資料です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
気付いたら.gitignoreはgiboで自動生成する時代になっていた - Qiita
プログラマのための数学勉強会
コーダーの仕事が楽になる！レスポンシブ対応のさまざまなHTMLテンプレートが驚くほど簡単に作成できる -Aperitif
GitHub - ueshita/TsumikiEditor: Block-based 3D Map Editor
Unityで3Dツールを作って開発を加速する
カンファレンス発表の技術
New dict implementation in Python 3.6 (KLab Tech Meetup 2017-09-04)
