サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
www.space-i.com
SQLite FTS : trigram tokenizerでunigram&bigram検索までサポート-日本語全文検索 2023.06.20 ### 前段 2023年現在、全文検索システムをセルフホストしようとした場合に、 Elasticsearch、OpenSearch、Meilisearch(最近勢いありますね) がまずメジャーどころで候補にあがるとおもいますが、これ以外にSQliteという選択肢もあります。 SQLiteには、デフォルトで有効の拡張機能として全文検索 FTS(Full-Text-Search)があります。 SQLite FTSはSQLite自体の特徴である優秀なポータビリティ、SQLで扱える習得運用コストの低さ、何より必要十分過ぎる検索速度があります。 ローカル/エッジといった環境向けなら個人的にはかなりオススメと感じています。 今回は SQLite FTS での
ゼッケン自動検出システム α版公開中 2019/3/7 ゼッケン自動検出システム Zetect α版 公開しました。 本文 最近はpythonで画像認証や検出システムを作っている志知です。 今しがた利用しているのはYOLOとTensorflow。 Tensorflowとはなんだろう、と言う話もできますが ここは一つ会社のブログですので『どう使うか』という点で話を広げたいと思います。 YOLOとTensorflow とはいえまず機能の説明は必要なので少し触れます。 TensorflowとはGoogleが開発しオープンソースで公開している、 機械学習に用いるためのソフトウェアライブラリです(wikipedia調べ)。 つまりこれを使えば誰でも機械学習ができるんだ という大変親切便利なライブラリです。 YOLOというのは画像認識のアルゴリズムで、物凄く端的にいうと 『これ(画像)』が何かを調べる
感情分析、テキスト分類など、多くのNLPアプリケーションで必要な処理として「テキストのエンコード/埋め込み」があります。 とある案件で約100万件/日のメールのテキスト分類タスクがあり、「テキストのエンコード/埋め込み」=「メール本文の固定長ベクトル化」をするため手法調査とサービス運用を視野にいれた環境構築をためしました。 おおよそ求めているのはこの辺りを満たすもの☟ ・公開されている学習済みモデルを利用できる。 将来の運用にてモデルのfine-tuningは想定。初期ではモデルをゼロからトレーニングすることはしません。 ・メール本文というそれなりに長い文章&複数文で構成されるテキストに対応する。 単語レベルの埋め込み表現でなく、文章コンテキストを表現します。 ・実際の運用にはベクトル化後に分類タスクが控えており、ベクトル化自体高速な処理で終えたい。 幾つか調査した中で、2018年末に登場
記事をご覧のみなさんは「Emmet」というコーディング手法をご存知でしょうか? EmmetとはHTML/CSS/XMLなどを入力補完機能により簡略化した記述方法で入力することを可能にするテキストエディタ用プラグインです。 当記事では筆者が普段使用しているテキストエディタAtomでのEmmet利用方法を説明します。 Atomは無料で使える拡張性の高いテキストエディタです。インストールされていない方はこちらからダウンロードしてください。 https://atom.io/ Atom環境にEmmetパッケージをインストールする まずは設定画面からEmmetのパッケージをインストールしましょう。 環境設定→インストール→パッケージのインストール部分の入力欄にemmetと入力し表示される項目でインストールボタンを押しEmmetをインストールします。 以上で、EmmetのAtomへの導入が完了します。
以前弊社でCentOSを使ってサーバーを構築するセミナーを実施した際に、サーバーとは何か? というお題から始まりましたが、サーバーというのはサービスを提供するものです、 またサービスを提供する方法として、既存でAという物を元にサービスを提供する機能を持たせる事ができます。 USBのウェブカメラは繋いだ本体自身でしか見る事ができませんが、 Linuxと組み合わせる事で、IPカメラに変身させることができます。 ここではffmpegというソフトウェアを用いてウェブカメラをIPカメラに変身させてみたいと思います。 ■ウェブ配信サーバー(ffserver)の設定 ここではCentOS6を用いて構築を行いますが、外部リポジトリを追加する方法で利用したいと思います。 CentOSはサーバー用途に特化しており、デスクトップ用途のソフトウェアが付属していません。 ソースからコンパイルする事もできますが、 外
smartmontoolsを利用してSMART情報を表示 (2015/4/13追記:CentOS6系ではSAS系カードのデータ取得が改善されておりましたので追記しました。) 久々にハードウェアのお話ですが、 ハードディスクには故障を未然に防ぐためSMART情報というのが出力できるようになっています。 SMART情報の出力は簡単なのですが、 デル製品を含め、RAIDカードを搭載したサーバーでは表示をするために、 オプション指定の箇所がありますのでメモとして残しました。探している方の参考になれば幸いです。 SMART情報ではハードディスク(SSDも含む)個別で故障の予兆を検知するデータを数値化しており、 詳しい情報につきましてはWikipediaのページを参考にしてもらえればと思いますが、 稼働時間や各種デバイスの温度の他、寿命の指数としてHDDでは代替セクタカウント、 SSDでは予備領域やウ
物理的に異なる2拠点をL2VPNで接続する SoftEther VPNはSSL-VPNを実現するソフトウェアで、 商用ソフトウェアPacketiXの機能限定版です。 2010年に前身のUT-VPNがオープンソースとしてリリースされ、 後継で本ソフトウェアが2013年にフリーウェアとして登場しました。 SoftEther VPNとUT-VPNの違いとして、IPsec/L2TP機能を搭載した事により、 AndoridやiOS端末などの幅広いスマホ機器に対応する事ができるようになった他、 またダイナミックDNSに対応した事で、非固定IPアドレス環境での利用が以前に比べて楽になりました。 インストール方法はクライアントとサーバー側で異なりますが、 ここではサーバーにSoftEther VPNのLinux版をインストールし、 Windowsには管理ツールをインストールして設定を行いたいと思います。
Google Analyticsもカスタム変数を活用すると使える幅が広がるのですが、 少しとっつきにくいと感じた人も多いと思います。 そこでPiwikをインストールして、そのような不便さを解消してみたいと思います。 ※厭くまで当時のデータです。現在はGoogleAnalyticsにもかなりの機能が追加されています。 ■Piwikのインストール ・前提パッケージのインストール PHPの他、mysqlをインストールします。 yum -y install httpd php php-mbstirng php-mysql php-gd php-xml mysql-server ・mysqlの設定、起動、Piwik用データベースの作成 ・mysqlの起動 /etc/init.d/mysqld start ・mysqlの設定、パスワードの設定 /usr/bin/mysql_secure_install
OpenswanとはLinux環境にIPsec機能を実装するソフトウェアです。 これまでの記事で紹介したvyattaやUT-VPNで使用されるSSL-VPNはL5層で実現しているのに対し、 IPsecVPNはL3層で実現するなど、実装方法が異なる他、 IPsecでは一般的に速度が遅い、ユーザー単位での制御が難しい、専用クライアントが必要などな点で、 専用の機器を用いた拠点間通信以外で使われる事は少なくなりました。 ■ネットワーク構成 前回のvyattaの記事で使用した画像を流用していますが、 今回もA拠点・B拠点の2拠点を接続する構成とします。 ■Openswanの導入&設定 ・Openswanのインストール yum -y install openswan ・ファイアウォールの設定(拠点A側) 以下を設定し、/etc/init.d/iptables restartでファイアウォール設定を反
vyattaとは高機能なソフトウェアルータを構築するソフトウェアで、debianをベースに作られています。 Linuxベースですが、CLIで操作するルータライクなコマンドが用意されており、 ゼロからLinuxで作る場合と比べてコンフィグの管理・投入が簡単になっています。 ■ネットワーク構成 今回はA拠点・B拠点の2拠点を接続する構成とします。 vyattaはCDブートさせる方法で利用し、インストールは行わないライブCDでの利用とします。 ■vyattaの導入&設定 ・vyattaのダウンロード vyattaコミュニティサイトのダウンロードページより、 vyatta最新版をダウンロードしてISOファイルをCDに焼きCDから起動します。 ・拠点A側のvyattaログイン&設定 起動後にしばらくするとログイン画面になりますので、ID: vyatta、パスワード: vyattaでログインします。
cachefilesd(fscache)とは? システムを構築する際に複数のウェブサーバーが存在する場合、 NFSがよく使われますが、NFSを利用しているとパフォーマンスの問題をよく耳にします。 実際に弊社でもNFSを導入した場合のパフォーマンスの落ち込みはローカルディスクと比べて1/3程度、 更にDRBD等でNFSサーバー同士を冗長化をしていると、 10GbEを用いない場合ではシーケンシャルで60MB/sまでスピードが落ち込んでしまいます。 fscacheとはNFSマウントされる共有ファイルシステムをローカルにキャッシュし、 NFSサーバーの負荷軽減、読み込み速度の高速化を実現し、パフォーマンス改善を行う事ができます。 fscacheをインストールする fscacheはNFSをマウントするクライアント側にインストールします。 CentOS6では公式リポジトリに追加されていますので、インス
前回の記事ではWindows 2012 Serverを使って、 NFSサーバーとデータ重複除去ストレージを構築しました。 ※2013/7/30 記事内容更新:パフォーマンスベンチマーク結果を追加しました。 Linuxでこの技術が実用段階となるのはもう少し先で、 今年に入ってからExperimentalですがBtrfsで重複排除が実装されました。 またZFSでは早い時期からサポートはしているものの、 メモリ負荷が高かったり、速度が遅かったりとまだまだ課題がありそうです。 さて、今回は前回の続きでDFS-Rという機能を使い、 前回構築したNFS+重複排除ストレージにレプリケーション機能を追加します。 DFS-RはDFSを拡張した非同期レプリケーション機能で、 2つのサーバー間のコピーは圧縮されてデータのやり取りが行われており、 災害対策用としても利用できそうです。 尚、前提条件として2台のサー
Mondo RescueとはOSを含めて全てのデータをシステムイメージとして作成するソフトウェアです。 類似ソフトウェアにイメージ作成・ディスク複製機能を持つG4L(Ghost for Linux)がありますが、 G4Lは専用のOSから起動するのに対し、 Mondo Rescueは既存のLinux環境にインストールして使いますので、 OSを動かしたままシステムイメージの作成を行う事ができます。 今回の基本編ではMondo Rescueを使ってシステムイメージを作成し、 続く応用編では異なるハードウェア間でデータを移行するP2V用途でMondo Rescueを用います。 ・前提ソフトウェアのインストール 以下のコマンドを実行してください。 yum -y install mkisofs cdrecord dvd+rw-tools lzo dosfstools mtools parted sys
昨年Windows 2012 Serverが発売されましたが、 従来のサーバーでは考えられない様々な機能が追加されました。 ここでは様々な新機能のうち、データ重複除去機能を利用し、NFSサーバーを構築してみたいと思います。 重複除去とは文字通り中身が同じデータを削除して容量を削減する機能で、 これを利用する事によってディスクの無駄資源を省くことができます。 最近ではディザスタリカバリ機能としてWAN間でデータのレプリケーションを行う事も増えてきましたが、 低帯域のWANを活用するに当たり、まずは無駄を省く事が最適です。 ■注意点 利用するに当たって以下の制約がありますので注意ください。 ・データ重複除去の対象とするドライブは、OSインストール領域とは分ける必要があります。 ・NFS共有で公開するディレクトリ名は同一名で複数公開する事ができません。 ■Windows Server側(データ重
久々にハードウェアのお話ですが、決して私はデルの回し者ではありませんと予め断っておきます。(笑) 弊社では8年ほど前からデルのPowerEdgeサーバーを導入して以来、 現在では200台以上のデル製サーバーが常時稼働しています。 これまで長く付き合ってきた事もありますが、自分自身が好きな理由として以下があります。 ・見積もりが出しやすい (オンライン構成により細かいオプションを含めた概算費用が算出できる) ・新技術を実装した製品がすぐに登場する ・導入がしやすい (専用ソフトウェア経由でのOSインストールではないため導入手順が縛られない) ・簡単な知識でコンポーネントの監視ができる 最後に挙げた監視がしやすい部分について今日はお話しできればと思います。 PowerEdgeサーバーにはOMSA(OpenManage Server Administrator)という ブラウザ経由で管理ができる
OpenStreetMapで地図タイルサーバーを構築する OpenStreetMapはオープンソースの地理情報データを作成する事を目的としたプロジェクトで、 世界中の有志が地図を改善するために日々変更を加えています。 地図データはPlanet OSMで最新データが公開されていますが、 全データを導入するためにはハイスペックのサーバーと大容量のメモリが必要で、 参照するデータをSQLサーバーに入れるために最低でも数日間を要するため、 ベンチマーク情報が公開されているくらいです。 またダウンロードするデータ量も30GB近くあるため現実的ではありません。 そこで国別にデータが提供されている以下サイトよりデータを導入する事を推奨します。 http://download.geofabrik.de/asia.html 他の提供サイトについては以下URLを参照ください。 http://wiki.open
このページを最初にブックマークしてみませんか?
『Space-i.com | 名古屋 ウェブ制作(ホームページ制作)・システム開発・データベース...』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く