はてなブックマーク

この記事は、Linked Open Data Advent Calendar 2020 の19日目の記事です。 Linked Open Data Advent Calendar 2020 rdflintという、 RDF形式で記述されたデータをチェックするツールを作っているのですが、 このエントリでは、Visual Studio Codeから利用するために作成した vscode拡張の実装について述べようと思います。 rdflint: RDFデータのチェックツール「rdflint」の利用ガイド 作成した拡張機能は、以下のmarketplaceにて公開しています。 RDF language support via rdflint 利用イメージは、以下のような画像のようになります。 vscode拡張の作り方 まず、前提知識や参照用に、基本的な情報のリンクを記載しておきます。 vscodeの拡張の作

pythonのスクリプトでログを出力しようとして、 色々と調べて、結局どうすればよいのかを自分なりに整理したので、 メモを残しておきます。 このエントリでは、以下の想定要件で、ログ出力を実装してみます。 本番環境では、INFOレベル以上をファイルに出力 開発環境では、DEBUGレベル以上を標準エラー出力とファイルに出力 ログファイルは日ごとにローテション importするモジュールのログ出力レベルは、メイン処理とは別に設定 ログにはスクリプト名と行数を出力 以下の流れで段階を追って、実装してきます。 ファイルにログ出力 ログのローテート ログのフォーマット変更 開発環境向け: 標準エラー出力にログを出力 ライブラリ固有のログ出力を設定 ファイルにログ出力 ファイルにログを出力するように、 メインのスクリプトと、logging.conf(ログ出力の設定)を作成します。 sample.py #

RubocopというRubyの文法チェッカがありますが、 これをCircleCI等のCIツールで実行してチェックしている人も多いと思います。 Rubocop: Rubocopに限らずですが、 このような静的チェックツールは、既存のリポジトリに追加しようとすると、 既存コードに対するエラーが存在しているため。 開発を一度止めて全体のリファクタリングとテストを行う、 除外指定をして既存コードを無視して適用するなどの対応が必要になり。 なかなか、導入に踏み切れないこともあると思います。 このエントリでは、 既存プロジェクトに対してスムーズに導入する方法として。 PullRequestの新規or修正箇所でエラーがあった場合のみ、 （既存コードは無視して）CIでエラーとなるようにする方法を提案します。 # ちなみにRubocopに限らず、どんなツールでも同じ方法が使えるはずです。 railsのプロジ

この記事は、ソフトウェアテストの小ネタ Advent Calendar 2017 の15日目の記事です。 ソフトウェアテストの小ネタ Advent Calendar 2017 『なんとかlint』をCIツールで実行して ソフトウェアの静的テストを実施している人も多いと思いますが。 このエントリでは、 Ruby on Railsで作られたアプリケーションに含まれる自然言語に対するテストを実施してみます。 textlintとは textlintとは、 ルールに従って文書が記載されているかを自動でチェックする校正ツールです。 textlint 書籍やブログの執筆を行う際に、自動校正ツールとして使われています。 説明するよりも動きを見た方がわかりやすいので、 ここまで書いたこの文章に対してtextlintを実施してみます。 # ちなみに、このブログの記事はmarkdownで管理しています 以下のよ

terminal操作に慣れている人がWindows上でデータ分析を際に、 linuxやmacosとなるべく同じような感覚で python, R, atomを使用するための環境を作る手順のメモです。 terminalにはMSYS2, minttyを利用して、 terminalからpython, jupyter, Rを起動できるように、 また、atomをatom ./スタイルで起動できるように設定していきます。 このエントリでは、以下流れで環境をセットアップします。 MSYS2とminttyをセットアップ anaconda, atom, R のセットアップ terminalからpython, jupyter, Rを起動できるように設定 terminalからatomを起動できるように設定 その他、設定しておくと便利そうなこと 以下の過去エントリとも内容かぶっていますが、 必要に応じて、こちらも参

MySQL(RDS)で運用していたシステムを、 AWSのAuroraに移行してエラーになった点があったのでノートを残しておきます。 ECサイトなどで、商品マスタなどを日次バッチ処理で切り替える時。 実体のテーブルは日ごとのテーブルを用意して、 サイト側のクエリにはviewを参照させることはよくあると思います。 SQLで書くと以下のような感じ。 2月13日のテーブル切り替え: create table products_20160213(id integer, name varchar(255)); create or replace view products as select * from products_20160213; drop table products_20160213; create table products_20160214(id integer, name va

このエントリでは、WebサービスのAPI開発を効率良く進めるために、 aglioとdrakovを使って、API仕様書とMockを生成する手順を整理したいと思います。 aglioはHTMLで仕様書を生成するツール、drakovはMockサーバです。 aglio | github drakov | github これらのツールは、API Blueprintという 「API description language」（API記述言語って翻訳でよいのかな？）に従ったドキュメントから、 仕様書及びMockサーバを生成します。 API Blueprint 環境の準備 ndenvでnode.jsをインストール 以下のように、ndenvでnode.jsをインストールします。

以下のエントリを読んで、同じようなことしてるなぁと思ったので、 私が使っているAWSサービス(S3,DynamoDB,SQS)の互換環境について、 そのdockerイメージとあわせて紹介します。 AWS上で動作するアプリケーションをいかにローカルで開発するか？ - たけぞう瀕死ブログ dockerイメージの使い方は、 RubyでのサンプルとあわせてgithubのReadmeに書いているので、 さらっと、リンクだけ紹介しておきます。 S3 - MinioServer S3の互換環境はMinioServerを利用していました。 MINIO 私が作ったdockerイメージ DynamoDB - DynamoDB Local DynamoDBの互換環境は、AWSから提供されているDynamoDB Localを利用していました。 DynamoDB Local 私が作ったdockerイメージ SQS

Mac上にhadoop/hiveを入れて、 S3上のファイルをhiveでアクセスするまでの手順のメモを残しておきます。 Hadoopとhiveのセットアップ S3上のファイルへのアクセス設定 S3上のTSVファイルへのクエリ実行 S3上にクエリの実行結果を保存 Hadoopとhiveのセットアップ homebrewを使ってhadoopとhiveのインストール、 その後必要となる設定を行います。 インストール jdk及びhomebrewはセットアップ済みとして、 以下のコマンドでhadoopとhiveをインストールします。

このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。 sqoopを利用する手順とembulkを利用する手順を示します。 Apache Sqoop: embulk: この手順の前提として、 homebrew及びjdk, hadoop, hdfsのセットアップは完了し、hdfsのnamendeは起動しているものとします。 hadoopとhdfsのセットアップについては、 以下エントリの「Hadoopとhdfsのセットアップ」を参考にしてください。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）: sqoop/embulk共通の準備 mysqlにデータを用意する はじめに、mysql上にロードするデータを作成しておきます。 以下のコマンドで、mysqlを起動します。 $ mysql -u root > create databa

GitHubのWebhook機能を利用して、 git pushしたら自動でdeployする仕組みを作る方法についてメモをまとめます。 仕組みの全体像 このエントリでは以下のような仕組みを作ることにします。 deployサーバは、大きく以下の２つのモジュールで構成します。 Webhookの受け付けイベント管理ファイルをtouchするWebサーバ 定期的にイベント管理ファイルを確認しdeployを実行するスクリプト 仕組みを作る手順 Webサーバの構築 deployサーバに、apache/phpがインストールされている前提で、 以下のようなphpスクリプトを配置します。 イベント管理ファイルを配置するディレクトリを作成し、 apacheの実行ユーザに書き込み権限を与えておきます。 （以下の例では「/home/deploy/webhook/event/」ディレクトリ） SECRET_KEYには、

Mavenを利用すると、開発やビルドの際に、 依存したjarファイルを自動的に解決する事ができます。 開発したバッチをビルドしたマシンで実行している分にはいいのですが、 他のマシンにバッチを持って行って実行する場合には、 別途、依存するjarをコピーする必要があり、配備が面倒です。 調べてみると、Mavenプラグイン「Maven Assembly Plugin」を 利用すると解決できるようなので、手順をまとめておきます。 Maven Assembly Plugin ここでは、MacOSXで、 「Eclipse4.3 / Eclipse IDE for Java EE Developers」を、 利用している前提で手順をまとめています。 この記事をまとめる際、次のサイトを参考にさせていただきました。 Maven Assembly Plugin で外部依存 jar をまとめる - A Memo

SpreeCommerceというRailsで作られたECサイトのオープンソースパッケージがあったので、インストールして少しだけ設定してみました。 SpreeCommerce https://github.com/spree/spree 空のRailsアプリを作って、そこに認証機能(Devise)をインストール、SpreeCommerce本体をインストール、認証機能との連携、国際化、商品作成、PayPalプラグインを追加という流れでセットアップします。 Railsアプリの作成 以下のコマンドのようにして、さらっとRailsアプリの基本を作ります。 $ mkdir sample $ cd sample $ echo "source 'https://rubygems.org'" > Gemfile $ echo "gem 'rails', '4.1.4'" >> Gemfile $ bundl

このエントリでは、 PusherとRubyOnRailsで簡単なチャットアプリを作成する流れを示します。 WebSocketを使うと、Webアプリケーションで、 サーバ・クライアント間でリアルタイムな双方向通信を行うことが出来ます。 Pusherというサービスを使うと、 WebSocketに対応したサーバを自前で用意しなくても、 お手軽にWebSocketを使用する事ができるので、 Railsと組み合わせて、簡単なチャットアプリを作ってみます。 Pusher このエントリで作成したソースコードはgithubに上げています。 作成するアプリの概要 作成するアプリは以下の流れで、 チャットのメッセージを送信し、ページに表示することとします。 ブラウザからメッセージ送信 Railsサーバで受信、PusherにPush通知依頼 PusherからブラウザにPush通知 Push通知を受けて、メッセー

12/16(火)に、Adwaysさんで開かれたjThreeの勉強会にお邪魔してきました。 10名ほどのアットホームな感じの勉強会でいろいろお話が出来て楽しかったです。松田さん、参加された皆さんありがとうございました。 jQueryの記法で学ぶWeb3D勉強会@Adways https://atnd.org/events/60053 (サイト閉鎖済み) 38階から新宿の街を見下ろせる素晴らしい眺望の会場でした。せっかくの景色なのに、写真撮ってくるのを忘れてしまった… 勉強会の流れは、以下のwikiのチュートリアルに従って行われました。 http://jthree.jp/wiki (サイト閉鎖済み) それ以外に、立体音響の新機能などを紹介をして頂いたので、ここでその一部の使い方を簡単に紹介させて頂きます。 XYZ軸の補助線表示 3Dの世界でカメラを動かしていると、XYZ軸がどこにあるか見失って

Apache CommonsのCommons Mathライブラリを用いて、 Javaで協調フィルタリングベースのリコメンドエンジンを簡単に実装できたので、 実装方法をまとめておきます。 # 勉強のためのお試しという意味での「簡単」です。。 # 実務ベースでは（データサイズが大きいとかとか）いろいろあると思います。 協調フィルタリングベースのリコメンドエンジンはさまざまな計算方法があるので、 本エントリでの実装方法は、あくまで一例ということで参考にして下さい。 # ここでは、協調フィルタリング自体の説明はしません。 本エントリでは、以下の点について記載します。 ・協調フィルタリングベースのリコメンドエンジンとは ・協調フィルタリングベースのリコメンドの計算方法 ・Java/CommonsMathでのリコメンドエンジンの実装 協調フィルタリングベースのリコメンドエンジンとは 協調フィルタリング

このエントリでは、RailsアプリのエラーをErrbitで監視する手順の作業ログをまとめています。Errbitではエラーの監視を行うことができます。ErrbitはAirbrakeというサービスのオープンソース版で、この手順ではErrbitをHerokuにセットアップすることにします。 errbit https://github.com/errbit/errbit Airbrake https://airbrake.io ErrBitのセットアップ 以下のerrbitのページ「Deploying to Heroku:」という部分に手順が書いてあるので、この通りに実施します。 errbit https://github.com/errbit/errbit PC上での準備 PCにruby,bundlerはセットアップされている前提で、errbitのcloneとbundle installを実行し

参加前日までmilkcocoaというものを知らなかったのですが、 10/4(土)にmilkcocoaのイベントに参加してきました。 milkcocoaでWebサービスを作ってみよう！ 会場は、Samurai Startup Islandというスタートアップを支援するためのスペースでの開催でした。 milkcocoaの紹介 milkcocoaとは、JavaScriptでリアルタイム通信が出来るバックエンドを提供するサービスです。が、サイト見たり、サンプル見たりした方がどのような物かはつかみやすいと思います。 milkcocoaのサンプルコード milkcocoaとjThreeというWebGLのライブラリと組み合わせて、作られたFPSゲームのサンプルですが、ブラウザでこのような物が動いてしまうのが面白いです。 作成したWebサービス 当日、わたし達が作成したサービスが、ブラウザ間で表示ページ・

Chefを使ってCentOSにfluentdをセットアップしてみたので、 手順を書き残しておきます。 Installing Fluentd Using Chef | Fluentd 基本的に上記サイトに記載されている手順に沿いますが、 このエントリでは、 nginxをセットアップし、そのログをS3(AWS)にログを送ってみます。 以下エントリのように、 KnifeSolo+Berkshelfの環境があることを前提に説明します。 Chef(Knife)+Berkshelfを使ってサーバを自動構築する手順 Berkshelfを用いてfluentdのCookbookを取得する Berksfileを以下の用に変更（nginx/iptablesを追加）します。 Berksfile site :opscode cookbook 'nginx' cookbook 'td_agent', git: 'ht

BIツールのPentahoと、 BIでの利用に適したカラム指向データベースInfobrightでBI環境を構築し、 多次元データの分析を行ってみます。 Pentaho, Infobrightともに、 CommunityEditionというオープンソース版が存在するので、 ソフトウェアのライセンス費用をかけずに、試してみる事が出来ます。 ここではCommunityEditionを使って環境構築・分析を行ってみます。 Pentaho Community Infobright サーバ環境構築は次の手順で行います。 Javaのセットアップ Pentaho BI Serverのセットアップ Infobrightのセットアップ ※この記事では、サーバOSはCentOS6を想定します。 データ分析は次の手順で行います。 分析するデータのスキーマ設計 Infobrightへのデータロード Pentaho

Rubyで日本語の形態素解析しようと思って調べてみると、 MeCab互換のigo-rubyというものがあったので使ってみました。 （java/commonlispで実装されたigoのrubyへの移植版とのことです） 形態素解析器IgoのRuby版を作った 分析対象は、なんでも良かったのですが、 とりあえず自分のtwitterのログをtwilogから取得して、 口癖分析もどきをしてみることにしました。 インストール～igo-ruby使ってみるところまでは、 ほぼほぼ、参考サイトの通りです。 インストール まずは、igo-rubyのgemをインストールします。 解析用の辞書作り 次に、解析用の辞書を作ります。 ※解析用の辞書作りにはjavaが必要になります。 # 辞書の作り方はこちらを参考にします。 # Igo - Java形態素解析器 (ver 0.4.3) #　http://igo.sou

自前でHadoopをインストールせずとも、 AmazonWebService(AWS)で手軽にHadoopを利用する事ができるということで、 Elastic MapReduce(EMR)環境でHiveを利用してみました。 ここでは、以下のような手順でHiveを利用する手順を示します。 S3にHive用のbucketを作成 Amazon Elastic MapReduce Ruby Clientのセットアップ S3にデータを配置 HiveインタラクティブモードでElastic MapReduceを起動 作成したHiveスクリプトをバッチ処理で実行 S3にHive用のbucketを作成 Hive用のデータを保存するため、S3にbucketを作ります。 「AWS Management Console」でS3を選び、 「Buckets」の「Create Bucket」を選択して、 「Bucket

AWSのEC2でchef-soloを使ってサーバを自動構築してみます。 ここでは、chef-solo用AMIを準備し、 インスタンスとして起動すれば自動的にサーバが構築できるようにしてみます。 また、chefのcookbookはS3上に配置することにします。 # cookbookをgitサーバを立てて配置してもよいのですが、 # 構築する環境によっては、gitサーバの冗長化なども考える必要があるので、 # S3に配置した方が構成がすっきりするのではないかと思います（個人的に）。 インスタンス起動すると、 自動的に次のプロセスが実行されるようなAMIを作ります。 ・S3から最新のcookbookを取得する ・インスタンスのタグから適用するレシピを判断し、 chef-soloを起動してレシピを適用する インスタンス化時の実行プロセス： ここでは、上記構成を実現するために、 ・プロセス実行用モジ

この記事では、 AWSのAPIを使って、EC2インスタンスを自動起動・停止させる方法を説明します。 Amazon Elastic Compute Cloud（Amazon EC2）の料金は、利用した時間単位での従量課金となります。 このため、 ２４時間稼働させる必要が無いサーバの場合は、 cron等の定時処理で自動的に起動・停止をさせる事でコストを削減できます。 コスト削減の例 例えば、平日・日中時間帯のみ稼働させる場合で計算すると、次のようになります。 # 常時稼働の場合、通常はリザーブドインスタンスを利用するので # この計算結果はオーバーなのですが、 # リザーブドインスタンスでも時間あたりで料金がかかるので # 同じ手法でコストを削減することができます。 条件とコスト削減額 インスタンス：スモール・Linux 稼働時間：月〜金の8:00〜18:00に稼働、土日終日停止 台数：１台

この記事では、 ruby, nokogiriを使ってgoogle検索結果をスクレイピングしてみます。 googleの検索結果を定期的にバッチ処理などでチェックしておけば、 WebサイトのSEO対策などにも使うことが出来ると思われます。 Nokogiri 鋸 http://nokogiri.org/ nokogiriのインストール まずはnokogiriのgemをインストールします。 $ gem install nokogiri Fetching: nokogiri-1.5.5-x86-mingw32.gem (100%) Successfully installed nokogiri-1.5.5-x86-mingw32 1 gem installed HTMLをチェック 次に、 google検索結果ページのhtmlを読んでみると、 以下のような構造で検索結果が出力されていることがわかります

RubyでTwitterのtweetを収集して、簡単な分析をしてみます。 ここでは以下を点を分析することにします。 ・tweetでは、どれくらいの割合でHashタグが付けられているのか？ ・tweetでは、どれくらいの割合でリンクが付けられているのか？ ・tweetでは、どれくらいの割合でmentionが付けられているのか？ ・どのクライアントアプリでよく使われているのか？ tweetの収集 まずtweetの収集ですが、 Twitterには「REST API」と「Streaming API」の二種類があり、 分析するために大量のtweetを取得する用途には、 「Streaming API」が向いてそうなのでそちらを使います。 RESTAPIとStreamingAPIの違いはこのスライドがわかりやすいです。 TwitterのStreamingAPIについて 概要と簡単な実演 Twitterの