テキストに含まれた情報を有向グラフに変換する話（一）：可視化の章 - Qiita
こんにちは。理系大学院で修業中のスーパーケロケロです。趣味で自然言語解析（NLP）の勉強をしています。最近、テキストに含まれた情報を有向グラフに変換するPythonライブラリーnaruhodoを作ったので、ライブラリーの紹介も兼ねて、テキストを有向グラフに変換する話を少ししてみたいと思います。 naruhodoのGithubリポジトリはこちら、最新バージョンはです。 自然言語解析の流れ 自然言語解析を料理に例えれば、入力されたテキストは収穫待ちのコムギのようで、そのままでは使えない。このコムギを形態素解析で脱殻し（形態素単位で分離）、さらに词类（Part-Of-Speech）や依存構造解析で小麦粉にしてから（文法情報の付与）、ようやくパンのような美味しい食べ物が作れる（実際の応用）。 テキストが処理されるごとに、使える情報が増えて、応用の幅が広げるわけです。 文＝＞木、文章＝＞有向グラフ
Proxy "it": アローすら面倒な怠惰JavaScripterのための遅延評価 - Qiita
//Proxyでこれが data.map(row => row.values.split(',').map(col => col.trim()).map(parseFloat)[2]); //こうなる data.map(it.values.split(',').map(it.trim()).map(parseFloat)[2]); ※ Proxyを用いてオブジェクトのメソッド・プロパティの評価を遅延させる話です。関数型言語のような引数の「遅延評価」の話ではありません。知人から指摘を受けたので、一部記述を改めました。 はじめに 何をしたいのか JavaScriptを書いていると、コールバック的な関数利用でプロパティ参照/メソッド呼出をする場合など、引数の定義と参照で2度同じ変数名を書かなければいけないことが多々あります。 // 例1 カンマ区切りのテキストデータを2次元配列にする text.
VS CodeがDOMによるターミナル実装のパフォーマンスを改善できなかったためCanvasに変更
Integrated Terminal Performance Improvements Electronという史上まれに見るそびえ立つクソのようなGUIプラットフォーム上で実装されているVS Codeが、ターミナルの実装をDOMによるものからCanvasによるものに変更したそうだ。これは、DOMによる実装ではパフォーマンスの改善が十分にできなかったからだという。 DOMでターミナルを実装する際の問題ごととして、テキスト選択、テキストアライメント、GC、パフォーマンスを上げている。 テキスト選択：ターミナルのテキスト選択を実現するためにDOMのテキスト選択の挙動をだいぶ上書きしなければならない。 テキストアライメント：一部の文字はモノスペースになってくれず、workaroundとして一文字ごとに固定長のspanで包む必要があるが、これはパフォーマンス上よろしくない。 GC：DOMでターミナ
Headless Chromeでデザイン変更履歴を追える魚拓を作ってみた - pixiv inside
はじめに こんにちは、普段はPawooの開発を担当している新卒エンジニアのabcangです。 最近話題のHeadless Chromeを使って魚拓を作ってみましたので、その話をします。 結論から言うと、こういうものができました。 以下、詳しくお話していきます。 日々行われるデザイン変更をどう把握するか pixivには毎日新機能やUIの変更がデプロイされており、どんどんページが変わっていきます。 ある日、ディレクターから「デザインの変更履歴を追うための魚拓ツールがほしい」と相談されました。魚拓ツールがあると、なにか数値の変動があったときにデザインの崩れを確認したり、過去のデザインを振り返ったりするときに便利とのことです。 ちょうどそのタイミングでHeadless Chromeが利用できるGoogle Chrome 59がリリースされていたので、試すいい機会だと思い引き受けました。 Headl
Svelte ナメてたけど結構スゴい - Qiita
Front-end Developer Handbook 2017 でも言及されていたりと少しずつ注目を集めている印象の Svelte ですが、「はいはいまた JS の流行り物 FW でしょ」とか「No Framework って Serverless みたいなバズワードになるんでしょ〜」などと正直ナメてたんですが、ナメっぱなしではいけない、とガイドを一通りさらったところ「なるほどこれは新しい勢力だな」と思い至ったので同じくナメてる人向けにスゴいところを紹介します。一応断っておきますが、さすがに商用環境に投入できるかというとまだ全然出来る気がしないので、今すぐあなたの xxx を置き換えるものではないです。 Svelte のルック&フィール Svelte は Riot.js のコンポーネントや Vue.js のコンポーネントのように html ファイルにテンプレートとロジックを書いていくのが
JavaScriptの1msは4ms - Qiita
はじめに JavaScriptのタイマー処理(setTimeout(), setInterval())は1000分の1秒の精度(ms)で遅延時間を指定することができます。 setTimeout(function() { // 1ms後に実行してほしい alert('hello!'); }, 1); 見ての通り、上記のコードは第一引数に渡した関数が1ms後に実行されることを期待して書かれていますが、実際にこれを実行すると4ms以上の遅延が発生する可能性があります。 これは、JavaScriptエンジンの実装によって、4ms以下の設定値は4msに矯正するという処理が行われているためです。 ※追記）厳密には上記処理のみを実行した場合は4msへの矯正は行われないようです。4msへの矯正が行われる条件として当記事最下部に追記を行っておりますので併せてご参照下さい。 なぜ4msなのか 実はこの4msと
PHPで<?="{K]X^\31\31EYG_Q\31"^"".M_PI; - Feelin' Kinda Strange
今月上旬にPHP開発者の一人Andrea Fauldsさんが以下のツイートをしていました。 PHP is a very beginner-friendly language, hello world is as easy as <?="{K]X^\31\31EYG_Q\31"^"".M_PI;— Andrea! (@notajf) 9 October 2016 このtweetに含まれる、 <?="{K]X^\31\31EYG_Q\31"^"".M_PI; と記述されたファイルをPHPで実行すると、 Hello, world! とプログラムの初歩で有名な一節が出力されます。3v4lでの実行結果 もちろんAndreaさんが言ってるvery beginner-friendly languageというのは冗談だと思いますが、 私も「あー^ (ハット)が2つあるのが紛らわしいけどまあちょっと難読な"
![PHPで<?="{K]X^\31\31EYG_Q\31"^"".M_PI; - Feelin' Kinda Strange](https://cdn-ak-scissors.b.st-hatena.com/image/square/576d85da7a51bc0af9c92b541347509e2c4ac583/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704346814673875127%2F10328749687190295345%2F1476921765)
golang の channel を使って Dispatcher-Worker を作り goroutine 爆発させないようにする - at kaneshin
golang で処理の高速化をするために goroutine/channel を使って並行処理にし、待ち時間を無駄にしないようにするのは言葉で表すのは簡単ですが、実際にパターンとして落としこむためには経験が必要だなと思うので、今回 Dispatcher-Worker として Job Queue を golang で実装する方法を紹介したいと思います。 この記事は mattn さんの Big Sky :: golang の channel を使ったテクニックあれこれ の次のステップとして読むことをオススメします。 mattn.kaoriya.net golang で作成したアプリケーションで多くのリクエストをアプリケーションが送受信する必要がある場合、高速に捌くために並行処理にして非同期化を図る場合を想定しています。 今回は get という関数でHTTPリクエストを実行して取得したデータのサ
Pythonらしいコードの書き方 - Kesinの知見置き場
はてなブログに移行して最初の記事はやはりPythonネタにしました。 はてなブログいいですね。デザインの編集がやりやすくなったのと、Markdownで書けるのが素晴らしいです。 PyCon 2013の動画を見ていたら、素晴らしい"Transforming Code into Beautiful, Idiomatic Python"という発表を見つけたのでそのまとめです。 今どきのPythonコードのベターな書き方を紹介しています。 Transforming Code into Beautiful, Idiomatic Python ... スライドはこちらにありました 結構長くなってしまったので、知ってる項目は読み飛ばしてもらえばと思います。 ループの基本 整数のループ まずは基本のループ。 Cのfor int i=0; i<6; i++をPythonで単純に書くとこうなります。 for
コード補完もできる Go の REPL「gore」を作った - 詩と創作・思索のひろば
タイトルの通りです。Go は LL 的に使える、とはよく申しますが、そういう意識で使っていると REPL 的なことをしたいときに困りがちですよね。そこで作りました。gore。いい名前ですね。 motemen/gore · GitHub 以下のスクリーンキャストでだいたいの雰囲気をお察し下さい。 （スクリーンキャストは cho45/KeyCast を使って撮影しました） 特徴 gore の特徴は以下の通りです。 ラインエディタと履歴 複数行入力 パッケージのインポート、補完つき 式および文を実行可能 コード補完（nsf/gocode を利用） プリティプリント（k0kubun/pp か davecgh/go-spew がおすすめ） ドキュメントも引ける（godoc が必要） 以上のように、非常に便利なものになっております。むしろこの程度 REPL には当然あってほしい機能だとも言える。 イン
Emacsの拡張を作るのに便利かもしれない関数集 - Qiita
Emacs Advent Calender 2014 の 9日目の記事です。 ネタを思いつけなかったので、今までに溜め込んだ汎用性のありそうなプチelispの紹介をさせていただきます。 まとまりのない支離滅裂なコード羅列ですが、ひとつでもEmacs拡張を作る際の参考になればいいなと思います。 最小限、Emacs内臓の cl-lib ライブラリを呼び出して使用します。 (require 'cl-lib) ※忘れていしまいましたがどこからか参考にしたものもあるかもしれません。 Emacsの操作に関するもの 行頭/行の文字の始まる位置に移動 C-aを上書きし、連続して使うと行の一番最初、文字の始まっている位置とを行き来できます。おすすめ。 (defun my-goto-line-beginning-or-indent (&optional $position) (interactive) (or
PHP 5.4.4から==の挙動が一段と難しくなりました - hnwの日記
PHPの==は両辺を適当に型キャストしてから比較するような演算子です。この型キャストの規則は難解すぎる上にドキュメントも不十分なため、PHPプログラマでも完璧に理解している人はほとんど居ないくらいの印象です。バグの原因になりかねないため、なるべく==を使わないようにしているPHPプログラマも多いはずです。 ところで、この==演算子の挙動がPHP 5.4.4から変更されていることはあまり知られていません。本稿ではこの内容を紹介します。 Bug #54547 の騒動 まずはこの仕様変更の経緯を紹介します。 2年ほど昔、Hacker Newsで2^63付近の整数に対応する文字列をPHPで比較したときの挙動がおかしいというスレッドが盛り上がったことがありました。具体的には、PHPでは「'9223372036854775807' == '9223372036854775808'」がtrueになるとい
Pythonのコマンドライン引数処理の決定版 docopt (あとJuliaに移植したよ) - りんごがでている
Pythonをよく使う人にはよく知ってる人も多いのですが、docoptという便利ライブラリがあります。 docoptはargparseやoptparseのようなコマンドライン引数をパースするライブラリなのですが、その発想がコロンブスの卵なのです。 例えばPython標準のargparseだと、argparseのAPIを組み合わせてパーサを組み立てるわけです。するとパーサと一緒にヘルプも作ってくれて、"program --help"などとすると自動生成されたヘルプを表示してくれるようになります。 しかし、そのAPIを覚えるのが大変で、毎回ドキュメントを読まないと忘れちゃうわけです。 import argparse parser = argparse.ArgumentParser(description='Process some integers.') parser.add_argument
ActiveRecordを支える技術 - Arelとは何者なのか? (全5回) その1 | Webシステム開発／教育ソリューションのタイムインターメディア
ActiveRecordを支える技術 – Arelとは何者なのか? (全5回) その1 #activerecord#Arel#rails#ruby#sql 2014年 05月 04日 nishio Rails3, ActiveRecordからは、内部でArelと呼ばれるSQL生成用のライブラリが利用されています。 今回、Arelが内部でどのようにSQLを生成しているのかを調査したので、当ブログにて公開いたします。 ちょっと長くなってしまったため、全5回に分割しました。 以下、目次となります。 ActiveRecordを支える技術 – Arelとは何者なのか?(全5回) その1 [この記事]Arelについてなぜ調査しようと思ったのか、その背景と今後利用するサンプルコードを掲載しています。ActiveRecordを支える技術 – Arelとは何者なのか?(全5回) その2シンプルなSQL文、「
Apache Camel (Java)を使うと開発が楽になる７つの理由 - Qiita
まず本題に入る前に、ApacheCamelの簡単な説明から Apache Camelとは Javaのフレームワーク。どんなフレームワークかというと ベルトコンベア（ライン生産的な）フレームワーク 「生産物」に相当するものはデータ 「生産物を作るロボットや人」に相当するものはコンポーネントや個別実装 「スタート」は外部からのリクエストやタイマーでの監視（例えばメールチェックみたいな） 「最終生成物」はリクエストもらった人に返す フレームワーク自体は超軽量。 概要すぎるので、もうちょっと細かな話をすると データ エクスチェンジと呼ばれる「箱」でベルトコンベアに流れている 箱の中にはメッセージと呼ばれる生産物が入っている 箱の中にはメッセージの他に「エラー」やIDや処理過程の「パンくずリスト」なども入っている メッセージの中はヘッダーとボディがあって、ヘッダーがMap型、ボディがObject型に
LL言語でのhot deployとJavaでのhot deploy - wyukawa's diary
JVM Operation Casual Talksで出てた話としてJavaでhot deployってどうしてんの？ってのがありました。 hot deployっていうのはアプリケーションコードを変更してもAPサーバーを再起動せずに反映する技術です。 この辺別に僕は全然知らないし答えを持っているわけではないですが、まあちょっと興味があったのでLL言語でのhot deployとJavaでhot deployを簡単に調べたのでメモっときます。 コードを変更してAPサーバーを再起動する場合、APサーバーが止まっているときにアクセスが行くと困るので、ロードバランサから外してAPサーバーを再起動してまた戻すみたいなことをやるのがオーソドックスな方法のようですが、hot deployだとそういったことをやる必要が無くなります。 Server::Starterから学ぶhot deployの仕組み - $s
Dockerのコンテナを操作できるWebアプリを作ってみた - くろの雑記帳
Dockerの操作は、コマンドからだけではなく、リモートAPI経由でもできます。 APIの説明はここにあります。 http://docs.docker.io/en/latest/api/docker_remote_api/ 今回は、このAPIを使ってコンテナを簡易的に操作できるWebアプリを作ってみました。 とりあえず実装した機能は、 稼働中コンテナの一覧 稼働中コンテナの停止 コンテナの立ち上げ です。 作ったもの こんな感じの見た目です。 画像を見れば分かると思いますが、操作はこれ1ページで完結しています。 コード Githubにあげました。 https://github.com/kurochan/docker-panel 処理はほぼweb.rbで行っていて、あとはhtmlのレンダリングくらいです。 コードは全部で50行ないくらいです。 Sinatraを使うとシンプルに作れていいですね
ユニットテストを書かないことについて - Line 1: Error: Invalid Blog('by Esehara' )
はじめに 最近は、同じ職場で働いている人に対して、『テスト駆動開発入門』の本を貸したり、自分自身でも全く更地のところにユニットテストを書くという作業をやったり、あるいは実装中にもユニットテストを書かないと、コードを書く手が少し滞ってしまうくらいには、テストに依存している自分がいる。 さて、ここ最近で一連のテストの話が各方面から出ていて、それらの議論について興味深く感じる一方で、たとえば自分はそうだけど、「執拗にテストを書いているけれども、これで前に進んでいるんだろうが」という罪悪感みたいなのを抱えている人というのは、それなりにいるんじゃないかと。特にユニットテストを腐らせて、テスト自体を負債にしてしまった人であるなら特に。 ここ最近の、アジャイル開発であったりとか、あるいはプログラマのための本みたいなのを開いたりすると、たいてい「他のことは良いからテスト書け」と載っている一方で、見回してみ
PHPでもモダンでスケーラブルな開発を DevLOVE現場甲子園2013発表資料
7. var me = { /** * self_introduction.js * * それはソフトウェアを顧客に届ける猛々しきプロフェッショナルだ。 * たとえプロジェクトがきわめて過酷な状況であろうと、 * かつてなく手ごわい期日であろうと、成果をあげる力量を備え、 * しかも品格と平静さを失うことがないのだ。 * * Jonathan Rasumusson『アジャイルサムライ』より */ var profile = { "name": "島川悠太", ! ! ! ! ! ! ! "birthday": "1982年5月7日", "hometown": "千葉県市川市", "location": "千葉県市川市", name : 島川悠太 , "twitter": "@banana_umai", "motto": "Keep It Simple, Stupid!", "message"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - goby-lang/goby: Goby - Yet another programming language written in Go
