Luigi逆引きリファレンス - Qiita
import luigi class MyTask(luigi.Task): date = luigi.DateParameter() def requires(self): return MyDependentTask(self.date) def run(self): with self.output().open('w') as output: with self.input().open('r') as input: for line in input: ret = do_something(line) output.write(ret) output.write('\n') def output(self): return luigi.LocalTarget('./out2_{0}.txt'.format(self.date.isoformat())) class MyDepen
クラウド時代の分散データベースを支える技術の応用と進歩 - kuenishi's blog
teespring.com 分散データベースというのは、それ単体でもとても難しい、データベースと、分散システム双方の技術の粋を結集して実現されるアプリケーションだ。これをサービスといったり、ミドルウェアといったりする場合もあるが、今回は技術を応用してつくったものという意図でアプリケーションと位置づけることにする。まあ古くて新しい問題で、死屍累々の世界でありながら、それでいて金の鉱脈でもある世界だ。イカのようなトピックを概説していくことで、近年の流れをメモしておきたい。 Pre-cloud era: クラウド以前の時代 BigTable, DynamoとCAP定理 MegaStore 研究: Calvin Jepsen: できたら☎してよ〜 Coordination free database Spanner: 何でもできるよ！！ Kudu+Impala Next? クラウド以前の時代 Sy
PostgreSQLのクエリプロトコルと起こりうる問題 - 夜は寝る
Postgres Advent Calendar 2019の11日目。クエリプロトコルについておしごとで調べる機会があったため、にわか知識でさわりを紹介してみる。.NETのコードやライブラリを例に出すが、PostgreSQLの仕様に関するおはなしのはず。 アプリケーションがRDBMSと通信するとき、多くの場合、クライアントライブラリを使って通信を抽象化している。そのため、おそらくほとんどのソフトウェアエンジニアは日常的に通信のプロトコルを意識することはない。ただし、クライアントライブラリを実装する場合や、後に述べる特異なケースにおいて、プロトコルの仕様が重要になる。 簡易クエリと拡張クエリ PostgresSQLはフロントエンド（クライアント）とバックエンド（サーバ）の通信に、メッセージベースのプロトコルを使う。このプロトコルには、通信の開始・終了や、データのやりとり（クエリ）、コピー、レ
ntopng + Elastic Stackによるネットワークトラフィック解析 - Qiita
本記事はWORDIAN Advent Calendar 2017の6日目の記事です。 WORDIANとは、筑波大学情報科学類において学類誌を発行する組織WORD編集部の部員のことを指します。WORD編集部のバックナンバーは、以下のリンクから読むことができます。 https://www.word-ac.net/ というわけで、本記事ではntopngを用いたネットワークトラフィック解析の方法を解説します。 ntopngとは、ntop社により開発されているネットワークトラフィック解析ツールです。このツールは内部的にnDPIという同社開発のDeep Packet Inspectionツールを使用しており、これにより多様なプロトコルを判別することができます。また、最近のアップデートにより早速Nintendo Switchのプロトコルのサポートも追加されるなど、随時サポートするプロトコルを増やしていま
ASから見たインターネット
アーカイブ2022年8月 (1)2022年2月 (1)2021年11月 (1)2021年9月 (1)2021年5月 (1)2021年3月 (1)2021年1月 (1)2020年12月 (1)2020年11月 (2)2020年10月 (3)2020年9月 (1)2020年8月 (3)2020年7月 (1)2020年6月 (2)2020年5月 (4)2020年4月 (2)2020年3月 (2)2020年2月 (1)2020年1月 (1)2019年12月 (4)2019年11月 (3)2019年10月 (5)2019年9月 (4)2019年8月 (5)2019年7月 (6)2019年6月 (7)2019年5月 (7) IPアドレスだけを頼りにデータが届くというインターネットの仕組みは、ちょっと考えてみると不思議に思える。IPv4アドレスは（枯渇が問題になっているとはいえ）42億9千万個にも及ぶ組
PDFから「使える」テキストを取り出す（第5回） - golden-luckyの日記
昨日の記事では、PDFのコンテンツストリームから文字を読めたことにして、その文字をテキストとして再構築する話をしました。 今日は昨日までの話の締めくくりとして、「PDFごとにカスタムなテキスト取り出し」の話をするつもりだったのですが、その前に文字とコンテンツストリームについて落穂拾いをしておくことにしました。 というのは、昨日までの記事への反応を見ていて、この本のことをちょっと思い出したからです。 John Whitington 著、村上雅章 訳 『PDF構造解説』（オライリー・ジャパン、2012年5月） この本、PDFのドキュメント構造を知りたい人が最初に読むにはぴったりだと思います。 自分で簡単なPDFを手書きしながら「PDFの中身がどうなっているのか」を学べるように書かれているので、ドキュメント構造やコンテンツストリームの雰囲気を手軽に体験できる良書です。 しかし、この「自分で簡単な
Splay Treeの可視化Webページを簡易的に作った - 日々ｄｒｄｒする人のメモ
この記事は IQ1アドベントカレンダー2019 の 5日目の記事です。 adventar.org 今回はちょっとした小ネタ記事として、splay treeのvisualizationを簡易的に作った話を書きます。 はじめに Splay Treeとは? bottom-up top-down visualizationの実装 参考 はじめに 最近、Splay Treeがぬるぬる動く様子を眺めて癒やされたい(?)、という気持ちになり自作したくなったのでさくっと作りました。 作成期間はこのアドベントカレンダー記事を書こうとしてからの直近1週間です。 Splay Treeとは? スプレー木 - Wikipedia Splay tree - Wikipedia 平衝二分探索木の1つであり、参照したノードを回転しながらrootに持ってくるsplay操作によって平衝を保つ。 splay操作では zig,
mod_proxy_htmlを使ってみた - Qiita
前回はmod_proxy_htmlについて説明しました。今回はmod_proxy_htmlの具体的な設定について載せていきます。 mod_prxoy_htmlはリバースプロキシサーバーに組み込むモジュールのため、前回の説明に使った構成図の環境を作成する流れで説明します。 システム構成 システム構成はmod_proxy_htmlがインストールされたリバースプロキシ、アプリケーション1、アプリケーション2の3つの環境です。 リバースプロキシの環境は CentOS7 を使用します。 アプリケーション1、アプリケーション2は何でも良いのでWebサーバーを動かしておきます。(本記事では割愛します。) mod_proxy_htmlのインストール mod_proxy_html を実際に試してみましょう。mod_proxy_html は CentOS7 の標準パッケージに含まれているのでyumコマンドでイ
なんで日記書いたほうがいいか - MEMOGRAPHIX
ぼくはこのサイト以外にもブログを複数持ってるので、たぶん年間400記事くらい書いてる。良い体験なのでみなさんも日記書いたほうがいいって何度も主張しているけど、ああそうですかって感じで、なかなか取り合ってもらえない。そこで日記を書くことについての見解をまとめた。 自分へのメリットそもそも何か自分の思っていることを表明するのは楽しい体験だと思う。スタバとかに行くと、無限に喋ってる人よく見る。思ってることを表明して、そうなんだとか、私もわかるとか言われたら嬉しい。tumblr だと Like とか Reblog されたり、記事が twitter とか Facebook にシェアされることで同等の体験が得られて嬉しい。 日記は楽しい体験である、というのが前提だけど、副次的なメリットもいろいろあって、思考の記録をつけられるのが良い。なんで思考を記録した方がいいかというと、自分の行動は割と覚えていられ
可視化で理解する中心極限定理 - jnobuyukiのブログ
今回は、Data Visualization Advent Calendar 2015への寄稿として書きます。qiita.com データを特徴づける指標にはいろいろなものがあります。例えば、算術平均は分布の中心を表す代表的な指標です。これに加えて、データの形状やばらつきを把握すると、より詳しくデータの性質を理解できます。今回は、データの形状やばらつきに関連する話題として中心極限定理（Central Limit Theorem）を取り上げます。特に、中心極限定理の内容を可視化することで、理解しやすくなるかどうかを試みます。 中心極限定理 まず中心極限定理の説明をしておきます。 この定理は、母集団から抽出したサンプルの性質を決めています。母集団からサンプルを抽出する場合、（１）ある程度のサンプルサイズがあれば、その平均値（もしくは和）の分布が正規分布（ガウス分布）になると決まっています。さらに
Common Lisp製のブログはエンジニア求人に効果はあるか - アクトインディ開発者ブログ
こんにちは、chiba です。 このtech.actindi.netブログもCommon Lisp化してから早6年半になります。 当時CTOのkomagataさんの求人戦略の一つで、尖ったブログで情報発信することにより尖った人への訴求効果を狙ったと記憶していますが※、Common Lispのウェブサーバーで運用するのに加え、デザインもmachidaさんの異様に尖ったデザインが入ったこともあり、周囲のエンジニアへの受けもかなり良かったと記憶しています。 勉強会等で知り合ったエンジニアさんと話をすると、『ああ、あの変なブログの会社』と言われたりすることは多かったですね。 ちなみに、当初は適当にCommon Lispのウェブサーバー上でhtmlのペライチで動かしているだけのものでした。 この怪しいブログの怪しい光に惹き寄せられてしまった現エンジニアとしてはtahara、akiyamaがおり、元は
Call-by-needを採用した言語のインタプリタの実装 - fetburner.core
この記事は言語実装 Advent Calendar 2016の9日目ために書かれました。 最近僕はcall-by-needに関連する研究をしており、気分を理解するためにcall-by-needを採用した言語のインタプリタをStandard MLで実装したりしました。今回はその時の事でも記事にしておきましょう。 Call-by-needとは？ Call-by-needとは、評価戦略の一種です。評価戦略と言えばcall-by-valueとcall-by-nameが有名でしょう。 Call-by-valueは最も右側のredexから簡約する評価戦略で、例えば(λx. x x) ((λx. x) (λx. x))は (λx. x x) ((λx. x) (λx. x)) → (λx. x x) (λx. x) → (λx. x) (λx. x) → λx. x と簡約されます。ちなみにλの中は簡約
Stanに一般化極値分布を実装してみる - masaR web
この記事は Stan Advent Calendar 2016 の12月8日のエントリーです。Advent Calendarはこれまで見るものであって自分で参加するものとは思っておらず，ノリで手を挙げてしまったので，いろいろと不安ではありますがやってみます。間違っているところ，もっとこうしたほうが良いなどがありましたら教えていただけると喜びます。 概要としては，以下のようなものになっています。 一般化極値分布について 高松市の最大降水量を一般化極値分布使って推定してみた 高松市の最大降水量は増加しているか推定してみた 一般化極値分布について 共同研究の関連で，最大値を分析する必要出てきまして，一般化極値分布という分布を使うことになりました。一般化極値分布は，最大値や最小値に適用できる分布のようです。 今回，共同研究で取っているデータは自分でいつでもとれるというものではありませんが，心理学の
基礎からのベイズ統計学を読んでM-H法とHMC法を学ぶ - Qiita
はじめに（なぜこれを選んだか） サンプリングは積分計算が難しい状況で採用される手法の一つですが、自分は昔からサンプリング系の手法がイマイチ理解できていません（例えばPRML§11とかよく分からない ┐(´ー｀)┌ ）。しかし、最近たまにサンプリング系の手法を使っている論文を読むことがあるので、基本的なところから勉強しておくことにしました。 最近社畜業務で電車で揺られながら 基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門 という本を読んでいたので、4章・5章で出てくるM-HサンプリングとHMC法をまとめたいと思います。中身はほぼ本の例題通りです。本当は付録BあたりまでやってスライスサンプリングとNUTSまで行きたかったですが、仕事が爆発して時間が足りませんでした（後で追加でやっておくつもりです）。 あと以下のコードは整理したらgithubかbitbucketにでも上げて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2chのID作成方法について その2013年1月 – FNB
デザインにおいて大切な「字詰め」について | Swings