2014年3月の録画視聴環境 - eagletmt's blog
半分自分用のメモです。 ハードウェア構成 http://wanko.cc/machines.html の signum が録画、ストレージ、エンコードのすべての役割を担ってる。 録画 PT2 x 1 (地上波 x 2、BS x 1) 分波器とケーブル買えば BS x 2 にできるけど要らなそう PT3 x 1 (地上波 x 2、BS x 2) B-CAS カードリーダ SCR3310-NTTCom ソフトウェア構成 OS ArchLinux ドライバ pt1_drv pt3_drv これらを DKMS で管理 pt1_drv-dkms-hg pt3_drv-dkms-git レコーダ recpt1 録画システム kaede 自作 https://github.com/eagletmt/kaede しょぼいカレンダー をソースにしてレコーダの起動を行い、前処理を行ってから TS をエンコード
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
DBエンジニアのための技術勉強会で発表したスライドを公開しました。
DBエンジニアのための技術勉強会というイベントで、リレーショナルモデルにおけるDB設計について話す機会を頂いた。リレーショナルモデルは非常に重要であるにも関わらず、現場ではないがしろにされてしまっている。その結果、アプリケーションのロジックを上手くクエリで表現できず、開発現場では非効率な開発が行われ、多くの人がデスマ的な状況に追い込まれている。そういう危機意識について、これまで何度か本ブログでも書いてきたし、WEB+DB Pressで連載している動機もその点にある。リレーショナルデータベースはやはりリレーショナルデータベースとして使うべきだ。そのための鍵となるのが、DB設計である。 今回はなんと約2時間の持ち時間を頂いた。リレーショナルモデルについてはこれまで何度か話す機会を頂いたが、2時間というのは最長記録である。それに合わせてスライドもボリュームたっぷりのものになった。過去のスライドと
WEB+DB Pressの連載終了とSoftware Design寄稿のお知らせ。
これまで約2年間に渡りWEB+DB Pressにて連載をさせて頂いた。連載のタイトルは「理論で学ぶSQL再入門」というカタいものだったが、だからこそできるだけわかりやすく、そして楽しめる工夫をして来たつもりである。連載の内容が少しでも皆さんのRDBやデータモデルへの理解を深める助けになれば幸いである。 連載を終える理由はごくごくプライベートなものである。いや、プライベートな時間がとれなくなってしまうからというのが正しい。というのも、実は先月私の遺伝子と妻の遺伝子を半分ずつ併せ持つ生命体（XX遺伝子）が爆誕したからだ。この生命体は極めて世話が焼けるものであるため、最低でも向こう1年ほどは時間的な余裕は失われるだろう。（ちなみに、同様の生命体は他にも既に居る。）余暇がまったくなくなるわけではないが、連載できるほどのまとまった時間を捻出することは叶わないと考え、継続の打診を頂いたので恐縮なのであ
#golang でマッチングサイトを作った時の感想。
この記事は Go Advent Calendar 2013 の 18 日目の投稿です。 はじめに今年もいろいろと行われていますAdvent Calendarですが、初めて参加させて頂きます。プログラミング界隈のプロフェッショナルな方々の中で書くというのは、ただ1人で家で書いてるだけなのに、ちょっと緊張しちゃってます(^^ゞ 簡単にGo歴を。2012年1月に勉強会に参加してから、シンプルで守備範囲が広そうで強力で、なにより楽しいと感じ、それから自分で勉強したりして発表させて頂いたりしました(slideshare)。神戸からGoCon Springに参加したり、神戸から名古屋の勉強会に参加したりしました。 そんな中、今年の10月に、マッチングサイトを作ってほしいという話があり、言語は何でもいいとのことだったので、担当者に”Goはキマスよ”と訴え続け、Goで作らせて頂きました。 そこで、よく「G
WEB+DB PRESS に記事を執筆してみて学んだこと - koogawa blog
WEB+DB PRESS Vol.79 で iOS 特集記事の一部を執筆しました。 WEB+DB PRESS Vol.79 作者:成瀬 ゆい,そらは(福森 匠大),西 磨翁,小川 航佑,佐藤 新悟,塚越 啓介,藤原 亮,堀 哲也,田村 孝文,桑野 章弘,松浦 隼人,中村 俊之,田中 哲,福永 亘,杉山 仁則,伊藤 直也,登尾 徳誠,近藤 宇智朗,若原 祥正,松木 雅幸,奥野 幹也,後藤 秀宣,羽二生 厚美,笹田 耕一,平河 正博,東舘 智浩,渡邊 恵太,中島 聡,A-Listers,はまちや2,川添 貴生,山田 育矢,伊藤 友隆,村田 賢太,まつもと ゆきひろ,佐野 岳人,山口 恭兵,千葉 俊輝,平松 亮介技術評論社Amazon 雑誌に記事を書くという経験は人生初だったので、色々と勉強になりました。なかなか体験できないことなので、今回得たことを忘れないうちにメモしておきます。 編集者とのや
RDBMSのコネクションプーリングとかその辺の話 - wyukawa's diary
データベース技術の羅針盤 from Yoshinori Matsunobu これは素晴らしい資料で後半のキャリアの話とか面白いんだけど、今回書くのはp6,p8に書かれていた下記の話です。 PosgreSQLは接続がプロセスベースなのでLL言語との相性がよくない Pgpool(これはプロキシサーバー的に使うらしい)などのコネクションプールと併用することが多い MySQLは接続がスレッドベースなのでコネクションプーリングが使いづらいLL言語環境では魅力 なんでLL言語だとコネクションプーリングが使いづらいのかわからずつぶやいたらリプライもらってついでにちょっと前に話題になったRDBMSでコネクションプールが必要な理由、わからない。 - Togetterや7年前のブログエントリであるコネクションプーリングの話 - naoyaのはてなダイアリーを読み返してみて思ったことを書いてみる。全然まとまって
Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１） - Tech Blog
CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン
O/Rマッパー当たり前な時代だからこそSQLテクニックを磨こう·SQL Fiddle MOONGIFT
SQL FiddleはColdFusion製のソフトウェア（ソースコードは公開されていますがライセンスは明記されていません）です。 開発環境をセットアップするというのは意外に面倒で、せっかく学習しようと思ってもその時点で頓挫してしまいます。もしあなたがSQLを学んでみたいと思うならばSQL Fiddleを使ってみましょう。 こちらがメイン画面です。左に構造、右に実行するSQLを書きます。 実行例。結果はテーブルで下に表示されます。 SQLを変えれば実際に結果も変わります。 対応するデータベースは多様です。 SQL FiddleはJSFiddleに代表されるWebプレイグラウンドサービスで、SQLをWebブラウザ上で実行、確認ができます。最初のテーブルのCreate文からはじまり、任意のSQLを実行してその結果をテーブル表示で確認できます。MySQL/PostgreSQL/MS SQL Se
Scaling Django with gevent
This document discusses using Gevent to scale Django applications. It provides an overview of concurrency models like multi-process, threads, and event-driven approaches. It describes how Gevent uses greenlets and coroutines to provide asynchronous and concurrent execution without blocking the Python GIL. The document shares the author's experience migrating their products from Twisted to using Ge
Flask と Alembic とテスト - build error
Flask と SQLAlchemy で Web アプリをつくるとき きちんとテストを書きたい→Application Factories Pattern を使う DB もきちんとバージョン管理したい→Alembic を使う という前提で、さらに Alembic の version ファイルと SQLAlchemy の declarative なモデルに同じようなテーブル定義を書きたくない。つまり version ファイルに def upgrade(): op.create_table( 'users, sa.Column('id', sa.Integer, primary_key=True), sa.Column('username', sa.String, nullable=False) )
SQLインジェクションゴルフ - なんと3文字で認証回避が可能に
昨日のエントリ「SQLインジェクションゴルフ - 認証回避の攻撃文字列はどこまで短くできるか?」にて、認証回避の攻撃文字列が5文字にできる（「'OR'1」）ことを示しましたが、@masa141421356さんと、やまざきさん（お二人とも拙著のレビュアーです）から、idとpwdにまたがった攻撃例を示していただきました。やまざきさんの例は、MySQL限定ながら、なんと3文字です。これはすごい。 @masa141421356さんの攻撃例 @masa141421356さんのツイートを引用します。 @ockeghem 大抵のDBでid=''OR' AND pwd='>' ' が通ると思います（id側に「'OR」, pwd側に「>' 」で6文字）。長さ0の文字列がNULL扱いされないDBなら最後のスペースを消して5文字です。 — masa141421356 (@masa141421356) June
データベースエンジニア養成読本のRiakのとこを書きました - kuenishi's blog
養成読本シリーズの最新作、データベースエンジニア養成読本の、Riakの章を書きました。もともと10ページ程度といわれていたのですが、つい暴走してしまいちょっとオーバーしてしまい12ページちょいほどになりました。Riakの全てを書くにはあまりに短い（ていうかそういうのはソースコード見てください）のですが、数ある分散する系データベースのなかでもRiakだけが取り上げられ、原稿を書かせていただいたのはとても光栄であります。 そういうわけで、入門としつつも、実際にデータベースを選定してアプリを開発する立場になって書いてみました。アプリ側への負担を最低限にしつつ可用性とスケールアウトを求めるためにはベストなデータベースなので、アプリ側への負担や運用のポイントなどを書いて、ノリでRiakにしてみたけどやっぱりうちのアプリには合わなかった…みたいなことが起きないように、トレードオフになっている内容をなる
クレジットカード情報流出事件があったようなので、決済システム周りについて語ってみます。 - フジイユウジ::ドットネット
もう各所でかなり話題になっておりますが、「イモトのWi-Fi」と銘打って海外用モバイルWi-Fiルーターレンタルサービスを展開しているGLOBALDATAのWebサーバーに不正アクセスがあったんで調査してみたら最大146,701件のクレジットカード情報を含む個人情報を お漏らし 情報漏えいしていたという、なかなかド派手なカード番号流出事件があったようです。 お客様情報を保持していたサーバーには、最大146,701件のクレジットカード情報があり、同件数のお客様情報（①カード名義人名、②カード番号、③カード有効期限、④セキュリティコード、⑤お申込者住所）がありました。不正取得により流出しました件数はうち109,112件になり当該情報は、平成23年3月7日～平成25年4月23日にお申し込み頂きました、お客様の情報が対象となります。 不正アクセスによるお客様情報流出に関するお知らせとお詫び エクス
Markdown to Inao - naoyaのはてなダイアリー
tl;dr: markdown2inao.pl は今後 https://github.com/naoya/md2inao.pl で管理していくからよろしくオナシャス。Web 版 http://md2inao.bloghackers.net/ も用意したぜ。 "inao"記法 技術評論者の WEB+DB PRESS に原稿を書いたことのある人々には密かに知られていた "inao" と呼ばれているテキストフォーマットがあります。 ■見出し ここが本文 ・リスト１ ・リスト２こんな感じの、ある程度ヒューマンリーダブルな全角文字を主体としたマークアップ。WEB+DB PRESS編集部ではこの記法から InDesign で DTP に変換するというようなことを長らくやっていたらしい。つまり、このフォーマットで書いておくとそこから著者校正用の PDF になる。 markdown2inao.pl けれど
「SQL アンチパターン」は色んな戦争の火種になりそう - yoshiori.github.io
監訳の一人である @t_wada に献本頂きました。 ありがとうございます！！！ でだ、いきなりだけどコレ、タイトルで損してると思うんだよね…… だって、SQL のアンチパターンてタイトルだったら、 join した結果の方で where で絞るよりも on 句で先に絞れ 的なのが書いてあると思うじゃん！！ 問い合わせ言語の事だと思うじゃん！！！ 違った…… ほとんど書いてあるのは DB 設計についてだった…… まぁ、副題は「Avoiding the Pitfalls of Database Programming」のだし、まぁいいか。 んで、読んでみた感想とか もうね、何年か DB 絡んだ開発したことのある人なら（・∀・）ﾆﾔﾆﾔ出来ると思う。 「”マルチカラムアトリビュート”とか 10 年前に通ったわー」 とか 「あーはいはい”インデックスショットガン”乙」 みたいな。 Explain
dreamobjectsを利用した画像アップローダを作ってみた。 - とあるプログラマの日記 @s025236
2ちゃんねる画像アップローダという画像アップローダを作成しました。 高負荷にも耐えれる安定したサービスを目指して頑張っていますのでよろしくお願いします。 …というか悲鳴上げるほどアクセス増えて欲しいです。 2ちゃんねる画像アップローダ 動機 DreamObjectsというamazon S3と互換性のあるストレージサービスを最近知ったのでを作成してみました。 DreamObjectsがストレージ7¢/GB、Transfer Outも7¢/GB、API呼び出しは無料、先払いによる割引もあります。 S3の米国スタンダードリージョンが$0.095 /GB,$0.120 /GB,$0.01/1,000リクエストなのでずいぶん安くすみそうです。 さて、ここからはサーバの構成のお話です。 フロントエンド 「さくらのVPS 1G」を利用しています。 DreamObjectsが転送料課金なのでnignxがメ
獨協大学図書館、レファレンスDBを公開
2013年1月10日、獨協大学図書館がレファレンスDBを公開しました。レファレンスカウンターに寄せられる資料・情報探しに関する質問のうち、よくある質問と回答の事例集となっています。 レファレンスDB https://spica.dokkyo.ac.jp/top/index.do?method=open#REFERENCE 【図書館】レファレンスDBの公開を開始しました （獨協大学 2013/1/11付けの記事） http://www.dokkyo.ac.jp/news/detail_j/id/2293/odir/ka_library/ 参考： レファレンス協同データベース事業ウェブサイト「事例データ公開機関等 リンク集」 http://crd.ndl.go.jp/jp/library/links.html
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベース設計徹底指南
PHPで２ちゃんねるのスレ取得 準備編 – マイヤーの開発ブログ