Git を使ったツール開発 - YAPC::Asia Tokyo 2014
Git は最近の開発においてはとてもポピュラーなツールです。業務で利用していなくても今や多くの CPAN モジュールが開発の場を GitHub としていることからも、Perl Monger には欠かせないものの一つとなっています。かゆい所に手が届くツールを自作できれば、Git を使った開発はもっと便利にできるでしょう。 本トークは Git をうまく活用するためのガイドです。 Git の概念・仕組みについて 上記を利用するための Git のサブコマンドの解説 細かい tips 実際の利用例として、ツールの紹介と解説 ghq, git-pr-release, git-browse-remote など などをお話しする予定です。
SQL感覚でHiveQLを書くと痛い目にあう例 - still deeper
Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ
sshによるユーザ列挙攻撃"osueta" - ろば電子が詰まつてゐる
ものすごく遅いレポートですが、先日、ゆるふわ勉強会こと さしみjp ささみjpの#ssmjp 2014/06 に参加させて頂きました。 この中で、@togakushiさんの発表「OpenSSH User EnumerationTime-Based Attack と Python-paramiko」が面白かったのでそのメモです。 osuetaとは何か OpenSSHでは、パスワード認証の際に長い文字列(目安で数万文字)を与えると、存在するユーザと存在しないユーザの場合で応答速度が変わってきます。環境によりこの時間差は結構違うようですが、私の試した範囲では、 存在するユーザの場合は数十秒 存在しないユーザの場合は数秒 で応答が返りました(この応答速度は目安です、もちろんマシンスペックによって違うでしょう)。これにより、複数のユーザでsshログイン試行をおこない、その応答時間を計測することでユー
SQL Translator - r7km/s
SQL::Translator という、 SQLの構文解析器 + これを利用した便利なツール群を読んだ。 SQL::Translatorの使い方 とりあえずSQL Translatorの使い方を知らないことにはどうにもならないので、 使い方を調べて小さな動くコードを書くことに。 まず手元にbefore.sqlとafter.sqlという2つのSQLのファイルを用意した。 before.sqlでusersテーブルを作成し、更にafter.sqlでitemsテーブルを作成している。 $ cat before.sql CREATE TABLE `users` ( `id` integer(10) unsigned NOT NULL AUTO_INCREMENT, `name` char(16) NOT NULL, PRIMARY KEY (`id`) ); $ cat after.sql CREA
ユーザ由来の構造化データによるSQLインジェクション | tech - 氾濫原
Kazuho's Weblog: The JSON SQL Injection Vulnerability について。元記事をはっちゃめっちゃに要約すると SQL::Maker にユーザから受けとったデコード済み JSON をそのまま突っ込むと SQL インジェクションになる場合がある SQL::Maker 側でそういったことが起こらないように strict オプションをつけたから、できればそっち使え 別に SQL::Maker に限らないから気をつけろ という話っぽい。本来であればユーザ入力をタイプチェックをすべきだけど、クエリビルダレベルでも、脆弱性にならないようにもうちょっと考慮してもいいよねという趣旨かな… strict モードは非互換なので、既存のコードが動かなくなる可能性があるようです。 Teng での対応 Teng を使っているとデフォルトで SQL::Maker がクエリビ
BigQueryにTwitterのタイムラインを入れる [Ruby]
Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という
![BigQueryにTwitterのタイムラインを入れる [Ruby]](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb99bf7e3074ef0fe5df0ca25a644e696c62ad78/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fkksg%2Fblog%2F53b4ac19c38aa5513f47ea75.png)
情報がないことを伝えるUIデザイン | UXデザイン会社Standardのブログ
「Empty Data（またはEmpty Status）」というUIパターンがあります。タイムラインやドロワーなどデザイナーであれば知っているUIパターンの名称に比べると、あまり日本では聞き慣れないのかもしれません。Empty Dataは簡単に言うとデータがない時のUIになります（Webでの404に近いですが、少し違います）。では、Empty Dataを知るためにもう少し詳しく紹介していきたいと思います。 参考：モバイルデザインパターン 第2版 ―ユーザーインタフェースのためのパターン集 Empty DataはUIである Empty Dataはただユーザにデータがないことを示すだけではありません。ユーザにデータが存在しないという情報をフィードバックし、どうしたらここに情報が入るかのアクションに繋げる立派なUIです。もしEmpty DataのUIが存在しなかったらユーザはどのように感じるでし
現在進行中の黒歴史 : 連載開始二日前に連載中止
連載開始二日前に連載中止 2014年07月02日 03:07 漫画 そんな信じられないことがおこりました 最近まで進撃の巨人を手伝ってもらっていた 「やまもとありさ」さんの連載が決まったのは数ヶ月前 その知らせを電話で受けた時、やまもとさんは進撃の原稿作業中でした それは上京して数年間、何度も挑戦し続けた連載を初めて手にした瞬間で その合否を聞くまでみんな緊張してましたが やまもとさんが小さい声で「．．．連載決まりました」と告げた瞬間 〆切数時間前の職場が華やいだのを覚えてます こらえるように涙声でトーンを削る姿は、人の人生の大事な瞬間を目撃したようで 何だかこみ上げてくるものがありました それが突如、原稿五話と何話かのネームが出来上がった状態の 連載開始二日前に、有害図書指定に当たる可能性があるとのことで 急遽連載取り消しの判断が下されたそうです 詳しくは↓やまもとさん本人のブログにて
連載取り消しのおしらせ : やまもとありさ「まんまんかきかき！」
6月29日からコミックゼノンのWeb漫画サイト『ぜにょん』にて、初めて連載することが決まり、以前より告知をしていましたが 開始2日前の6月27日に編集者から連絡があり、急遽連載ができない事になってしまいました その理由はというと、コミックゼノン編集部のあるコアミックスという会社が徳間書店という会社に委託して雑誌や単行本を出版するらしいのですが 徳間書店の担当者が、有害図書指定に当たる可能性があるとして、わたしの漫画を出版できないと判断したそうです ゼノン側は単行本が出せないものには連載させても意味が無いという事で、連載開始2日前にそのような報告を受けました 原稿５話分と、５枚のカラーと何話かネームを書き溜めていて、公開日が近づき楽しみにしていたところだったので、しばらく事実が飲込めず誰にも何も言えないままでした わたしの漫画を少しだけ待っててくださった方々と、連載が決まり職場を去る事を
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
最近のLinuxで有効になっているI/Oバリア機能と、RDBへの影響 | Unofficial DB2 BLOG
比較的新しいカーネルを採用したLinuxディストリビューションでは、ファイルシステムのI/Oバリア (I/O barrier)機能がデフォルトで有効になっています。例えばRedhat Enterprise Linux (RHEL) 6やSUSE Linux Enterprise Server (SLES) 11等はインストール直後の状態でext4ファイルシステムのI/Oバリアが有効になっているようです。 I/Oバリアは簡単にいうと、「バリア命令」の後で発行されたI/Oは、バリア命令の前に発行されたI/Oの後に必ず実行されるようにする仕組みです。つまりI/Oの順序（物理ディスクに反映される順番）をまもらせる仕組みといえます。 ファイルシステムにI/Oバリア機能が追加されたのは、ファイルシステムが不整合な状態になる可能性を減らすためです。 そもそも、急な電源断でもファイルシステムの不整合が起こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA Engineering - DeNAエンジニアのポータルサイト
conma.me
タイムチケット | 知識・スキル・経験のマーケットプレイス
Riak: 本物の高可用性を実現する仕組みとは？
