転置インデックスとTop k-query
Amazon SageMaker is a fully managed service that enables developers and data scientists to build, train, and deploy machine learning (ML) models quickly. It provides algorithms, notebooks, APIs and scalable infrastructure for building ML models. Some key features of SageMaker include algorithms for common ML tasks, notebooks for developing models, APIs for training and deployment, and scalable inf
Linuxでストライピング(RAID0)なソフトウェアRAIDを組んでいた際にデバイスが外れてしまった場合 - 元RX-7乗りの適当な日々
若手が(ry・・・シリーズ。次から他の人にやってほしいのでｗ 共有用のメモを残してしておきます。 Linuxのサーバで、ソフトウェアRAID(ストライピング)を組んでいたときに、片方のデバイスが不調で外れてしまったんだけど、デバイス内のデータは無事で、復旧(RAID0再構成)させたい場合のオペレーション。 ちなみに、たまたまなんだけど、ちょうど8年くらい前に似たようなエントリを書いていた。参考までに。 ソフトウェアRAIDのデグレード(縮退)モードからの復旧 - 元RX-7乗りの適当な日々 RAIDデバイスの確認と試行錯誤 外れてしまったデバイスは、問題なさそうってのは確認済み(本エントリでは割愛)で、あとは正常なRAIDデバイスに戻したいフェーズ、ってのが前提。 (自分が作ったサーバではないので、アレやコレやと確認しながら手探りになってしまっていますがｗ) # cat /proc/mds
RDS (MySQL) で大規模テーブルを運用する際の注意点 | Hack
この投稿は AWS Advent Calendar 2014 の 22日目の記事です。 RDS で MySQL を運用中に、想定外の CPU スパイクに悩まされたことがありましたので纏めておきます。 まずは、CloudWatch のグラフを見てみましょう。 所々で CPU スパイクが発生しているのがわかるかと思います。一見すると法則性がないようにも見えます。一般的には CPU リソースを消費する要因としては、アクセス過多やバッチ処理などで負荷をかけたケースが殆どです。しかし、今回のケースはユーザー側では何も負荷をかけておらず、RDS へのアクセスがゼロのサーバーでも同様の CPU スパイクが発生することがわかりました。 CPU スパイクの原因は？ では、CPU スパイクの原因は何だったのでしょう？その後の調査で「RDS の定期メンテナンスジョブ」が原因であることがわかりました。 以下、メン
『例えば、PHPを避ける』以降PHPはどれだけ安全になったか
この記事はPHPアドベントカレンダー2014の22日目の記事です 。 2002年3月に公開されたIPAの人気コンテンツ「セキュアプログラミング講座」が2007年6月に大幅に更新されました。そして、その一節がPHPerたちを激しく刺激することになります。 (1) プログラミング言語の選択 1) 例えば、PHPを避ける 短時日で素早くサイトを立ち上げることのみに着目するのであれば、PHPは悪い処理系ではない。しかし、これまで多くの脆弱性を生んできた経緯があり、改善が進んでいるとはいえまだ十分堅固とは言えない。 セキュアプログラミング講座（アーカイブ）より引用 「PHPを避ける」とまで言われてしまったわけで、当然ながらネット界隈では炎上を起こし、現在はもう少しマイルドな表現に変わっています(参照)。 本稿では、当時のPHPの状況を振り返る手段として、この後PHPのセキュリティ機能がどのように変化
MySQLのレプリケーションでありがちな10の問題 | Yakst
レプリケーションの問題でよくある10パターン。 1) セッションのみで有効なバイナリログ sql_log_bin = 0を設定すると、そのセッション内でバイナリログを無効にできる。つまり、マスタのセッション内で実行したDMLやDDLは、スレーブにはレプリケーションされない。 マスタでバイナリログをオフにする。 mysql> set sql_log_bin = 0 ; Query OK, 0 rows affected (0.00 sec) reptestデータベースにテーブルを作成してみる(マスタ上で実行)。 mysql> create table reptest(ID int) ; Query OK, 0 rows affected (0.01 sec) mysql> show tables ; +-------------------+ | Tables_in_reptest | +-
#22 普段からRailsプロジェクトで使っている10個の便利Gem - KAYAC engineers' blog
この記事は tech.kayac.com Advent Calendar 2014 22日目です。 こんにちは。Rubyを書いている @yumiyon です。 今回は、Railsプロジェクトで「○○がしたい！」と思った際に、自分がよく利用するGemを機能ごとに分けて10個ほどご紹介します。日頃からRailsで開発を行なっている方は既知のものばかりかもしれませんが、Railsを始めたばかりの方や、自分のための備忘録として。 目次 Gemとは 1、画像をアップロードしたい（CarrierWave） 2、管理画面を作成したい（ActiveAdmin） 3、環境毎に定数を管理したい（rails_config） 4、crontabを管理したい（Whenever） 5、スプレッドシートにアクセス（google_drive） 6、ページャーを実装したい（kaminari） 7、非同期処理を使いたい：ジョ
Gitのブランチで効率的に開発・運用・保守・管理する方法 - (DxD)∞
はじめに 最初に、Gitに関するリソースとして、本では「入門Git」と「実用Git」、Web上では「Pro Git」が読みやすく、わかりやすいため、Gitについて知りたい人は一読をおすすめします。 特に、他のバージョン管理システムに関する前提知識がある場合には、Gitの概念や使い方も比較的スムーズに理解できるかと思います。実際に、バージョン管理システムをSubversionからGitへと移行してからしばらくが経ちますが、通常の操作に関しては、それほど不自由することなくGitを利用できています。 しかし、Gitを利用していくにつれて色々と疑問も出てきます。局所的なワークフローについては、様々なリソースによって理解することができます。では、効率的に開発・運用・保守・管理を行うために、大局的・継続的なワークフローをどのように採ればよいのか、特にGitの柔軟性を活かすにはブランチをどのように使えば
rebase で本番用の設定と開発用の設定を簡単に切り替える - ぐるぐる～
rebase を使うと、本番用の設定と開発用の設定を簡単に切り替えることができます。 rebase の基本は rebase について - ぐるぐる〜 で説明しているので、ここまでは分かっている前提です。 例えば、ASP.NET で本番用と開発用の web.config が違うとします。 共用のリポジトリには開発用の web.config をコミットしてはいけません。 これをすべて手作業で行おうとすると、ついつい間違って開発用の web.config をコミットしてしまったり、ついつい間違えて開発用の web.config の内容がどこかにいっちゃったりすることがあります。 こういった事故を少なくするために、rebase を使います。 rebase --onto onto オプションを使用することで、ある地点 (ブランチ a とします) から分岐したブランチ (b とします) の分岐点から先
mysql本家ドキュメントから文字コードについて学ぶ - Qiita
はじめに mysqlのDocumentation読んでますか？私はどうも読みづらくて、ずっと敬遠してました。しかし、何だかんだでオリジナルのドキュメントを読むのが一番早いですよね。今回、文字コードについて色々調べてみて、本家のドキュメントの解説が一番分かりやすかったので、大事だと思われる部分をかいつまんでみました。特に断りが無い場合は、本家ドキュメントの引用とそのカジュアルな意訳です。 出来るだけ読みやすく正確に翻訳したつもりですが、もし分かりづらかったり意味が間違っていたら、ご指摘頂ければ有難いです。特に専門用語の日本語訳はスタンダードなものがあると思いますが、それを調べるような手間はかけていません。今まで慣れ親しんだ用語を使っています。 なお、見出しに書かれている文字はオリジナル文章のセクション番号です。 参考にしたページ http://dev.mysql.com/doc/refman
Ansibleとテスト その2 - Qiita
Ansibleとテスト - Ansible Meetup in Tokyo LTの追加です。 このLTではAnsibleとServerspecを組み合わせて使うためのrubygemについて紹介しました。 一方で、AnsibleにはAssertなどのテストモジュールがあるので、Serverspecを使わずにテストまで行えるのでは、と考えていました。 この記事では、Assertを使ってテストを書いてみた感想と注意点について述べます。 結論から言えば、Ansible単独で構築からテストまで行うよりは、テスト系ツール(serverspec, envassert)と組み合わせて活用した方が良いです。 [前提]Ansibleの思想とテスト Ansibleはあるべき状態(desired-state)を宣言し、サーバを構成します。 例えば、OS起動時にあるサービスが開始されるための手順を書くのではなく、O
Activity のライフサイクル再確認 - Qiita
Android 5.0がリリースされアプリケーション開発を行う際に、改めて Android アプリの基本である Activity について再確認してみようと思いライフサイクルを調査してみました。 標準的なライフサイクル Android Developers では Activity Lifecycle は以下のように説明されています。 この図では基本的な Activity のライフサイクルを示し、ライフサイクルが変化するタイミングで呼び出される Activity のメソッドを示しています。 ただ最新の Android 5.0 (API Level:21) で示されているメソッドを見ていくと、図の中で省略されているメソッドがいくつかあります。 Activity の launchMode など状態遷移を変化させる属性を指定されている場合から、実際に動作確認しながらライフサイクルの内容を整理・確認
Linuxのunlocked_ioctlとcompat_ioctlの違い - Qiita
はじめに どうもです。@akachochinです。Advent calendarの記事になります。 この間Linuxのデバドラのコードにかかわる仕事をしていて、include/linux/fs.hを見ました。で、file_operations構造体を見たら、ioctlを呼び出す関数ポインタが long (*unlocked_ioctl) (struct file *, unsigned int, unsigned long); long (*compat_ioctl) (struct file *, unsigned int, unsigned long); というメンバになっていました。Linux Device Drivers 3rd editionを見る限り、このようなメンバは載っていません。(ioctlに関するメンバはioctlのみ掲載されていました) せっかくの機会なので、この場を
イケてると思う dotfiles の管理方法 - KMC活動ブログ
イケてると思う dotfiles の管理方法 この記事は、今年もやります！KMCアドベントカレンダー！！ - KMC活動ブログの21日目の記事です。 昨日の20日目の記事はReturn Value Optimization (RVO)の話 【KMCアドベントカレンダー20日目】 - KMC活動ブログでした。 KMC5回生の wacky です。今日は dotfiles の管理方法についての話をします。 dotfiles を管理していないと 何らかの UNIX を長いこと使っていると、ホームディレクトリには自分の書いた .zshrc や .tmux.conf などの設定ファイルがたくさん転がっていると思います。そして、長いこと UNIX を使っている人であれば、自分が単一のサーバにしかログインしない、というのは稀でしょう。当然、自分のログインするサーバ全てのホームディレクトリには .zshrc
GitHubEnterpriseを導入してみるにあたって気をつけたいことをいくつか - by shigemk2
この記事はQiitaのGit Advent Calendar 2014 24日目の記事です。 GitHubEnterprise(以下GHE)を導入するにあたり、技術的なことで気をつけたいところ、技術的でないところで気をつけたいところをつらつらまとめます。 GitHubといえばこの本ですが、Enterpriseのことは1、2ページくらいしか書かれていなくてあまり参考になりませんでしたので、つらつらまとめることにした次第です。 そもそもEnterpriseを使う必要があるのか ソースコード管理をしたいのであれば、GitHubEnterpriseを使う以外にもいろいろと選択肢があると思います。具体的な例を挙げると、 GitLab、GitBucketなどのオープンソース系ソースコード管理システム GitHubやCodeBreakのプライベートリポジトリ GHEは20アカウントで年間5000ドル、以
静的データやマスターデータの為だけにtableを持つのを止めよう。 active_hash が便利そうだ - Qiita
zilkey/active_hash HashデータをActiveRecordのように扱う事の出来るgem。 少し使った感じはかなり便利そう。 Qiitaにactive_hashだけの記事が無かったので書いてみる。 用途 例えば、カテゴリデータや都道府県など、プルダウンに使うような静的データは、色々な持ち方ができます。 単純に定数で扱ってもいいですし、
Goでnet/httpを使う時のこまごまとした注意 - Qiita
resp, err := http.DefaultClient.Do(req) if err != nil { return err } defer resp.Body.Close() HTTPレスポンスを受け取ったとき、err != nilのときresp.Bodyは常に非nilである（たとえBodyが0バイトであっても）。このresp.Body を Close するのは呼び出し側の責務である。Body.Close を怠ると、Keep-Alive(デフォルトで有効)のためにTCPコネクションが再利用されない。…ということが ドキュメントに口を酸っぱくして書いてある。 同一ホストへのコネクション数はデフォルトで最大2に制限されている 同一ホストへのコネクション数はhttp.DefaultMaxIdleConnsPerHost定数によりデフォルトで2に制限されている。 // DefaultMa
Go の定数の話 - Qiita
はじめに 先月の GoCon 2014 Autumn のキーノートスピーチで Rob Pike 先生が、「Simplicity is Complicated」というタイトルで講演を行いました( @tenntenn さんによるレポート記事 )。 その中で、「Go の定数は、裏では非常に複雑なことをやっている」という話をされていました。そのときに触れられていた、The Go blog の "Constants" という記事を読んだので、それについてまとめます。 TL;DR Go では、異なる型を混ぜた式は禁止し明示的な変換を要求する しかし、定数を毎回変換するのは面倒なので、定数は型を持たないことが可能になっている これによって、Go の定数は、実際の数字のように扱うことができる 参考文献 参考というか、そのままなので、下記を読めば、本記事を読む必要はありません。また、本記事を読んで興味を持っ
jol(Java Object Layout)という、Javaのオブジェクトがどのようにメモリ上にレイアウトされるのか？というツールをsbtから便利に使えるようにする - xuwei-k's blog
最近公式にopenjdkの一部になったらしい？ので、まだあまり有名じゃないかもしれませんが、以下のような便利ツールがあるの知ってますか？ http://openjdk.java.net/projects/code-tools/jol/ もともと個人で以下のリポジトリで開発されてたらしいです https://github.com/shipilev/java-object-layout いくつか機能があるみたいですが、とりあえずorg.openjdk.jol.info.ClassLayoutというのが、なにか大量に同じクラスのインスタンスを生成する予定があって(たとえばActorとか？) 「それぞれのclassのインスタンスが、何バイト消費するんだろう？」 というのを正確に知って、全体のメモリ消費量の予測に役立てたりするのにとても便利っぽいです。*1試してないですが、原理的にJavaだろうがS
Web セキュリティに関するインターンで伝えようとしたこと - co3k.org
これは VOYAGE GROUP エンジニアブログ：Advent Calendar 2014 の 17 日目のエントリです。 VOYAGE GROUP では もの創り実践プログラム Treasure というエンジニア向けインターンシップを開催しています [1] [2] 。 Treasure 全体の様子は既に VOYAGE GROUP エンジニアブログにて 前編 と 後編 に分けて紹介されていますが、このエントリでは、前半パートにおいて僕が担当した Web セキュリティに関する講義についてお話ししていきます [3] 。 講義は休憩や実際に手を動かしてもらいつつで 3 時間半という長丁場でしたが、なぜか随所で笑いが巻き起こる状態で非常に評判がよく、同じ内容を 独立した 1 day インターンシップとして京都でも開催 させていただけました [4] 。これもひとえに必死に内容に食らいついてくれたイ
タブを閉じてもログアウトしても実行し続けるジョブにしておく - ザリガニが見ていた...。
前回までにバックグラウンドでジョブを複数管理できるようになった。ところで... ターミナルでタブを開く度に、あるいはsshでどこかの端末にログインする度に、 シェルが起動して、コマンドを入力・実行・出力する環境を整えてくれる。 そして、タブを閉じたり、ログアウトすると、シェルは終了する。 と同時に、通常はそのシェル上で実行されていたジョブも終了してしまう。 不要なバックグラウンドジョブを漏れなく終了できるので、多くの場合これで良いのだけど、 稀に、シェルが終了しても処理を続けて欲しい状況もある。 特にsshでログインして時間のかかる処理（ダウンロードとか）をしている時などは、 一旦ログアウトしたいんだけど、処理はそのまま続けて欲しいことが多い。 そんな時は、nohupコマンドを使うと幸せになれる。 環境 MacBook Pro Retina15 OSX 10.9.5 $ bash --ve
デザイナー必見 最新のデザインフリーフォントまとめ「20 New Free Fonts for December 2014」
デザイナーには欠かせない存在となっているフォント。フリーで配布されているものにも非常にハイセンスなものが多く存在しています。そんな中今回は、最新のデザインフリーフォントまとめ「20 New Free Fonts for December 2014」を紹介したいと思います。 Aisling Serif Free Font « Freebies PSD デザイン性の高いフリーフォントが20種、比較的新しく公開されたものを中心に紹介されています。 詳しくは以下 Hogshead Font on Behance 立体感のある、独特の個性を持つフォント。アンティークテイストなデザインにぴったり合いそうです。 Motorless – Free font on Behance アナログ感ただようフォントは、使い方次第でいろいろなグラフィック表現に利用できそうですね。 Nordica font シンプルな
商用利用無料！和の伝統的な柄や風物詩などがたくさん揃った完全オリジナルのベクター素材 -Japan Vector
菱・籠目・雪輪・矢絣・唐草・亀甲・紗綾形などの和柄をはじめ、季節の風物詩や伝統的なものなど、日本の伝統に基づいたさまざまな無料ベクター素材を紹介します。 Japan Vector 素敵な和柄のフリー素材を探している人は、下記ページのまとめも参考にどうぞ。 商用利用無料、日本の伝統的な色使いが美しい和柄のパターン素材やテクスチャ素材のまとめ 素敵なグラフィックが多いので、管理者様にメールで連絡を取ってみました。 作成しているのは日本人のユニットで、すべてオリジナルの作品、少しずつ素材を増やしています、とのことでした。 素材の利用にあたっては個人でも商用でも無料、クレジットの表記は特に必要ないが記載してもらえると嬉しい、とのことです。 ダウンロードできる素材のフォーマットは、4種類。 .ai .eps .pdf .jpg（プレビュー用） 以下、数多くある素材の中からいくつか紹介します。 菊や桜
Elasticsearch設定に関する小ネタ - Taste of Tech Topics
こんにちは、ツカノ(@snuffkin)です。 この記事はElasticsearch Advent Calendar 2014の21日目です。 20日目はjtodoさんの「Spark on elasticsearch-hadoop トライアル」でした。 さて、以前、「Elasticsearchソースコードリーディング～内部構造把握の第一歩～」と題してElasticsearchのスレッド構成といった内部構造の話を書きましたが、今回もまた、似たような話です。 今回はElasticsearchの設定ファイルについてです。 1.ノード名について Elasticsearchのデフォルトのログフォーマットでは、ノード名が出力されます。クラスタで運用することも考えると、ノード名って重要ですよね。ノード名の設定方法については、公式ページに記載があります。 ここで面白いのが、設定を省略した場合の動きです。M
生地の質感をデザインに表現できるファブリックブラシまとめ「200+ Fabric Brushes For Photoshop」
TOP > Photoshop > 生地の質感をデザインに表現できるファブリックブラシまとめ「200+ Fabric Brushes For Photoshop」 背景にひく素材の中でも、定番として幅広いデザインに活用できる布地。定番のタイプから、デザイン性のあるものまで、持っていると非常に便利なもの。そんな中今回は、生地の質感をデザインに表現できるファブリックブラシまとめ「200+ Fabric Brushes For Photoshop」を紹介したいと思います。 Vintage Fabric Brushes by SolStock on DeviantArt さまざまな表情を持つファブリックブラシが豊富にダウンロードできるようになっています。気に入ったものをピックアップしましたので、下記よりご覧ください。 詳しくは以下 Freebie Friday: 5 Simple Fabr
Go言語でローカルパッケージをインポート - Systemのブログ
基礎からわかるGo言語には載っていなかったようなのでメモ。 パッケージのimportに関してよく見かける説明では、importするパッケージはGOPATH以下に配置されている必要がありますが、わざわざGOPATHにパスを追加して管理するのも面倒に感じます。 そういう場合は普通に相対パスでimportすればOKです。 以下のようなファイルがあり、 main.go mystr/mystring.go以下のような内容であれば実行できます。 main.go package main import ( "./mystr" "fmt" ) func main() { var message mystr.MyString = "OKOK" fmt.Println(message) } mystr/mystring.go package mystr type MyString string ヘルプは以下の
Storing UUID Values in MySQL
Please note, a more up-to-date follow-up post is here: Storing UUID and Generated Columns A few years ago Peter Zaitsev, in a post titled ““There is timestamp based part in UUID which has similar properties to auto_increment and which could be used to have values generated at the same point in time physically local in BTREE index.” For this post, I’ve rearranged the timestamp part of UUID (Univers
メモリモデル？なにそれ？おいしいの？ - yohhoyの日記（別館）
この記事はC++ Advent Calendar 2014の21日目にエントリしています。 内容はC++メモリモデルと逐次一貫性についての概説記事となっています。 flickr / nomadic_lass もくじ 忙しい人のための「C++メモリモデル」 C++メモリモデル一問一答 ソフトウェアからみた「C++メモリモデル」 “メモリ”という共有リソース C++ソースコードが実行されるまで メモリの一貫性と整合性 逐次一貫性モデル is Easy ハードウェアからみた「C++メモリモデル」 ハードウェア・メモリ一貫性モデル C++コンパイラの責任と自由 強いメモリモデル vs. 弱いメモリモデル 逐次一貫性モデル is Hard （本文のみ約9600字） まえがき When your hammer is C++, everything begins to look like a thumb
Rails+Sidetiqでお手軽定時処理 on Heroku（無料！） - 株式会社CFlatの明後日スタイルのブログ
Railsで定時処理をやろうと思って色々トライしました。Sidekiq+Sidetiqを使ってHerokuの無料分で動作させることができたのでその手順を紹介します。 Railsでの非同期処理 古いものから新しいものまでいろいろ選択肢があります。 collectiveidea/delayed_job resque/resque mperham/sidekiq そしてRails4.2で実装される（された）ActiveJobというアダプタのような仕組みがあります。 以前開発したのアプリケーションではResqueを使っていたことと、3つのgemのなかではSidekiqが一番新しいということでSidekiqを使いました。 Sidekiqでの定時処理 本来Sidekiqは非同期処理のためのgemなので、Sidekiq単体では定期的に処理を実行するような仕組みはありません。X時間後に実行とかはありますが
Goの正規表現エンジンを使ってファジング用ツールを書いてみる - YAMAGUCHI::weblog
はじめに こんにちは、Go界のコリン・ファースです。この記事はGo Advent Calendar 2014の21日目の記事です。昨日初サバゲーしたら、左手の薬指の爪のどまんなか含め、ピンポイントに左手の薬指3箇所を撃たれて、めっちゃ痛いです。 ところで今年のGo Advent Calendarではすでに2本の記事が正規表現に関する記事が上がっています。 Go で Language Benchmark Game に挑戦して惨敗した - Qiita by @methane Go - Luceneで使われてるFSTを実装してみた（正規表現マッチ：VMアプローチへの招待） - Qiita by @ikawaha @methane さんの記事の中では「Goの正規表現エンジンが遅い」という話が出ていました。また @ikawaha さんの記事では丁寧にVirtual Machine Approachな
独自のrpmパッケージの作成 | saito's memo
ホームディレクトリにrpmbuildという名前のディレクトリと.rpmmacrosという名前のファイルが作成される。 .rpmmacrosの%_smp_mflagsは、rpmをビルドする際のmakeの並列数を指定するマクロであり、環境に応じて適宜編集する。 SPECファイルの作成 作成したいパッケージのspecファイルを $HOME/rpmbuild/SPECS ディレクトリに配置する。 作成したパッケージの旧バージョンなどが既に存在する場合は、ソースRPMをダウンロードして、それに含まれるspecファイルを編集するのが簡単だろう。 ソースRPMを提供するリポジトリはデフォルトでは登録されていないので、以下のような内容のファイルを/etc/yum.repos.d/CentOS-Source.repo というファイル名で保存する。 (CentOSのバージョンは適宜変更する) [base-so
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストアドベンチャーゲームのアーキテクチャと工程
The Beginner’s Guide to WordPress Taxonomies: A Custom Plugin | Envato Tuts+
新着記事
O/Rマッパーによるトラブルを未然に防ぐ