clavierのブックマーク - はてなブックマーク

DjangoとCeleryでクローラを書きながら考えた由無し事 - Qiita

業務でもクローラを見ることが多いのですが、今回は新しくクローラ作るならとりあえずDjango+Celery使うだろうなぁということで、個人でサンプル書いて見つつ思ったところをつらつらと書いてみようと思います。クローラの基本的な処理段階クローラといっても人によって微妙に定義が違う状態で会話する事が多いのでとりあえず今回の対象は、一定の条件に従ってWebページのリンクを収集する各リンク内のページ内容をスクレイピングするスクレイピングした後の処理については、今回は対象外とするという前提でお話します。今回のサンプルの構成 y-matsuwitter/django_sample_crawler 今回サンプル書く上での構成ですが、 Python 3.4.3 Django 1.9 Celery 3.1.19 lxml 3.5.0 requests 2.8.1 を利用し、下記を実施するものを

clavier 2015/12/07

リンク

ISUCON5本戦にてスコアトップの18万点でfailしました - Qiita

チーム.datとして、インフラ担当の@kannyと実装およびファシリテーション担当の@TakatoshiMaedaの若手連合で参加しました。負けた内容が内容なので悔しくて悔しくて悔しいです。優勝スコアが15万だったので本当に悔しいです。スコアはダントツ一位やったんや…スコアは… #isucon pic.twitter.com/3dKxOYA7vq — 松本勇気 (@y_matsuwitter) October 31, 2015 当日やったことを淡々と書いてみます。今回の本戦については特段変わったことをしていないつもりですし、各チームがやっていて.datがやっていない施策も結構あった気がしています。 ISUCON5本戦課題について時代はMicroserviceということで、雑に作られた複数のMicroserviceと連携するダッシュボードを最適化するという課題でした。およそ下記の

clavier 2015/11/02

あとで読む

リンク

ReactNativeでサクッとReactjs記事リーダーを作ってみる - Qiita

ReactNativeとは ReactNative http://facebook.github.io/react-native/ ReactNativeとはReactjsベースでネイティブアプリを構築できるSDKで、Facebookが先日リリースしました。ちなみにFacebook GroupのアプリがReactNative製なんだそうな。現在はiOSのみの対応となっていますが、将来的にはその他プラットフォームにも対応していくものと思われます。内部ではReactjsの描画結果をUIKitの各要素に変換して描画しているようです。触ってみたいという方は、3分くらいで準備できますのでやってみましょう。 http://facebook.github.io/react-native/docs/getting-started.html#content 作ったものとりあえずどういった作法で書いて

clavier 2015/03/28

リンク

CoreOS + fleet でhubotを立ち上げてみた話 - Qiita

概要 CoreOS上にfleetのunitとしてhubotを立ち上げてみた複数ホスト間でのLINKとかなければfleetは単純なツールなので使いやすかったという話前提 Vagrantとvagrant-digitaloceanがインストール済み手元にDocker開発環境が整備済みやったこと 1. CoreOSを立ち上げる今回はvagrant経由でdigitalocean上にCoreOSのdropletsを立ち上げます。 Vagrantfileは下記のようになってます。適宜、pathやファイル名など書き換えて使って下さい。 Vagrant.configure('2') do |config| config.ssh.username = 'core' config.vm.define "core-hubot" do |config| config.vm.provider :digit

clavier 2015/01/14

CoreOS
hubot

リンク

[公開版]社内バッチ処理ガイドライン - Qiita

このガイドラインについてこちらのガイドラインは社内のバッチ処理スクリプト開発にあたっての、安定運用等に関わるガイドラインを公開用に書きなおしたものになります。バッチサーバ規則基礎項目以下の要項を満たすことを確認するその他の用途で動作しているサーバ上での動作は行っていないこと運用期間中に想定しうるデータ量にてOOMキラーに殺されないこと想定の時間で終了することデータの読み込みは極力Read Replicaを見ていることデータの書き込みによる本番サーバへの影響が見積もれていること冪等性が担保されており、何度実行しても処理上の不具合は発生しないこと多重実行時に不整合が発生しないことエラー時の社内への通知が用意されていることエラー時の通知には再処理のための手順が揃っていること、もしくはそのドキュメントの場所が示されていること個人ユーザー下にログや成果物を絶対に書き込んで

clavier 2014/12/08

リンク

#isucon 2014予選二日目を二位で通過した話 - Qiita

チーム.datの@y_matsuwitterです。普段はグノシーでiOSエンジニアだったりGo エンジニアだったりインフラエンジニアやってます。今回全員初めて出場のisuconでは、風邪でふらふらしながら、主にGoの実装周りを担当しました。ちなみに他のメンバーもec2リブート祭り+shellshockでふらふらしてました。とりあえず異常がなければ予選二日目を三位で通過しているはずなのですが、受験終了直後の高校生ばりに不安です。 => 二位に繰り上がって通過しました当日までの準備やインフラでやったことの話については他のメンバーがまとめてくれるかと思うので、僕はGoで当日やったことをゆるくまとめていきます。当日の流れ 10:00~12:00 とりあえず競技開始後はインフラセットアップを他のメンバーに任せて僕はひたすらコード読んでました。 10分くらいでデータのライフサイクル的なものを

clavier 2014/09/30

isucon

リンク

ビルドからTestflight配信までやるコマンド作った - Qiita

毎度のことなんだけども、testflightに配信しようとすると Xcodeでアーカイブして Organizerからipaファイル吐かせて testflightにアップしてリリースノート書いていつものメンバーに配信するみたいなフローが必要だったので、面倒になってスクリプトにまとめてしまった。やってること流れとしては、アーカイブする ipaファイル作るリリースノート書く testflightのUpload APIに配信すると言った感じ。ちなみに大抵Cocoapods使ってるのでxcworkspaceのある環境が対象です。そうでない人は適当にxcodebuild部分だけ書き換えてください。 #!/bin/sh # applicationの名前 APP="hoge" # SDK SDK="iphoneos7.0" # ビルド時の設定 CONFIGURATION="Release

clavier 2013/10/07

リンク

iOSで高速フーリエ変換を使う - Qiita

画像処理や音声処理でお世話になるFFT（高速フーリエ変換）ですが、iOSの場合、AppleよりFFTを計算するライブラリが用意されています。その使い方について。準備プロジェクトにAccelerate.frameworkを追加してください。そして、FFTを用いたいソースコードに以下を追記してください。例： // data: 入力 // length: 入力のうち利用する要素数 - (void)calcFFT:(float*)data dataLength:(int)length { // データ長を2のn乗の大きさにする unsigned int sizeLog2 = (int)(log(length)/log(2)); unsigned int size = 1 << sizeLog2; // fftのセットアップ FFTSetup fftSetUp = vDSP_create_

clavier 2012/12/27

リンク

はてなブックマーク

タグ

ブックマーク / qiita.com/y_matsuwitter (8)

お知らせ

今週のはてなブックマーク数ランキング（2024年10月第4週）

今週のはてなブックマーク数ランキング（2024年10月第3週）

今週のはてなブックマーク数ランキング（2024年10月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス