GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflowsYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Twitterのsnowflakeについて
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
Scalaを用いて分散IDワーカを実装する | チャットワーククリエーターズブログ
お久しぶりです。かとじゅん(@j5ik2o)です。さて、僕は、ChatWorkに入社しても、相変わらず Scala や DDD を実践しているわけですが、今回は少し毛色が違う話をしたいと思います。先日、ChatWork Advent Calendar 2014 15日目の記事で、安達くんが、ID生成器の話を書いてくれたので、せっかくなので、ChatWork Advent Calendar 2014 23日目の記事として、Scala版も説明してみようかと思います。 PHPでID生成器を実装してみました | チャットワーククリエーターズブログ DBのシーケンスによるID生成ウェブサービスでは、時系列データを扱うことはよくありますが、タイムスタンプベースでユニークなIDを利用したいことがあります。方法論はいくつかありますが、お手軽なID生成といえば、DBのシーケンスを使ったものです。しかしながら
軽量なTime-based ID生成器”shakeflake(仮称)”について - SmartNews Engineering Blog
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々配
シーケンスの代わりにuuidをIDとして使う
stop using numbers as IDs. just use UUIDs. seriously — Postgres: The Bits You Haven’t Found by pvh UUID の違い v1 Generate a UUID from a host ID, sequence number, and the current time. v3 Generate a UUID from the MD5 hash of a namespace UUID and a name. v4 Generate a random UUID v5 Generate a UUID from the SHA-1 hash of a namespace UUID and a name. この内、ID として利用できるのは v1 と v4 の2つ。v1 は最後 48 ビットがハード固有のノー
CELERY - BEST PRACTICES - Deni Bertovic
If you've worked with Django at some point you probably had the need for some background processing of long running tasks. Chances are you've used some sort of task queue, and Celery is currently the most popular project for this sort of thing in the Python (and Django) world (but there are others). While working on some projects that used Celery for a task queue I've gathered a number of best pra
django-celeryを使わずにDjangoとCeleryを組み合わせて使う - 偏った言語信者の垂れ流し
DjangoとCeleryを組み合わせて使う際に、django-celeryのモデルのテーブルを作りたくなかったり、各種機能が不要でシンプルに動かしたかった。 Celery - Distributed Task Queue — Celery 5.3.0b2 documentation Celeryやdjango-celeryはドキュメントが少し足りなくて、設定方法がわかりにくかったのでメモを残しておく。 自分の都合の良いように設定してるので、よくわからない人はdjango-celeryを使ったほうがいいと思う。 試したバージョンは、Python3.4, Django1.8, Celery3.1。 Celeryのアプリケーションを返す関数の用意 まず、Celeryのインスタンスを返す関数を用意する。これはCelery起動用に使うのと、Django側のセットアップに使う。 Djangoのプロジ
社畜プログラマの腰痛め日記
数日前に腰を痛めた。椎間板ヘルニアだった。 椎間板ヘルニア - Wikipedia 医師のコメントやアドバイスなど非常に参考になるものが多かったので書き留めておきたい。実名を明かしているブログに書いても良かったが、将来思わぬところで問題になる危険性も少しあるため、増田に書く。リアルの知り合いが読んだら身バレすると考えられるが、そこは気にしない。 やや長文になるが、同業の方々にとって良い情報源となれば幸いである。 長文を読むのが面倒だと言う方は、最後の方にある「医師からのコメントとアドバイス」の項だけ見て頂ければ十分かと思われる。その項までの文章は、発症から診察に至るまでの時系列の振り返りである。 著者のスペック身長 ： 約180cm体重 ： 90kg台 年齢 ： 四捨五入して30趣味 ： Ingressでの多重CF作成（1層あたり1kMUから3kMU程度の規模＠某地方都市）。Ingress
さらば腰痛！山善が人工筋肉を内蔵した腰痛対策スーツとサポーターの取り扱いを開始 - 週刊アスキー
山善は、人工筋肉による補助で腰の負担を軽減するイノフィスの『マッスルスーツ』と、深く前屈した際のみ腰の負担を軽減するモリタ宮田工業のサポートウェア『rakunie（ラクニエ）』の取り扱いを開始した。同社は6月10～11日に東京流通センターで開催される『アジア・シームレス物流フォーラム2015』に2製品を新規商材として出展する。 独立行政法人 労働者健康福祉機構によると、職場における腰痛は全国で業務上疾病の約55％を占めており、その予防対策は向上や物流、介護などの現場において早急に解決すべき課題となっている。 『マッスルスーツ』はナイロンメッシュとゴムチューブによる人工筋肉に圧縮空気を送り込むことで、最大150キロの引張力を発生。人や荷物などを中腰で持ち上げる際の腰の負担を約1/3に軽減できる。 『rakunie（ラクニエ）』は日常動作のジャマをせず、深く前屈したときだけ腰をサポート。前屈に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
