軽量なTime-based ID生成器”shakeflake(仮称)”について | SmartNews開発者ブログ
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
The Airbnb Tech Blog
A deeper look into how our Engineers and Data Scientists build a world of belonging
Everything I Ever Learned About JVM Performance Tuning @Twitter
Everything I Ever Learned About JVM Performance Tuning @TwitterAI-enhanced description The document outlines JVM performance tuning strategies, with a focus on reducing latency caused primarily by garbage collection. It covers various areas of optimization including memory footprint, lock contention, CPU usage, and I/O tuning, while highlighting the drawbacks of heavy frameworks like Thrift. Key s
Twitter、ロードジェネレータツール「Iago」をオープン化
Twitterは25日(米国時間)、開発していたロードジェネレータツール「Iago」をオープンソースとして公開した。TwitterのオープンソースマネージャであるChris Aniszczyk氏によると、既存のオープンソースまたは商用レベルのロードジェネレータは数多くあるが、Twitterが提供しているサービスにおいて充分な負荷テストを可能とするために新たにIagoを開発したとしている。 開発されたIagoは高パフォーマンス、マルチプロトコル、拡張性といった特徴を持っているロードジェネレータ。Scalaで開発されており、Java仮想マシンプラットフォームで誰でもソースコードを記述して機能を拡張できるよう設計されている。Iagoは提供されているサービスがプロダクトレベルのトラフィックを処理できるのか確認するため、Twitterで実際に使用されているという。 オープンソース化されたlagoは現
まずはGAE/J＋slim3でOpenID、そしてOpenID認証とTwitter認証両方に対応してみる - 何度やっても同じ
管理画面で設定 まずは管理画面の「Application Settings」で「Authentication Options」を変更する。初期状態で「Google Accounts API」となっているのを「Federated Login」に変更して、保存。 ログインが必要なページのURLをweb.xmlに記述 この設定変更を行った上で、web.xml に次のように記述してページを保護すると、未ログイン状態で保護されたページにアクセスしたときに、Googleのログイン画面ではなく、/_ah/login_required というURLに自動的にリダイレクトされるようになる。ただし、開発サーバではリダイレクト先は /_ah/login となり、おなじみのやる気のないログイン画面が表示されるので、開発サーバでOpenIDを使った認証のテストはできそうにない。URL直打ちで /_ah/login_
twitterでも利用されているメッセージキュー Kestrelを試す - ( ꒪⌓꒪) ゆるよろ日記
ついったーさんやってますか? ついったーさんのバックエンドは、実はscalaで書かれているってご存じですか? 急成長するついったーさんのバックエンドを支えるなんてすごいですねscala! ついったーさんとscalaのお話は、こちらを参考に。 Twitter on Scala で、Kestrelというメッセージキューが、ついったーさんのバックエンドの一部で利用*1されています。 robey/kestrel · GitHub このKestrelはオープンソースで誰でも利用することができます。 ちょっと試してみましょう。 Kestrelの特徴 READMEに書いてあるものをものっそいてきとうに意訳します。 Kestrel is: fast It runs on the JVM so it can take advantage of the hard work people have put in
Home (サイトを移転しました。)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - twitter-archive/jvmgcprof: A simple utility for profile allocation and garbage collection activity in the JVM