タグ

TwitterとDBに関するraimon49のブックマーク (9)

  • なぜ我々は筑波大を便利にすることができなかったのか? - いなにわうどん

    早いもので筑波に来て 3 度目の春を迎えます。2 年前の春を憶えていますか。 筑波大学を便利にするサークルが爆誕 元々は大学の KdB と呼ばれる開設科目データベースがダウンし、その代替サイト「KdB もどき」を作成したことに端を発します*1。懐かしいですね。 ミラーを立ち上げただけと言えばそうなのですが、新入生が大学をディスりながらシステム開発!みたいな構図が予想以上にウケたっぽく、Twitter がバズったりメディアに取り上げられたりしている間にサークルを新設する流れになりました*2。 togetter.com 筑波大には学生が開発した数多のサービスやアプリケーションが存在しますが、その多くは個人レベルで開発が行われているため、開発者が大学を離籍するとシステムが保守されなくなる傾向にあります*3。そこで、筑波大学の学生生活を便利にする各種サービスを総括的に管理・保守することで持続可能な

    なぜ我々は筑波大を便利にすることができなかったのか? - いなにわうどん
    raimon49
    raimon49 2023/03/20
    いつの間にかフェードアウトして音沙汰なくなる有志活動って多々あるけど、その裏側を振り返ってこれだけ言語化できてるのは凄い。
  • Twitterから流出したとみられる約2億件のデータについてまとめてみた - piyolog

    2023年1月5日以降、2億件を超えるTwitterアカウントのデータを公開したと主張する投稿がハッカーフォーラムで行われていたことを複数の報道機関が報じました。*1ここでは関連する情報をまとめます。 自分が影響を受けたのかを確認するには 約2億件のデータに自分のメールアドレスが含まれているか(影響対象か)はHave I been pwnedを使って確認することが可能。 メールアドレス入力後に「pwned?」をクリックし、「Twitter (200M)」と表示された場合は、今回のデータに含まれている。(それ以外のリークに含まれていた場合は別のリーク情報も表示される。) メールアドレスがリークデータに含まれていた場合にTwitter (200M)が表示。 Twitter APIの脆弱性より流出したデータと主張 Twitter APIに第三者が他人のアカウント情報を取得できる脆弱性が2021年

    Twitterから流出したとみられる約2億件のデータについてまとめてみた - piyolog
  • ポケモンを「誰がデザインしたか」を記録するデータベースに注目集まる。ポケモンの増加と時代の波 - AUTOMATON

    『ポケットモンスター』シリーズには、多数のポケモンが存在する。いまや800匹以上存在しており、新作 『ポケットモンスター スカーレット・バイオレット』でも新ポケモンが登場することが明かされており、1000匹の大台も視野に入ってきている。そんな中、それぞれのポケモンをデザインした人物を、整理しようとするユーザーが現れ、注目を集めている。 きっかけとなったのは、ResetEraのスレッドだ。同スレッドを立てたユーザーは、『ポケットモンスター 赤・緑』のデザインおよびそれらを手がけた杉森健氏が称賛される傾向にあるとコメント。同作でポケモンを手がけたのは杉森氏だけではないとし、データベースサイトBulbagardenのとあるページを引用。ここから「誰がどのデザインを手がけたか」という話題が盛り上がっているようだ。 とはいえ、このページのデザイナーリストは、まだまだ情報が集まっていない。それもそのは

    ポケモンを「誰がデザインしたか」を記録するデータベースに注目集まる。ポケモンの増加と時代の波 - AUTOMATON
  • 持続的なプラットフォームのための難しい決断

    先日フォーラムでお知らせいたしましたが、今まで提供してきたツイートボタンとフォローボタンのデザインを一新すると同時に、今後はツイートボタンにツイート数を表示しなくなります。変更は2015年11月20日までに完了する予定です。Twitterでは、開発上のトレードオフが生じることが度々あります。今回の変更もそのような事情によるもので、ここではその背景を説明いたします。 Twitterの目標の一つは、皆様のウェブサイト、アプリケーション、ビジネスにとって、信頼のおけるプラットフォームを作ることです。また、このプラットフォームがTwitterエンジニアリングチームに確実にサポートされていることも重要です。その結果、APIを廃止することによって生じる問題を抑えるために、永続的なデザインを選択することにしました。多くの皆様と同様にTwitterの開発リソースにも限りがあり、どのプロダクトやパブリックA

    持続的なプラットフォームのための難しい決断
    raimon49
    raimon49 2015/10/07
    カウントAPIが提供できていたのはCassandra採用してたからだった。自社開発したDBプロダクトに乗り換えて提供不可に。
  • 処理開始後の例外処理では「サニタイズ」が有効な場合もある

    このエントリでは、脆弱性対処における例外処理について、奥一穂氏(@kazuho)との会話から私が学んだことを共有いたします。セキュアプログラミングの心得として、異常が起これば直ちにプログラムを終了することが推奨される場合がありますが、必ずしもそうではないというのが結論です。 はじめに Webアプリケーションの脆弱性対策では、脆弱性が発生するのはデータを使うところであるので、データを使う際の適切なエスケープ処理などで対処するのがよいと言われます。しかし、処理内容によってはエスケープができない場合もあり、その場合の対処についてはまだ定説がないと考えます。 エスケープができない場合の例としては、以下があります。 SQLの数値リテラルを構成する際に、入力に数値以外の文字が入っていた メール送信しようとしたが、メールアドレスに改行文字が入っていた 入力されたURLにリダイレクトしようとしたところ、U

    raimon49
    raimon49 2012/04/03
    フェールセーフとして敢えてバリデーションでなくサニタイズを選ぶ場面について。臭い物への蓋だが蓋の大きさをきちんと考える。文脈としては出力時エスケープに「サニタイズ:受け付けられない文字を削除するか、他
  • twitter apiが落ちる理由

    正確にはtwitter apiが落ちているかはわからない。 twitterのツイートを送るという行為は、おそらく以下のような処理で作られていると思う。 1.ツイートを受信する 2.ツイートを見ることができる人のデータベースに、もれなくツイートが配信される。 (今ツイッターにアクセスしている人のメールボックスに即時、配信されるイメージ) ただし、このツイートを見る事ができる人というのは、 ・この人をフォローしている人 はもちろんなんですが、それ以外、ややこしい処理がありまして、 ・ツイートが「会話(リプライ)」だった場合は、会話の相手もフォローしている人だけに配信される。(つまり、片方しかフォローしていない人には配信されない) ・ツイートの中に「@○○」が書いてあったらフォローに関係なく、相手のmentionボックスに配信される。 ・その他 などの、RDBSQL文一発では効率的に書けない配

  • Twitterにおける大規模システム構築、3つの原則

    4月に米サンタクララで行われたMySQL Confernce & Expo 211では、TwitterのJeremy Cole氏が「Big and Small Data at @Twitter」と題して、同社のシステムにおける原則とシステム構成について紹介したプレゼンテーションが行われました。 1日に1億5000万以上のツイートが行われているTwitterのシステムはどのように構築されているのか、その内容を紹介しましょう。 Twitterにおける原則 TwitterのJeremy Cole氏。

    Twitterにおける大規模システム構築、3つの原則
    raimon49
    raimon49 2011/05/25
    バックエンド 適材適所
  • なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − @IT

    ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1~5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture

    raimon49
    raimon49 2010/04/20
    ツイートは時系列でパーティショニング, タイムラインへは非同期で配送。
  • Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア

    Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard:フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard

    Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア
  • 1