ハイパフォーマンスでスケーラブルなメッセージングシステム：Pulsarの紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! Inc.において開発され、これまでYahoo! Inc.のメール、ファイナンス、スポーツなど主要サービスにおいて、メッセージを高速かつ消失することなく配信するために利用されて来ました。 Pulsar開発者によって書かれた技術ブログ：Open-
Choose an open source license
An open source license protects contributors and users. Businesses and savvy developers won’t touch a project without this protection. { Which of the following best describes your situation? } I need to work in a community. Use the license preferred by the community you’re contributing to or depending on. Your project will fit right in. If you have a dependency that doesn’t have a license, ask its
Report and track bugs | Android Open Source Project
Report and track bugs Stay organized with collections Save and categorize content based on your preferences. You can help improve Android by reporting issues and requesting new features using the Google Issue Tracker. Google Issue Tracker is a tool used by Google to track AOSP issues and feature requests. The Issue Tracker is available outside of Google for use by external public and partner users
Open Compute Project
The Open Compute Project is a vibrant Community that spans the data center IT infrastructure worldwide. Though not a standards body, the OCP Community forges new technology norms, fostering an ecosystem where industry players collaborate in a safe framework, shaping a versatile and diverse supply chain. From startups to hyperscalers as well as research, academia and investors, the OCP Community is
Google App Engineを使ったMapReduce·Appengine Mapreduce MOONGIFT
Appengine MapreduceはGoogle App Engine用Python製のオープンソース・ソフトウェア。Googleの基礎技術の一つであるMapReduce。膨大な文字列やデータを細かく細分化し、無数のコンピュータ上で並列処理させることで高速なシステムを実現する仕組みだ。 実行画面 MapReduceはAmazon Webサービスにも真似されており（Amazon Elastic MapReduce）、有益さが分かっている。だが、どう使えば良いかが今ひとつ実感できないかも知れない。そこでMapReduceを手軽に試せるシステムとして開発されたのがAppengine Mapreduceだ。 Appengine MapreduceはGooglerが開発したソフトウェアで、Google App Engine上で動作する。テキストなどを分散化処理することができる。管理画面から処理を
Google App EngineをCDNに·CirruxCache MOONGIFT
CirruxCacheはPython製/Google App Engine用のオープンソース・ソフトウェア。Googleは世界中にサーバを持ち、アクセス元にとって最も高速に応答できるサーバを選択してデータを返している。それはGoogle App Engineであっても変わらない。 管理画面はない 高速にデータを返すということは、ごくごくシンプルなCDN（コンテンツ・デリバリー・ネットワーク）と言うことができるかも知れない。その可能性を考え開発されているのがCirruxCacheだ。 CirruxCacheはGoogle App Engine上に立て、静的なコンテンツ（画像など）をキャッシュさせることで次回からのアクセスを高速化するものだ。TTLの設定も行われる。滅多なことでは更新されないコンテンツ（画像など）に対して用いるのが良いだろう。 設定はコードで行う。 キャッシュ可能なIPアドレス
Elgg.org
Introducing a powerful open source social networking engine Providing you with the core components needed to build a socially aware web application Elgg is an award-winning open source social networking engine that provides a robust framework on which to build all kinds of social environments, from a campus wide social network for your university, school or college or an internal collaborative pla
FriendFeedで使われているリアルタイムウェブ用Webアプリケーションサーバ·Tornado MOONGIFT
TornadoはPython製のオープンソース・ソフトウェア。ここ半年くらいで盛り上がりを見せているワードが「リアルタイムウェブ」だ。Twitterのようなリアルタイム検索やFriendFeedのようなソーシャルアグリゲートサービスをはじめ、多数のサービスがこのリアルタイムウェブに向かって突き進んでいる。 サンプルアプリケーションのブログ そこで使われているWebサーバにはこれまでとは違うニーズが発生する。Tornadoはまさにリアルタイムウェブのために作られた、Webアプリケーションサーバだ。 TornadoはFriendFeedが自社のサービスを支えるために開発したWebアプリケーションサーバだ。ノンブロッキング通信をサポートし、epoll（I/Oイベント通知）を使って同時に1,000ものコネクションをさばくことができる。さらにロングポーリング（Long Polling）やHTTPスト
Flex + Railsによるタイムトラッキング·Pomodo on Rails MOONGIFT
Pomodo on RailsはRuby on Rails製のフリーウェア（ソースコードは公開されている）。FlashやFlexは技術的には興味深いのだが、どうも二の足を踏んでしまっている。ユーザインタフェースをFlashベースで提供できれば、きっとこれまで以上にリッチな機能を提供できるに違いない。 Rails + Flexの参考に Railsを使えばFlexとの連携もそれほど難しくはないのかも知れない。そう思わせてくれたのがPomodo on RailsというWebアプリケーションだ。ユーザ向けにはFlex、システムはRuby on Railsで構築されたタイムトラッキングアプリケーションだ。 Pomodo on Railsはプロジェクトやタスクを選択して時間を計測することでどれくらいのコスト、時間が費やされているかを知ることができるソフトウェアだ。Flexを使っているので画面がリッチで
Grand Central Dispatch
Grand Central Dispatch (GCD or libdispatch) provides comprehensive support for concurrent code execution on multicore hardware. libdispatch is currently available on all Darwin platforms. This project aims to make a modern version of libdispatch available on all other Swift platforms. To do this, we will implement as much of the portable subset of the API as possible, using the existing open sourc
高性能！StackOverflow.comクローン·CNProg MOONGIFT
MOONGIFTで紹介するためにいろいろなソフトウェアを触っていると、時に紹介したくなくなるくらい優秀なソフトウェアに出くわすことがある。これを使ったら、面白いことができるんじゃないかと思ったときなどだ。そんな予感を感じさせるのがこのソフトウェアだ。 StackOverflow.comのクローン だが紹介しよう。そして可能性について考えてみてほしい。技術者の間で流行っているStackOverflow.comが自分でも構築できてしまうのだ。 今回紹介するオープンソース・ソフトウェアはCNProg、中国製のStackOverflow.comクローンだ。 CNProgはDjangoで開発されたソフトウェアだ。基本的にはQ&Aサイトになる。そこにコミュニティ的な要素を盛り込んだのがStackOverflow.comであり、それを模したのがCNProgになる。質問の一覧、タグを付けた管理、コメント、
Ruby on Rails製の家庭用家計簿·小槌 MOONGIFT
Webベースで家計簿をつけると、帰宅した時にわざわざパソコンを立ち上げることなくスマートフォンから更新できるから楽かも知れない。また、外部サービスとの連携も容易と思われるので、地図やカレンダーと連動する面白さもありそうだ。 Webベースの家計簿ソフトウェア とは言え逆に言えば家族に自分の秘密の家計簿を見られる可能性もある（パスワードを付けておけば大丈夫だろうが）。そんなことを考えてしまったのは小槌がオープンソース化されたからだ。 今回紹介するオープンソース・ソフトウェアは小槌、Ruby on Rails製の家計簿ソフトウェアだ。 小槌は2006年に行われたDrecom Award on Railsにおいて大賞を受賞した作品だ。そしてついにオープンソース化し、Githubで公開された。既に多様な改良が加えられており、とても多機能で優れた家計簿ソフトウェアになっている。 受け皿設定 基本的な金
たった1ファイルの短縮URLシステム·turl MOONGIFT
短縮URLサービスは既に多数のプレーヤが存在する混乱状態に陥っている。最近ではWordPressもwp.meというドメインで短縮URLサービスを開始した。これによりソーシャル系サービスでのブランディングやサービス停止時のリスクが防げるようになる。 Webインタフェースも提供されている 自社のWebサービスをソーシャルの中で広げたいなら短縮URLサービスを独自で構築するのがメリットがあるだろう。それに使えそうなのがturlだ。 今回紹介するフリーウェアはturl、1ファイルで提供される短縮URLサービスだ。ソースコードは公開されているがライセンスは明記されていなかったのでご注意いただきたい。 turlはRamazeというフレームワークを使い、たった一つのファイルだけで短縮URLサービスを提供している。データベースはデフォルトではSQLiteになっている。Web画面を使ってURLを指定して生成
高密度小池 ／ CentOS プロジェクトが瓦解
CentOS プロジェクトが瓦解 CentOS http://centos.org/ Redhat Linux 互換ディストリビューションの事実上の標準である CentOS の開発プロジェクトが事実上瓦解したようです。 July 30, 2009 04:39 UTC This is an Open Letter to Lance Davis from fellow CentOS Developers It is regrettable that we are forced to send this letter but we are left with no other options. For some time now we have been attempting to resolve these problems: You seem to have crawled i
クローラーを作るためのフレームワーク·Anemone MOONGIFT
RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの
Django製のWebメーラー·Django Webmail MOONGIFT
最近はローカルのメーラーではなく、GmailをはじめとしたWebメーラーを利用するケースが増えているようだ。企業内であっても情報保護のために個人のPCには保存せず、Webブラウザを利用するようにしている所も増えている。 管理画面でIMAPサーバの設定などを行う ネットブックやiPhoneなど、保存容量の少ないコンピュータでも手軽に使えるブラウザベースのメーラーは便利だ。自分でも立ててみたいならDjango Webmailを使ってみてはいかだろう。 今回紹介するオープンソース・ソフトウェアはDjango Webmail、Django製のIMAP対応のWebメーラーだ。 Django WebmailはDjangoの管理画面を使ってユーザとIMAPサーバとの紐付けを行う。そしてユーザがログインしたら予め登録してある情報を使ってIMAPに接続し、メールを閲覧できるようになっている。…はずなのだが筆
GitをベースにしたWikiエンジン·Gitki MOONGIFT
Wikiエンジンは皆で編集するには便利だが、場合によっては個人のメモとして利用することもある。そのような場合にちょっと不便なのがブラウザ上で書かなければならないということだ。長文になるとテキストエリアの文字をコピーしてローカルで直してから貼付ける、なんて操作をする人もいるだろう。 Gitをデータストアに利用したWikiエンジン そのような苦労をされている方はGitkiを使ってみてはどうだろう。個人から複数人まで皆で使えそうだ。 今回紹介するオープンソース・ソフトウェアはGitki、GitをベースにしたWikiエンジンだ。 GitkiはGitとそのWebフロントエンドになるGitkiからなるWikiエンジンだ。リポジトリ内のファイルを直接みてブラウザ上に表示する。ブラウザ上での編集機能はなく、Gitリポジトリをクローンして編集し、終わったらPushすることで内容が変わるという仕組みになってい
かなり使いやすいGoogle App Engine製ブログエンジン·cpedialog MOONGIFT
個人的にGoogle App Engine（GAE）の上で動くブログエンジンというのは高いポテンシャルを秘めていると思う。何せ独自ドメインまで使えるブログエンジンが無料で手に入るようなものなのだ。ASPで動かすよりもよっぽども高速、安全、安易な運用が可能だ。 編集画面 そのためには高機能なブログエンジンの登場が待たれる。候補としてcpedialogは有力ではないだろうか。 今回紹介するオープンソース・ソフトウェアはcpedialog、GAE上で動作するブログエンジンだ。 cpedialogはブログのエントリー投稿はもちろん、ページ管理機能も備えている。YUIのWYSIWYGエディタを用いており、画像のアップロードにも対応している。さらにシステム設定やメニュー管理、Picasaにアップロードした写真も管理できる。 閲覧画面 フィードの管理、キャッシュ管理など多彩な機能に溢れている。ユーザ管理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
skipfish web application security scanner
オープンソースソフトウェアの育て方