スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
JRuby 1.5.0登場、JRuby史上もっともビッグリリース | エンタープライズ | マイコミジャーナル
JRuby - Java powered Ruby implementation JRubyコミュニティは12日(米国時間)、JRubyの最新版となるJRuby 1.5.0を公開した。JRubyはJavaで開発されたRuby実行環境。インタプリタとしてもコンパイラとしても動作し、Google App EngineやAndroidでも動作する。1.5.0はこれまでのリリースと比較して長い時間をかけて開発されたバージョンで改善内容や修正内容は多岐に渡る。 JRuby 1.5.0における主な機能は次のとおり。 より優れたパフォーマンスとFFIサポート実現のために設計された新しいネイティブアクセスフレームワークの導入 UNIX系プラットフォーム向けのネイティブランチャ Rake-Antインテグレーションの実現 WindowsサポートおよびWindowsインストーラの改善 RubyからJavaをコー
Rubyによるスマートフォンアプリ開発を可能にする開発フレームワーク「Rhodes 2.0」 | OSDN Magazine
米Rhomobileは5月4日（米国時間）、クロスプラットフォームのモバイルアプリ開発フレームワークの最新版「Rhodes 2.0」を発表した。HTMLおよびRubyを利用してアプリケーションを開発できるMVCフレームワークで、AndroidやiPhone、Windows Mobileなどさまざまなモバイル向けプラットフォームに対応する。 RhodesはRubyおよびHTMLなどのWeb開発スキルを利用して、複数のモバイルプラットフォーム向けにアプリケーションを開発できるMVCフレームワーク。AndroidやSymbian、iPhone/iPad、BlackBerry、Windows Mobileなど主要スマートフォンプラットフォームに対応、ネイティブに動くアプリケーションを構築できる。 最新版ではメタデータフレームワークが加わり、バックエンドの業務システムとの連携が容易になった。このほか
楽天、Rubyベースの分散KVS「ROMA」のソースを公開 | gihyo.jp
10月24日、楽天株式会社本社にて開催された楽天テクノロジーカンファレンス2009内にて、楽天が独自開発するRubyベースの分散Key Value Store「ROMA」の公開が発表された。 ROMAは、github上にてGPLv3のもとオープンソースにて公開されている。 ROMAはすでに楽天のサービス「楽天トラベル」の一部機能にて利用されており、今後はROMA自体のブラッシュアップなどを目的に、オープンソースとして公開された。 ROMAについて発表を行った楽天技術研究所シニアサイエンティスト西澤無我氏。同氏のプレゼンテーションは立ち見が出るほど満席だった。また、途中楽天技術研究所フェローまつもとゆきひろ氏が登場するなど、会場が盛り上がった。 ROMA URL：http://github.com/roma/roma/
Android上でスクリプティング環境を実現する「ASE」 － ＠IT
2009/06/09 グーグルは6月8日、モバイル向けプラットフォームのAndroid上でPythonやLuaを使ったスクリプティング環境を提供するオープンソースのプロジェクト「Android Scripting Environment」（ASE）の存在を明らかにした。端末の画面側を下にして置いた場合に呼び出し音を抑制する、といった簡単なアプリケーションを20行ほどのスクリプトで実現できるという。スクリプトはPC上の開発環境ではなく、デバイス上で直接入力して実行することができる。Pythonでは、インタラクティブな実行モードもサポートする。 これまでにもAndroid上でPythonやRubyといった処理系を動かす実験的な取り組みはあったが、ASEはAndroid上の標準的なパッケージとして提供する点が異なる。BeanShellはDalvik VM上で直接動くため、Javaでアプリケーショ
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
Что такое SEO продвижение сайта
Гриша планирует приобрести мультиварку в интернет-магазине. Поэтому он заходит в один из поисковиков и вводит запрос. Сначала он увидит контекстную рекламу, а ниже – органическую выдачу: Гриша определился с конкретной моделью мультиварки и теперь подбирает оптимальные условия покупки: Задача SEO продвижения – чтобы продвигаемый сайт находился как можно выше в поисковой выдаче по необходимым поиско
Ruby on RailsのLinuxへのインストール法 | OSDN Magazine
Ruby on Rails（RoR）は、データベース駆動型のWebアプリケーション開発に適した操作性の高いWebフレームワークであるとして、最近その評価を高めつつある。こうしたRuby on Rails関連の既存ドキュメントは、その大半がMacintoshに関するものであり、残り少数についてもWindowsを対象としているものばかりといった感がするものの、実のところRoRはLinuxでも問題なく動作させることができるのだ。そこで本稿では、LinuxマシンへのRoRのインストール手順を主軸に据えつつ、その後の開発活動の参考となる資料についても簡単に解説することにする。 RoRに対する認識が一気に高まったのは、プログラミング言語としてのRubyの人気の上昇および、Web 2.0機能を有すデータベース駆動型Webサイトに対する需要の増加という、2つの要素が合わさった結果と見ていいだろう。Ruby
楽天版MapReduce・HadoopはRubyを活用 － ＠IT
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」（ローマ）と「fairy」（フェアリー）について、その概要を明らかにした。 レコメンデーションの処理自体はシンプル 楽天市場では現在、2600万点の商品を取り扱い、4200万人の会員に対してサービスを提供している。この規模の会員数・商品点数でレコメンデーション（商品の推薦）を行うのは容易ではない。 ※記事初出時に楽天市場の会員数を4800万人としてありましたが、これは楽天グループのサービス利用者全体の数字でした。楽天市場の会員数は正しくは4200万人とのことです。お詫びして訂正いたします。 レコメンデーションの仕組みとして同社は、一般的でシンプルなア
ニフティ、＠niftyサービス用に開発した「Ruby on Railsプラグイン」をオープンソース公開
ニフティは9月10日、インターネットサービス開発者向け情報提供サービス「＠niftyウェブサービス」で、＠niftyのポータルおよびCGMサービス用に開発した「Ruby on Railsプラグイン」の一部をオープンソースソフトウェアとして公開した。 Ruby on Railsプラグインは、Ruby on Railsで構築したアプリケーションに独自機能を追加するもので、ニフティでは、プログラミング言語「Ruby」の開発者まつもとゆきひろ氏が在籍するネットワーク応用通信研究所と共同で仕様を検討し、開発を行っている。 今回、データベースのテーブルの管理機能を提供する「ActiveRecordBrowser」、静的コンテンツをアプリケーション経由で公開する「FilePublisher」、データベースのスキーマの変更なしにモデルにフィールドを追加する「Acts AS Struct」の3つのRuby
Rubyで作った国産タスク共有システム「9arrows」 － ＠IT
2008/09/09 9Arrowsは9月9日、Rubyで作成されたタスク共有システム「9arrows」をオープンソースソフトウェアとして公開した。公式サイトから無償でダウンロードできる。同時にASP版9arrowsも提供される。 9arrowsは、プロジェクトを作業単位に分割して、担当者の割り振りやスケジュール、進捗状況の管理を行うWBS（Work Breakdown Structure：作業分解図）ツール。従来のグループウェアでは対応が困難だった作業管理を行い、予定や進捗状況を共有することで、プロジェクトを効率的に進めることができる。 「Ruby on Rails」やJavaScriptのフレームワーク「ExtJS」のほか、Flex、AIRといった技術を用いて開発されている。Ruby on Rails 2.0以上が動作する環境で利用可能だ。ほかにPostgreSQL 8.2以上、Ado
1,600超えるパッチ集大成、Ruby on Rails 2.1登場 | エンタープライズ | マイコミジャーナル
1日(米国時間)、Railsの主要開発者であるDavid Heinemeier Hansson氏はRuby on Railsの最新版となるRuby on Rails 2.1を発表した。Ruby on RailsはRubyで開発されたフルスタックWebアプリケーションフレームワーク。代表的なアジャイルWebアプリケーション開発プラットフォームのひとつとされている。 2.1では2.0がリリースされてから6ヵ月の間に寄せられた1,600をこえる問題修正パッチが取り込まれている。また新しい機能としてタイムゾーン設定の追加、よりよいキャッシングの実現、名前スコープ導入、Gem依存性整備などが実施されている。 インストールはこれまで同じだ。"gem install rails"と実行すればいい。Gitを使って取得する場合にはGitタグに"2.1.0"を指定する。多くの修正が実施されていることから、移行
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
MS、Ruby言語インプリ「IronRuby」をリリース
米Microsoftは、DLR上に実装するRuby言語のMS版インプリメンテーション「IronRuby」を発表した。RubyForge上で8月末に公開予定となっている。 Microsoftでは、Ruby言語の同社版インプリメンテーションに対してコミュニティーからフィードバックを受け入れる準備が整ったようだ。 Microsoftは7月23日、オレゴン州ポートランドで開催中のO'Reilly Open Source Conventionにおいて、「IronRuby」（Ruby言語のMicrosoft版インプリメンテーション）のコア機能セットをRubyForge上で提供し、コミュニティーのフィードバックを受け付けると発表した。RubyForgeは、プログラミング言語のRubyに関連したプロジェクトを対象とした協調型ソフトウェア開発管理システム。 RubyCLRの開発者でMicrosoftのDLR
“機運高まるRuby”――企業利用促進の「Rubyビジネス・コモンズ」発足へ
フレームワークRuby on Railsの人気も相まり、日本生まれのRubyに注目する開発者が増え続けている。企業間の壁を超え、情報共有と世界への架け橋を実現するものとして、団体発足に至った。 プログラミング言語「Ruby」と開発フレームワーク「Ruby on Rails」を企業利用で活性化させていく。 来たる7月31日、「Rubyビジネス・コモンズ」が発足され、同日開催の設立総会では、麻生渡福岡県知事、Ruby言語の開発者である、まつもとゆきひろ氏ら各界の講演者とユーザーが集う。 「Rubyビジネス・コモンズ」は、日本生まれのプログラミング言語「Ruby」をビジネスに適用する際に必要となるさまざまな知識を共有することが目的。また、参加する企業、団体、個人それぞれの活性化も図り、世界に開かれたコミュニティーを目指すものだという。 さらに九州福岡の地域に密着したコミュニティーとして位置付けら
楽天市場のシステム開発にRuby on Railsを採用 - 楽天 | エンタープライズ | マイコミジャーナル
楽天は15日、同社の提供するインターネットサービスの開発手段として"Ruby on Rails (以降、Rails)"の採用を開始したことを発表した。同社はネットワーク応用通信研究所からRailsトレーニングプログラムを受講した開発グループ"Ruby プロジェクトチーム"を組織、今後のサービス開発においてRailsを活用していく旨を発表した。 同社はこれまでにも、高い拡張性や可用性を実現し費用対効果の優れたアプリケーションを構築するために、同社の提供しているインターネットサービスの構築にLAMPなどのオープンソースソフトウェアを採用・活用してきた。 今回同社はインターネットサービス開発の生産性をさらに向上させることを目的として同チームを組織、Rails採用への取り組みを実施したとしている。Railsは今後、主にインターネットショッピングモール"楽天市場"における大規模トランザクション処理や
まつもとゆきひろ――第1回：オープンソースという「お仕事」
オープンソースソフトウェアの開発にかかわっている人のインタビューをシリーズでお届けする「Open Source People」。記念すべき第1回はMatzのニックネームでも知られるまつもとゆきひろ氏の「人となり」に迫る。 連載を始めるに当たって オープンソースソフトウェアを開発しているのはどのような人たちなのか――オープンな場で開発が行われているとはいえ、そこで実際に作業している開発者たちを具体的にイメージできるという人は、案外少ないのではないだろうか。 一般にオープンソースソフトウェアの開発は、誰でも参加できるメーリングリストのようなオープンな場で行われている。そこを覗いてみれば、誰が、どんなことをしているのかということは、それこそ、いつでも誰でも知ることができる。しかし、誰でも閲覧できるからといって、みんながアクセスして読んでいるわけではないのが、インターネットの常でもある。また、開発
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
android-scripting - Google Code
Ruby on Rails次期版2.0のプレビュー・リリース公開 - ニュース - nikkei BPnet
Yahoo!ニュース - japan.internet.com - 民間刑務所で Ruby によるソフトウェア開発者を養成、アウトソーシング業務を