goop - Google検索結果をスクレイピング
Googleの検索結果を取得して分析に使いたいと考える人は大勢います。しかし機械的に収集しようとすると、GoogleからCAPTCHA入力が求められます。そのため自動化しづらく、手作業で収集している人も多いでしょう。 しかし裏道がありそうです。Facebookを経由するとそのトラップに引っかからないようです。その実証として作られたのがgoopです。 goopの使い方 goopで検索を行います。その際、Facebookのクッキーを適用するのがコツです。 from goop import goop page_1 = goop.search('open source', '<facebook cookie>') print(page_1) ちゃんと検索結果が返ってきます。 {0: { 'url': 'https://opensource.org/osd-annotated', 'text': '
Micro - Go製の軽量なテキストエディタ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました テキストエディタはWindowsやmacOSなどでGUIで使う一方、サーバなどにログインしても利用します。サーバ側でも便利なテキストエディタが用意されていると生産性が高まるでしょう。 そこでサーバ側で軽量に使えるMicroを紹介します。名前の通り、小さくコンパクトなテキストボックスです。 Microの使い方 メイン画面です。 画面のスプリットができます。 Microの特徴としてはまず簡単なインストールにあります。バイナリを配置するだけです。そして設定はJSONファイルで、さらに機能拡張はLuaで書けます。プラグインシステムも用意されているので拡張は容易です。さらに75のプログラミング言語をサポートしたハイライトも用意されています。CLIながらマウス入力もサポートされています。 Mi
Lurn - Ruby用データサイエンス、機械学習をおこなうなら MOONGIFT
データサイエンスや機械学習分野においてはPythonしかないといった雰囲気があります。確かにPythonにはデータサイエンス向けのライブラリが多数揃っており、はじめる敷居は低いでしょう。 しかしそんな中にあってもRubyでデータサイエンスをやりたいという方は多いはずです。そこで使ってみたいのがLurnです。 Lurnの使い方 基本的な使い方です。こちらはテキスト分類をおこなっている例です。 programming is fun という文字がコンピュータかスポーツのどちらに分類されるのかを判定しています。 require 'lurn' documents = [ 'ruby is a great programming language', 'the giants recently won the world series', 'java is a compiled programming
Clink - コマンドプロンプトを便利に変身 MOONGIFT
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Windowsのコマンドプロンプトを使っていると、ターミナルに比べてあまりに貧弱な機能でストレスを感じてしまいます。Windows10ではUbuntuが使えるようになったとは言え、コマンドプロンプト操作のためだけにインストールするのは大げさですし、Cygwinを入れるのも面倒でしょう。 そこで使ってみたいのがClinkです。Clinkを通すことでコマンドプロンプトが多機能になります。 Clinkの使い方 タブキー2回でコマンドを出してくれるようになります。これだけでもかなり便利ですね。 入力補完も付いています。 ClinkはReadlineの他、GitやSubversionコマンドが使えるようになります。さらにクリップボード操作ができたり、Luaによるスクリプト機能も追加されます。
Google App Engine/Paste用Pythonフレームワーク·Pyxer MOONGIFT
PyxerはPython製のオープンソース・ソフトウェア。最近のプログラミング言語には様々なフレームワークが存在する。汎用的なものを使うのも良いが、環境に応じて特化したものを利用するというのも良さそうだ。環境に合わせることでよりスムーズな開発ができるようになる。 Google App Engine向けに使えるPythonフレームワーク Googleのクラウド環境であるGoogle App Engineは仕組みが一般的な専用サーバ等と大きく異なる。既存のフレームワークをApp Engineに合わせるのではなく、特化したものを選んでみるという選択はどうだろう。Pyxerはまさにそのためのフレームワークだ。 Pyxerはeasy_installを使ってインストールするフレームワークで、コントロール、テンプレート、モデルと分けて開発ができる。モデルはDataStoreを使うのだがElixirがライ
記事が見つかりません MOONGIFT
特集「オープンソース×10年」 予算ゼロからのIT環境整備2014/01/30 特別寄稿：センチメンタル・ジャーニー ~OSSはまだ16だから~2014/01/30 EC-CUBE – オープンソース・Eコマースの雄の進化を見る！2014/01/30 Zabbix Japanに聞いたオープンソース×ビジネスを成功させるための3つの基本2014/01/30 MOONGIFTの運営で大事にしている3つのこと2014/01/30 2007〜8年の大きな変動まとめ！2014/01/30 なぜプレミアム？そこから得られた経験教えます2014/01/30 2006〜09年、各年の人気オープンソース・ソフトウェアベスト52014/01/30 狙われやすいサイトはどんなサイト？オープンソース×セキュリティについてペンタセキュリティシステムズに聞く2014/01/30 aegifが考える企業でOSSを開発す
Sinatraを真似たPHP用軽量フレームワーク·Fitzgerald MOONGIFT
Rubyが一躍注目を浴びるきっかけになったのはRuby on Railsによるところが大きい。だがRailsアプリケーションはフレームワークが富豪であり、ちょっとしたWebアプリケーションを作るのに最適解とは言いがたい。そんな中登場したのがSinatraだ。 まさにSinatra風 簡単なURLマッピング、シンプルなレスポンス。どれをとっても簡単だ。そんなSinatraを真似たPHP用フレームワークがFitzgeraldだ。 今回紹介するオープンソース・ソフトウェアはFitzgerald、SinatraライクなPHPフレームワークだ。 PHPと言えば軽量なWebアプリケーション用プログラミング言語だ。手軽に使える点については相違ないが、あまりの手軽さに品質の低いシステムを生み出しやすいのは確かだ。そこでFitzgeraldを使えば、組み方がある程度統一させることができる。 アクションごとに
Google App Engineアプリケーションと対話する·App Engine Console MOONGIFT
システム開発に問題はつきものだ。重要なのはそのデバッグ方法で、分かりやすい方式として対話型のコンソールが知られている。PythonやRubyなどでは対話型にコードを試すことができ、実際のデータの確認はもちろん、ちょっとしたコードをテスト実行するのに便利だ。 Google App Engile開発者必見！Web上で対話型に操作できる この方式はWebサーバをクラウド化しているGoogle App Engineでは通用しない。開発環境とGoogle App Engineの環境は100%同じではないので、環境の違いによるエラーが起こる可能性は十分にある。目の前で起きている問題にどう対処するか、対話型実行を可能にするのがApp Engine Consoleだ。 今回紹介するオープンソース・ソフトウェアはApp Engine Console、Webベースの対話型コンソールだ。 App Engine
Emacsで動作するJavaScriptインタプリタ·Ejacs MOONGIFT
相当歴史の長いプログラミング言語であるLisp。形を変え、様々な方言が生まれつつも今も広く利用されている。一般的にはEmacsの中で使われているのが有名だ。だがその特殊性もあって、使ってみたいと思いつつも手出しできていない人も多いはずだ。 Emacs上で動作するJavaScript そのような方々にとって、Emacs上で動くJavaScriptというのはある種可能性を感じさせるものかもしれない。 今回紹介するオープンソース・ソフトウェアはEjacs、Emacs上で動作するJavaScriptインタプリタだ。 Ejacsは全てEmacs Lispで書かれている。 ロードした後、js-consoleで起動する。すると「js>」が立ち上がるので、JavaScriptを入力すればそれが評価され、結果が返る。JavaScriptなので無名関数などもできるが、document.writeやalertは
Adobe AIR製のSQLiteフロントエンド·Lita MOONGIFT
SQLiteはWebシステムに限らず、iPhone、Google Gears、Adobe AIR、Safariなど様々なソフトウェアで利用されている。各種言語向けにライブラリが提供されているだけでなく、手軽に利用できて動作も速いと簡易的に使うには十分な機能があるのが魅力だ。 SQLiteを開発に利用しているなら要チェック！ そんな利用場面の多いSQLiteのデータを閲覧、管理するAdobe AIRソフトウェアがLitaだ。 今回紹介するフリーウェアはLita、Adobe AIR製のSQLiteフロントエンドだ。 LitaはDBファイルを指定して開く。テーブル一覧が表示され、テーブルを選択すると構造が一覧される。さらにデータを一覧したり、インデックスを確認することが可能だ。また、任意のSQLを実行することもできる。 データの確認（UTF-8ならば日本語も表示される） もちろんテーブルを作成し
iPhone/Gears/Adobe AIRの開発に便利なJavaScript O/Rマッパー·ActiveRecord.js MOONGIFT
※ 画面は公式サイトのデモコードより 最近のWebシステム開発ではO/Rマッピングの利用が当たり前になっている。そのため、生のSQLを書く機会が殆どなくなり、開発がスムーズになっている一方、いざ書くとなると非常に面倒に感じるようになっている（もちろんORマッピングではコストがかかってしまう場合はSQLを書く必要もあるだろうが）。 JavaScriptで実現するO/Rマッピング それはSQLiteが使えるiPhone/Gears/Adobe AIRといった今時の開発に対しては特に言える。O/Rマッピングに慣れてしまった体にはSQLite向けのSQLを書くのは非常に辛い。そこで使えるのがActiveRecord.jsだ。 今回紹介するオープンソース・ソフトウェアはActiveRecord.js、JavaScriptで作られたO/Rマッピングソフトウェアだ。 ActiveRecord.jsが対応
Google App EngineをRESTfulデータベースに·App3 MOONGIFT
RESTfulデータベースというと何のことやらといった感があるが、言わばキーと値のデータベースで、通信をHTTP経由で行うものだ。キーを指定してポストすれば新規追加され、ゲットを使ってデータを取得する。PUTで更新、DELETEで削除と言った具合だ。 Google App EngineをRESTfulなデータベースに！ そんなキーと値のデータベースは様々に存在する。リレーショナルデータベースと違って、単純なデータ構造だがテキストや文字列を扱うのに都合がいい場合もある。それをGoogle App Engineを使って実現するのがApp3だ。 App3はPythonで作られたオープンソース・ソフトウェアで、GPLの下に公開されている。 筆者環境ではまだうまくいっていないのだが、データはキーとともにJSON形式で保存できる。そしてGETを使ってデータを取得する。リストを使ってデータの一覧を取得す
MOONGIFT: » デザイナー必須！オートトレースソフト「Potrace」:オープンソース...
Webに限らず、PC上で画像を作成しようと素材をもらったら、ラスタ画像で渡された経験はないだろうか。またはデジタルデータすらなく、紙でしか素材が存在しないこともある。スキャンして手作業でトレースしていく作業をしていると嫌になってしまう。 それらの苦労から開放してくれるソフトウェアがこれだ。 今回紹介するオープンソース・ソフトウェアはPotrace、オートトレースソフトウェアだ。 Potraceはコマンドラインで動作するソフトウェアで、PBM/PGM/PPMまたはBMPファイルを読み込み、EPSやPS、SVG/PDF/GIMPPATHといった形式に変換してくれる。かなりレベルの高いトレース結果が得られる事に驚くはずだ。 そのまま使ってみてもいいし、微妙な調整は閾値を直すことで行える。対応プラットフォームが数多く、Linux/BSD/Mac OSX/Windows等となっている。Mac OSX
MOONGIFT: » 必見！JavaScriptのalert処理にさよならを「Blackbird」:オープンソースを毎日紹介
※ 画面は公式サイトデモより JavaScriptのデバッグによく利用されるものと言えば、alertだろう。簡単に使えて便利な関数だが、ブラウザの処理が止まってしまったり、長文の表示が難しいなどデメリットも数多い。 alertとお別れするためのJavaScriptデバッグツール そこで使ってみたいのがBlackbirdだ。Google Code上で公開されているオープンソースのJavaScriptアラートだ。 Blackbirdは見た目の格好いいフローティングダイアログにログを表示できる。デバッグ、インフォ、ウォーニング、エラー、プロファイルの5つのメッセージパターンが設定できる。Blackbirdのウィンドウでは各メッセージタイプの表示、非表示が切り替えられるようになっている。 表示位置の変更、表示するメッセージの種類が変更できる さらにF2キーを押して表示/非表示を切り替えたり、Shi
ActionScript2/3で3D·Sandy MOONGIFT
ウノウ株式会社では「ブラッシュ」と言うFlashゲームサイトを提供している。Flashであればブラウザさえあれば（大抵プラグインが入っているので）利用できて楽に遊ぶ事ができる。 そして、次世代ではFlashさえ入っていれば、3Dゲームさえ楽しめるかも知れない。そう感じさせるのがこのライブラリだ。 今回紹介するオープンソース・ソフトウェアはSandy、ActionScript2/3に対応した3Dライブラリだ。 Sandyでは多彩なデモが用意されている。特に風景も含めて3D化されているものは圧巻だ。マウスで動かしたり、弾を発射できる（発射しても特に意味はない）。 動きはそれ程重たくはない。将来的にPCの性能が向上し、モデリング技術も向上すればFlashだけで3D化されたゲームを楽しむ事さえできそうだ。 ゲーム以外の利用法も進められており、例えばMLB.com内のゲーム開設で利用されている。2D
Python製開発用SimpleDB·SimpleDB/dev MOONGIFT
Web APIはその名の通り、Web上で提供される。そのため、ネットワークにつながっていない状態では利用することができず、不便な思いをする。常時接続が当たり前になりつつあるが、近所のカフェや移動時間などで開発を行いたいときもあるだろう。 サービスを立ち上げたところ また、Amazonが提供する各種Web APIの中には有料で提供されるものもある。この場合は開発中もWeb APIを利用する上で課金されることになってしまう。開発中はバッチやテストなどで利用頻度は激しいだろう。その度に課金されてしまうのではスムーズな開発が行えない。そこで利用するのがこれだ。 今回紹介するオープンソース・ソフトウェアはSimpleDB/dev、Python製のSimpleDBクローンだ。 SimpleDB/devはAmazon Webサービスの一つ、SimpleDBをローカルでも動作させられるものだ。Simple
MOONGIFT: » Web開発者は必須！様々なバージョンのIEを収録した「Internet Explorer Collection」:オープンソースを毎日紹介
Webサイトを構築する際に、どのバージョンのブラウザまでサポートするかが問題になりやすい。最新のバージョンだけであれば良いのだが、不特定多数へのサービス提供となればそうもいかないだろう。 様々なバージョンのIEが立ち上げられる IEの場合で言えば5.5以降を対象とする場合が多いように思う。だがそんなバージョンのIEを簡単に用意できるだろうか。そこで使いたいのがこのソフトウェアだ。 今回紹介するフリーウェアはInternet Explorer Collection、様々なバージョンを収録したIEだ。 Internet Explorer Collectionで提供されるバージョンは1.0/1.5/2.01/3.0/4.01/5.01/5.5/6.0/7.0/8.0となっている。8.0β版まで収録されているので、今後を見越した上でのテストが実行できるようになる。 なぜかインストーラーはVista
MOONGIFT: Firebugと連携するPHPライブラリ「FirePHP」:オープンソースを毎日紹介
JavaScriptを多用する時代にあって、Firebugのありがたさを感じている人は多いのではないだろうか。開発の補助ツールとして、何らかの問題が起こった時のデバッグツールとして活躍していることだろう。 ログをFirebug上で確認できるようになる そんなFirebugがPHP開発において活用できるFirefoxアドオンがこれだ。 今回紹介するオープンソース・ソフトウェアはFirePHP、PHPと連携するFirebugだ。 FirePHPはFirebugをインストール済みの状態で使うプラグイン的なアドオン（分かりづらい）だ。PHP側でもPearを通じてライブラリをインストールする必要がある。それが終わったら、FirePHPのインスタンスを呼び出せるようになる。 サンプルのコード そしてログを出力することや、ダンプしたデータを出力できるようになる。また、コンソールにエラーメッセージを出力す
HTML上のテーブル操作の決定版·Flexigrid MOONGIFT
※ 画像は公式サイトデモより 業務システムのみならず、メールや一覧の機能で必要になるのがテーブルを使った一覧機能だ。このとき、比較元になるのがエクセルをはじめとした表計算ソフトウェアだろう。あのレベルのUIをWebベースで再現するのはほぼ不可能とさえ言えそうだ。 ドラッグアンドドロップによるカラムの並べ替えや表示/非表示の切り替えが可能 無理矢理カスタマイズして膨大に工数を増やすのではなく、ライブラリを使って柔軟に、素早く対応しよう。 今回紹介するオープンソース・ソフトウェアはFlexigrid、jQueryを使ったテーブル操作ライブラリだ。 Flexigridは既存のテーブルに対して利用できるライブラリで、普通のテーブルをカラムの並べ替えや表示/非表示、幅の変更など優れたUIをもったテーブルに変更してくれる。対応ブラウザはIE6/IE7、Firefox 2、Opera 9.x、Safar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンソースを毎日紹介 MOONGIFT