無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設
ytdl-webserver - WebベースのYouTubeダウンローダー
YouTube動画をダウンロードするソフトウェアやサービスは常に存在します。CLIでダウンロードできるもの、Webサービスなど実に多彩ですが、とにかく簡単に使えるものが喜ばれます。 今回紹介するytdl-webserverもその一つで、URLを入れるだけでYouTube動画をMP3化してくれるソフトウェアです。 ytdl-webserverの使い方 URL入力画面です。 ダウンロードのリンクが出ますので、それをクリックするとMP3がダウンロードできました。 ytdl-webserverの説明には特に書いていないのですが、動画をMP3に変換してくれるようです。ファイル名は動画のタイトルで、日本語は使えないので注意してください。Dockerでも使えます。 ytdl-webserverはJavaScript製のオープンソース・ソフトウェア（ISC License）です。 Algram/ytdl-
ImageLnk - URLから画像を抽出
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 画像をダウンロードしたいサイトは幾つもあるかも知れませんが、多くのサイトでは逆に簡単に画像をダウンロードされないようにする仕組みが作られていたりします。右クリックでダウンロードできなかったり、データを複雑に流し込んでいる場合もあります。 そんな時に使えそうなのがImageLnkです。多数のサイトに対応した画像リンク抽出ソフトウェアです。 ImageLnkの使い方 Twitterの場合です。URLを指定すると画像のURLが出ます。 フォト蔵も対応しています。 ImageLnkが対応しているのはAmazon/Instagram/pixiv/Wikipedia/Ascii/Cookpad/はてなフォト/マイナビ/フォト蔵/4Gamer/ZakuZaku/アメブロ/CNET Japan/イ
米Microsoftも魅了した「R」強化版、「Revolution R」の実力とは？
関連キーワード Hadoop | Microsoft（マイクロソフト） | OSS | オープンソース | 統計解析 Revolution AnalyticsのWebサイト 米Microsoftの完全子会社である米Revolution Analyticsは、統計用ソフトウェア「Revolution R」を開発している。Revolution Rは、統計用のオープンソースソフトウェア（OSS）である「R」のエンタープライズ版で、データサイエンティスト、統計学者、大学教授によって使用されている。 Revolution Analyticsは、「Revolution R Open」「Revolution R Enterprise」という2つの製品を展開している。前者はオープンソースだが、後者は商用だ。 併せて読みたいお薦め記事 データサイエンティストに支持される「R」 「R」だけじゃない、使えるオー
パスワードの強度チェッカーの入ったパスワード管理ツール·Password tools bundle MOONGIFT
Password tools bundleはWindows用のオープンソース・ソフトウェア。Webサービスが無数にあるために、ID/パスワードをそれぞれ違うものを設定するというのが非常に面倒になっている。管理するのも大変だ。そこで使われるのがパスワード管理ツールになる。 強度判定 多数あるパスワードを管理するのはもちろん、そのパスワードが安全かどうかも気になるだろう。そんな心配がある時に使ってみたいのがPassword tools bundleだ。パスワードの強度を適切に評価してくれる。 パスワードの強化判定には幾つかの基準がある。長さや記号が入っているか否か、大文字、小文字、数字の組み合わせなどだ。100%の強度は難しいが、普段使うものは80%程度にはなっておきたい所だろう。パスワード生成機能を使えば強度の高いパスワードが生成できる。 パスワード管理 さらに管理機能を使えば生成したパスワ
iPhoneのファイルシステムを覗いてみたいなら·iPhone File System Browser MOONGIFT
iPhone File System BrowserはiPhone/iPod Touch用のオープンソース・ソフトウェア。iPhoneは非常に魅力溢れるデバイスだ。小さな筐体の中に無限の可能性が詰まっている。だからこそいじってみたい、もっと知りたいという欲求が止まらない。 シミュレータの場合はローカルのディレクトリ構造が見られる JailBreakはまさにその最たるものだろう。知ってか知らずか、その穴を残しているのが何ともアップルらしい。iPhoneはどんなファイル構造になっていて、どのようなファイルがあるのか…それを知りたい人はiPhone File System Browserを使ってみよう。 iPhone File System BrowserはおそらくApp Storeには並ばないであろうソフトウェアだ。起動すると単純にルートディレクトリが表示される。JailBreakしている場合
複数の PC を手元で操作 「Synergy」を使おう! -Win&Mac 混合対応版- - NHN Japan ディレクターブログ
こんにちは、櫛井です。 仕事で同僚と話していると「こんなに便利なのに何で使わないんだろう?」と思うことがよくあります。今回はそういった感想を抱くことが最も多いソフト「Synergy」を紹介します。先日のエントリーでも少し登場しましたね。 →よく知っているので設定の項目へ急ぐ Synergy ってなに? 2 台並べたパソコンのキーボードを行ったり来たり。うんざりしますね。繋がってないのがわかっていながらも「すぐそこにあんだからこっちのマウス使わせろよ!」って思います。それを可能にしてくれるのが Synergy です。 実際に見てもらうのが早そうなので動画を撮ってみました。音はありません。正面に置いてある銀色のノート PC(64bit Windows7) には右側にモニタを追加していて、外付けのキーボードとマウスで操作しています。マウスを移動し続けて隣に置いてある黒いノート PC(Window
PDFの分割、マージを行う·PDF Split and Merge MOONGIFT
PDFは編集が容易でないところに利点がある。またどの環境に置いてもAdobe Readerのような共通のビューワーで見れば同じように見えるのが利点だ。だが、時にはその編集の難しさが仇となることがある。一部のページだけを抜き出したり、二つのPDFをマージしたいと言ったニーズもあるだろう。 PDFの分割やマージができる スキャンしてPDF化したら、全体が回転してしまっていた…なんて事態になった時にも使えるのがPDF Split and Mergeだ。 今回紹介するオープンソース・ソフトウェアはPDF Split and Merge、PDFの分割、マージを行うソフトウェアだ。 PDF Split and MergeはWindowsやMac OSX（おそらくLinuxも）で動作するソフトウェアで、Javaで作られている。各機能はプラグイン化されており、マージ/抽出、回転、ミックス、分割といった機能
CDやUSBメモリから起動してHDDのパーティション操作やバックアップを行う「GParted live」の使い方 | OSDN Magazine
HDDなどのパーティションを操作するオープンソースのツールに、「Gparted」 があります。GpartedはGUIでパーティションの作成や削除、コピー、リサイズ、フォーマットなどを行う機能を備えており、HDDのバックアップやOSのインストール時などに役立つツールです。 GpartedはUNIX/Linux上で動作するため、Windows上では直接は実行できませんが、Gpartedと最小限のLinux環境を組み合わせてCDやUSBメモリから起動できるようにした「Gparted live」が用意されています。Gparted liveをCD-RやUSBメモリなどに書き込み、これを使ってPCを起動することで簡単にHDDなどのパーティション操作が行えます。 図 Gparted live Gparted liveのインストール Gparted liveはSouceForge.JPのダウンロードページ
タブ機能が強化されたテキストエディタ最新版「Notepad++ 5.4」 | パソコン | マイコミジャーナル
Google Chromeライクなタブ機能が装備された「Notepad++ 5.4」 Notepad++プロジェクトは26日 (米国時間)、デベロッパ指向の多機能テキストエディタ最新版「Notepad++ 5.4」をリリースした。動作環境は、Windows 95以降の32bit版Windows。GNU GPLv2準拠のオープンソースソフトウェアとして無償公開される。 今回のリリースでは、タブ機能を改良。タブをウインドウ外へドラッグ&ドロップして新規ウインドウを作成するなど、Google Chromeライクな操作性を取り入れた。タブは異なるインスタンスとして生成されるため、同じファイルを2つの画面で同時に編集することも可能。 新たにテーマセレクタも実装された。標準では10種類が用意されるテーマは、メニューバーから[設定]→[スタイル設定]を実行すると選択できる。ほかにも、5種の異なる色でマー
古いJREを一掃する·JavaRa MOONGIFT
WindowsでJavaを使っていると、時々アップデーターが通知を行ってくる。そしてそれに従ってアップデートを行うと新しいバージョンのJRE（Java Runtime Environment）がインストールされるのだが、Program Files以下にはバージョン違いのJREが増えていく。 知らないうちに増えたJRE… アップデートするなら上書きでも良いのではないかと思うのだが、なぜかしない（バージョン番号が変わって動作しなくなることがあるからだろうか？）。そしてバージョン違いのJavaがどんどん増えて邪魔に感じてくる。そこでJavaRaを使って一掃してしまおう。 JavaRaは古いJREを一気に削除してくれるオープンソース・ソフトウェアだ。 JavaRaはJREのアップデートと古いものの削除という二つの機能を備えている。削除を行う前にアップデートを行い、最新版にすれば効果的だ。使い方は簡
きっと皆好きになる！手書きで作るモックアップ·DENIM MOONGIFT
Webサイトのモックアップ（ワイヤーフレーム）を作る作業は面白い。実際の開発とは異なり、想像の羽を羽ばたかせてどんどん試すことができる。そうしたツールはこれまでにも幾つか紹介してきた。 手書き風モックアップ作成 この手のツールはあまり奇麗なインタフェースであってはならない。むしろ雑さが残るくらいがちょうど良い。そこで手書きで作るDENIMを紹介しよう。 DENIMはJavaで作られたモックアップ作成ソフトウェアだ。単一ページだけでなく、Webサイト全体を構築できるのが特徴だ。 DENIMはWindows、Mac OSX、LinuxやSolarisといったマルチプラットフォームに対応したソフトウェアだ。若干特殊なインタフェースで、まるでホワイトボードに書いていくかのようにモックアップを作成できる。 まずすることは鉛筆ツールで四角を描くことだ。これが自動的にページになる。メニューから選んで奇麗
MOONGIFT: » UMLも描けるデータモデリングツール「Conzilla」:オープンソースを毎日紹介
見える化、なんて言葉が流行ったが元々開発者の世界ではごく当たり前のキーワードだった。目に見えないデジタルな世界を可視化したり、アナログなビジネスの流れをモデリングしたりするのはごく当たり前だ。 サンプルのモデリング 企画を立てたり、思想を膨らませたりするのは個人やグループでディスカッションすることでできるが、その結果を落とし込み、共有するのは何らかのツールを使う必要がある。そんな時に役立つのがこうしたソフトウェアだ。 今回紹介するオープンソース・ソフトウェアはConzilla、コンセプトブラウザという名称のモデリングツールだ。 Conzillaが対応するのはUML（なぜかULMとなっているが）、ダイアログマッピング、RDF、RDFS、DCMITypesとなっている。それぞれオブジェクトが予め登録されており、クリックして配置、線をつないでモデリングしていく。 編集画面。オブジェクトが多数並ん
コンパクトなスクリーンキャプチャツール·Lightscreen MOONGIFT
ソフトウェアの紹介や、Webサイトの紹介などでスクリーンショットを撮る機会は多い。業務の中でもヘルプを作ったり、プレゼン資料の中でスクリーンショットを必要とするケースは多いはずだ。 設定画面。シンプルながら最低限の設定はできる。 そのため、標準のスクリーンショット機能だけでなく、もっと便利な機能が欲しくなる。とは言えごちゃごちゃした機能は不要だ、これくらいライトなものが良い。 今回紹介するオープンソース・ソフトウェアはLightscreen、Windows向けのスクリーンショット取得ソフトウェアだ。 Lightscreenはフルスクリーン、ウィンドウ、指定範囲についてスクリーンショットを撮り、指定ディレクトリ以下に自動保存できる。フォーマットはJPEG/PNG/BMPとなっている。JPEGの場合は品質、PNGの場合は最適化についても指定できる。 メインウィンドウ。隠すこともできる。 他にも
MOONGIFT: » iPhoneのSafariを使ってMac OSXをリモートで動かす「iPhoneRemote」:オープンソースを毎日紹介
iPhoneやiPod TouchからMac OSXやWindowsへ接続するためのソフトウェアとして、VNCがある。確かに母艦のコンピュータに接続できるのは便利なのだが、画面が小さいこともあって操作性はあまり良くない。 iPhone/iPod Touchからアクセスした所 恐らく通常は何でもかんでも操作したいという訳ではないはずだ。その点、このソフトウェアであれば操作が簡単に行える。 今回紹介するオープンソース・ソフトウェアはiPhoneRemote、ブラウザベースでリモート操作を行うソフトウェアだ。 iPhoneRemoteはMac OSX向けのソフトウェアで、母艦で立ち上げて利用する。そしてhttps://母艦のアドレス:5010/というアドレスへiPhone/iPod Touchのブラウザからアクセスする。iPhone/iPod Touchへの設定が不要なのが便利だ。 設定画面 そ
壊れる前に。HDDの健康チェック·CrystalDiskInfo MOONGIFT
大容量化する一方のHDD。色々なデータを残容量を気にせず入れられて便利に感じる反面、壊れた時のリスクは増大する。大事なファイルも、最近ダウンロードした動画も全てなくなってしまっては目も当てられない。 やばい！ そうしたリスクを回避するアイディアの一つは、壊れる前兆をつかむことだろう。日々のチェックで予見できるようになるはずだ、 今回紹介するオープンソース・ソフトウェアはCrystalDiskInfo、HDDの健康チェックソフトウェアだ。 CrystalDiskInfoはHDDや最近出てきたSSDに対応したソフトウェアでS.M.A.R.Tを使ってHDDの健康状態をチェックしてくれる。また、温度も計測してくれ、結果としての状態を色（緑や黄色など）で表示してくれる。 グラフ機能 他にもグラフ表示の機能や、多言語対応（日本語も対応）といった特徴がある。ごくシンプルなインタフェースで、どこに問題が発
MOONGIFT: » 凄すぎる。便利なオンラインパスワードマネージャ「Clipperz Community Edition」:オープンソースを毎日紹介
何がすごいか。それはこれだけの機能を持ちながらオープンソースである点だ。 Webアプリケーションが隆盛になる中で、登場したのがオンラインのパスワード管理ソフトウェアだ。これは非常に重要なステップと言えそうで、現状のWebアプリケーションでは最も大事と言えそうなIDやパスワードを外部のWebサービスに預けて、セキュリティの問題やリスクをどう捉えるかが問題になる。これが可能になれば、Webアプリケーションのあり方すら変わってくるだろう。 オフライン版 だが、それでもWebサービスにデータを預けるのは精神的に難しい、という人も多いのではないだろうか。そんな人のためのソフトウェアがこれだ。 今回紹介するオープンソース・ソフトウェアはClipperz Community Edition、Clipperzのオープンソース版だ。 Clipperzはオンラインのパスワード管理アプリケーションだが、Clip
iPhone/iPod TouchのJailBreak決定版·ZiPhone MOONGIFT
iPod Touch/iPhoneはJailBreakしてからが本格的な楽しみのはじまりだろう。ユーティリティ、ゲーム、ボイスレコーダーと、全てはインストーラーを通じて利用できるようになる。しかしJailBreakは無保証なものであり、何かしらの問題が起こる可能性もある。 そのため、JailBreakを控えてしまう人もいるだろう。ややこしい手順が必要となれば特にそうだ。しかしこれならごく簡単に完了する。 今回紹介するオープンソース・ソフトウェアはZiPhone、iPod Touch/iPhoneのJailBreakソフトウェアだ。 ZiPhoneはGUIのインタフェースを持ち、JailBreakはもちろんiPhoneのアクティベートまで行うことができる。しかもそれがボタン一つというのだから驚きだ。ケーブルを差し込んで、ボタンを押すだけという手軽さが良い。 もちろん、そうは言いつつも100%
MOONGIFT: � Mac OSXの隠れた設定を引き出す「Secrets」:オープンソースを毎日紹介
隠しコマンドやイースターエッグ等は、表面に見えなくとも存在しており、それを見つけ出すのに労力をつぎ込む人もいる。そして新たな発見があると喜びもひとしおだ。ないと思って諦めていた設定も、裏の項目として存在していたりする。 そうした裏設定を簡単に設定できるようにしてくれるソフトウェアがこれだ。 今回紹介するオープンソース・ソフトウェアはSecrets、Mac OSX向けの裏設定用初期設定パネルだ。 Secretsは標準では表示されない各種設定を手軽に設定できるようにするソフトウェアだ。例えば各種アプリケーションのデバッグメニューを表示するようにしたり、Finderであれば隠しファイルを表示する設定にすることができる。 中には既に知られたもの（通常の設定で可能なもの）もあるが、Time Machineのバックアップをネットワークドライブ対応にするのもチェックボックス一つでできる等、便利なものも数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Visual Studio」の中の人が作ったプログラマー向け十徳ナイフ「DevToys」／今までググって探していたツールがひとまとめに
