はてなブックマーク

元記事：https://www.octoparse.jp/blog/top-30-data-visualization-tools データの視覚化は、情報やデータを見える化することによって、人々が効果的に洞察を得ることに役立ちます。データ視覚化ツールは、グラフやチャートなどを利用してデータをより分かりやすく読み上げます。多くのデータ視覚化ツールから最適なのはどれですか。本記事では2019年おすすめのデータ可視化ツール30選を紹介します。あなたのニーズに合わせて一番ふさわしいツールを選びましょう。 #ノーコード型ツール ##1.チャートとグラフ ###1) RAWGraphs RAWGraphsは、オープンソースのWebデータ視覚化ツールです。Microsoft ExcelおよびApple Numbersのようなスプレッドシートと、Adobe Illustrator とSketchのようなベ

元記事：https://www.octoparse.jp/blog/70-amazing-free-data-sources-you-should-know/ ほとんどの人は、ビッグデータの収集は大変な仕事だと考えていますが、そうでもないと思います。実際にはオープンデータソースがたくさんあり、誰でも利用できます。ここでは、政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育などに関するオープンデータソースを70選まとめました。 #一、政府機関 1.日本総務省統計局: 日本総務省統計局、統計研究研修所の共同運営によるサイトです。国勢の基本に関する統計の企画・作成・提供、国及び地方公共団体の統計職員に専門的な研修を行っています。 2.DATA.GO.JP: これは日本各府省の保有データをオープンデータとして利用できる場をつくり、データの提供側・

Webクローラーとはインターネット上に公開されているテキスト・画像・動画などの情報を自動で収集し、データベースに保管するプログラムのことです。さまざまなウWebクローラーがビッグデータのブームで重要な役割を果たし、人々がデータを簡単にスクレイピングできるようにしています。 さまざまなWebクローラーの中には、オープンソースのWebクローラーフレームワークがたくさんあります。オープンソースのWebクローラーを使用すると、ユーザーはソースコードまたはフレームワークに基づいてプログラミングでき、スクレイピング支援のリソースも提供され、データ抽出が簡単になります。この記事では、おすすめのオープンソースWebクローラーを10選紹介します。 #1. Scrapy 言語: Python Scrapyは、Pythonで最も人気のあるオープンソースのWebクローラーフレームワークでです。Webサイトからデー

元記事：https://www.octoparse.jp/blog/google-maps-crawlers インターネット時代において、地図のデジタルデータはますます重要になり、ビジネス価値を生み出し、意思決定を支援するのに役に立ちます。このようなデータは業界で広く使用されています。たとえば、飲食業者は、地図データと近くの競合他社を分析して、新しいお店を開く場所を決定することができます。 Googleマップでは、220 の国と地域を広くカバーする地図と数億のお店や場所に関する詳しい情報を見えるし、リアルタイムの GPS ナビ、渋滞状況、乗換案内のほか、地元のグルメやイベントに関する情報を、世界中どこでも利用できます。 Googleマップからデータをスクレイピングするには、さまざまな種類の方法があります。この記事では、その中から5つの方法をご紹介します。 1. Places API of

文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ

元記事：https://www.octoparse.jp/blog/top-30-free-web-scraping-software/ Webスクレピング （Webデータ抽出、スクリーンスクレイピングとも呼ばれます）は、Webからデータを抽出し、Web上の非構造化データをデータベースやスプレッドシートに格納・分析可能な構造化データへの変換するWeb技術です。 Webスクレイピング技術は、Webスクレーパー（Webクローラー）を構築するのによって実現されます。プログラミングについて何も知らない人にとって、この作業は難しいかもしれません。幸いなことに、今では、コーディングをしなくてもWebデータを自動抽出できるスクレイピングソフトは様々です。 これらのソフトは、Chromeのようなブラウザが内蔵され、実際ユーザーのWebサイトとのやり取りをシミュレーションすることによって、ブラウザーにデータ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 元記事：https://www.octoparse.jp/blog/the-10-best-web-scraping-tools/ Webクローリング、またはWebデータ抽出とも呼ばれるWebスクレイピングは、単にWebサイトからデータを収集してローカルデータベースまたはスプレッドシートに保存するプロセスです。Webスクレイピングを初心者が聞いたら、遠ざけていく専門用語だと思われるかもしれないですが、実はあなたが思っている以上、実用しやすいものです。スクレイピングツールは、求人情報だけでなく、マーケティング、経済やeコマース、および数多

Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕事が楽になります。プログラミングの知識がないなら、コピペしかありませんか？そこで、Googleスプレッドシートを試してみてください。 Googleスプレッドシートはリリース以来、多くの人々の日常業務に使われていますが、多くの組み込み関数があることを知らないかもしれません。実は、スプレッドシートを利用して、コードを書く必要なしに、Webから自動的にデータを取得できます。 この記事では、まずGoogleスプレッドシートだけで簡易なスクレイピングができる方法をお伝えします。次に、スクレイピングツールOctoparseを使って、データ取得の

元記事：https://www.octoparse.jp/blog/10-machine-learning-algorithms-you-should-know/ 「ビッグデータ」という言葉は2017年に普及し、ハイテク業界で最も人気が高まってきています。前回の記事では、ビッグデータ、機械学習、データマイニングの概念を簡単に紹介しました（参照記事：「5分で分かる！ビッグデータ、機械学習、データマイニングの意味」）。 コンピュータに過去のデータを分析させ、未来のデータを予測させる機械学習は身近なところに広く活用されています。機械学習を専門としないエンジニアでも活用できるようになりました。この記事では、最も一般的に使用される機械学習アルゴリズムをいくつか紹介したいと思います。 この記事で紹介されるアルゴリズムは次のとおりです。 決定木 ランダムフォレスト ロジスティック回帰 サポートベクターマ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 元記事：https://www.octoparse.jp/blog/top-20-web-crawling-tools-for-extracting-web-data/ 今では、Webクローリング（Webスクレイピングとも呼ばれる）は多くの分野で広く適用されています。これは、任意のWebサイトから取得されたデータを簡単にアクセスできるようにデータベースに保管することを目的としています。Webクローラーツールは、クローリングプロセスを簡単、自動化にし、Webデータリソースを誰でも簡単に利用できるようにするため、 広く知られています。Web