URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」

以前、スクレイピングツールとしてChrome拡張を紹介しました。

Chrome拡張「Scraper」でWEBページ情報を手軽にスクレイピングしてデータ化する方法

ScraperというChrome拡張を最近たまたま見つけたので使ってみました。この拡張が、かなり有能なやつでして、WEBペー...

nelog.jp

2018-11-04 23:19

この「Scraper」も、使い方はかなり簡単です。けれど今回はさらに使い方が簡単な、無料WEBサービス「import.io」の紹介です。

import.ioは、URLを入力するだけで、データ化できそうなところを勝手に判断して情報を集めてくれます。

import.ioとは

import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。

無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。

URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。

以下では、その簡単な使い方や、利用例などを紹介したいと思います。

定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。

基本的な使い方

import.ioの最大の特徴は、使い方の簡単さです。

以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。

このページのURLをimport.ioの入力欄に入力して「Try it Out」ボタンを押すと

以下のように、データ化して欲しい箇所を、いい感じに取得してデータ化してくれます。

この結果で言えば、「商品画像」、「商品名」、「値段」、「商品カテゴリ」などはデータ化しておくと、いろいろと利用できそうではあります。

取得したデータは、CSVファイルをダウンロードして取得することができます。

「Download CSV」ボタンを押すとファイルをダウンロードできます。

「OK」ボタンを押せばダウンロードが開始されます。

テーブルデータの取得

例えば、以下のようなKOEIの三国志武将データ一覧のようなテーブルからも、簡単にデータのみ取得できます。

こちらもURLを入力するだけで

データを自動的に判断して取得してくれます。

CSVファイルをダウンロードして、エクセルで少し加工すれば、以下のような表などに手軽に加工できます。

武力上位20名

知力上位20名

このツールで、データ化して取得することで、データ加工も行いやすくなります。

WordPress公開記事一覧を取得するとか

WordPressの記事一覧ページなどから、公開ページを全て取得するなんてこともできます。

例えば、当サイトの記事一覧ページの場合だと、

アイキャッチ画像、記事URL、ページタイトル、カテゴリなどを取得してくれます。

WordPressのようにページネーションがちゃんと設定されているサイトでは、CSVデーターのダウンロードボタンを押すと、

以下のように取得するページ数を設定して、ページを遷移しながらデータを取得するなんてこともできます。

あとは、「OK」ボタンを押せば、複数ページに渡ってデータを取得することができます。

次のページへの情報がHTMLにある場合のみにこの機能は利用できます。

スクレイピング対象サイトへの負荷対策として、20ページよりも多いページは取得できないように対策されています。

無料アプリを利用すれば細かな設定もできる

import.ioのダウンロードページには、Windows、Mac、Linuxで使えるスクレイピング用のアプリも用意されています。

これを利用すれば、欲しい情報のみに限定して、スクレイピングを行うことができます。

例えば、価格.comのノートパソコン一覧から、商品写真、メーカー名、商品名、値段、液晶サイズ、解像度など、欲しい情報のみのデータ取得を行うこともできます。

アプリで適切な設定を行うと、不要なデータを取得することもありません。また、データなどは、CSVの他にもJSON、TSVなどでも取得することができます。

アプリの使い方などは、以下の60秒動画を見れば、大体のことはわかるかと思います。

基本的に、マウスでポチポチ取得したい情報を選択していくだけです。

まとめ

このように、import.ioは、誰でも手軽に使えるスクレイピングツールになっていると思います。

たまに、データを自動取得できないページなどもありますが、大抵のサイトなら取得できるかと思います。とりあえず、楽天とかAmazonとかでも利用できました。

「サイトの内容を取得してデータ化したい」なんて場合や、「通販サイトの商品データを取得、分析して比較検討したい」なんて場合には、手軽に使えるので重宝しそうなサービスです。

ただ、最初の方にも書きましたが、むやみなスクレイピングは対象サイトに負荷をかけてしまいますので、日に何度もスクレイプするのはやめましょう。（※import.ioの方でも、連続取得制限などの対策はしてあります。）