Image Crawling With Python

Pada saat saya melakukan interview kandidat dikantor untuk lowongan sebagai programmer entah kenapa terbesit ide untuk membuat image crawler dengan requirement:

• Menggunakan Python, dengan versi yang dibebaskan.
• Dalam bentuk library (OOP).
• Crawling image pada satu host yang recursive mengikuti setiap link internal yang ada.
• Tidak boleh menggunakan external library.
• Listing image dalam bentuk array.

Bersamaan dengan kandidat mengerjakan task saya pun juga melakukan hal yang sama agar jika ditanya pada kondisi real-nya saya bisa menjawab. Untuk hasilnya sudah saya upload pada github pada repo ini.

Berikut ini contoh jika digunakan sebagai library untuk script python tersebut.

from imagecrawler import ImageCrawler

site = 'https://somesite.com';
obj = ImageCrawler(site)
obj.get_images()
for image in obj.images:
    print(image)