Image Crawling With Python

Pada saat saya melakukan interview kandidat dikantor untuk lowongan sebagai programmer entah kenapa terbesit ide untuk membuat image crawler dengan requirement:
  • Menggunakan Python, dengan versi yang dibebaskan.
  • Dalam bentuk library (OOP).
  • Crawling image pada satu host yang recursive mengikuti setiap link internal yang ada.
  • Tidak boleh menggunakan external library.
  • Listing image dalam bentuk array.
Bersamaan dengan kandidat mengerjakan task saya pun juga melakukan hal yang sama agar jika ditanya pada kondisi real-nya saya bisa menjawab. Untuk hasilnya sudah saya upload pada github pada repo ini.

Berikut ini contoh jika digunakan sebagai library untuk script python tersebut.

from imagecrawler import ImageCrawler

site = 'https://somesite.com';
obj = ImageCrawler(site)
obj.get_images()
for image in obj.images:
    print(image)

Comments

Post a Comment

Popular posts from this blog

Menambahkan Library Path Pada Pycharm

Image
Pada saat menggunakan pycharm saya mengalami kendala pada saat ingin menggunakan external library diluar dari library yang dipasang via PIP (biasanya dalam virtual environment). Meskipun direktori yang berisikan external library tersebut sudah dimasukan ke dalam environment variable PYTHONPATH pun tidak dianggap PyCharm untuk dilakukan scan sehingga tidak bisa muncul dalam autocomplete-nya.
Setelah searching dan dicoba ternyata hanya dengan set pada bagian Interpreter Paths. Berikut langkah-langkahnya:
Buka Settings.Arahkan ke Project Interpreter.Klik pada logo gear yang terdapat pada pojok kanan atas dan pilih Show All ...Pilih interpreter python yang digunakan pada project dan pilih opsi Show paths for selected interpreter yang terdapat pada pojok kanan bawah.Tambahkan direktori yang berisikan external library dan klik pada tombol  OK untuk menerapkan perubahan.
Read more