Image Crawling With Python

Pada saat saya melakukan interview kandidat dikantor untuk lowongan sebagai programmer entah kenapa terbesit ide untuk membuat image crawler dengan requirement:
  • Menggunakan Python, dengan versi yang dibebaskan.
  • Dalam bentuk library (OOP).
  • Crawling image pada satu host yang recursive mengikuti setiap link internal yang ada.
  • Tidak boleh menggunakan external library.
  • Listing image dalam bentuk array.
Bersamaan dengan kandidat mengerjakan task saya pun juga melakukan hal yang sama agar jika ditanya pada kondisi real-nya saya bisa menjawab. Untuk hasilnya sudah saya upload pada github pada repo ini.

Berikut ini contoh jika digunakan sebagai library untuk script python tersebut.

from imagecrawler import ImageCrawler

site = 'https://somesite.com';
obj = ImageCrawler(site)
obj.get_images()
for image in obj.images:
    print(image)

Comments

Post a Comment

Popular posts from this blog

Disable sending telemetry data in DotNet

Recently i am working with an open source application which built using DotNet (C#), but while i watching some data flow outside using command netstat the DotNet is make connection outside, then when i figure it out it's belong to azure's in singapore. Then i do some search in google then what i'm found is DotNet is sending telemetry data then for disable it by set an environment variable export DOTNET_CLI_TELEMETRY_OPTOUT=1 For set permanently you may add it in /etc/profile , After that it disable sending telemetry data.
Read more

Menambahkan Library Path Pada Pycharm

Image
Pada saat menggunakan pycharm saya mengalami kendala pada saat ingin menggunakan external library diluar dari library yang dipasang via PIP (biasanya dalam virtual environment). Meskipun direktori yang berisikan external library tersebut sudah dimasukan ke dalam environment variable PYTHONPATH pun tidak dianggap PyCharm untuk dilakukan scan sehingga tidak bisa muncul dalam autocomplete-nya. Setelah searching dan dicoba ternyata hanya dengan set pada bagian Interpreter Paths. Berikut langkah-langkahnya: Buka Settings. Arahkan ke Project Interpreter . Klik pada logo gear yang terdapat pada pojok kanan atas dan pilih Show All ... Pilih interpreter python yang digunakan pada project dan pilih opsi Show paths for selected interpreter yang terdapat pada pojok kanan bawah. Tambahkan direktori yang berisikan external library dan klik pada tombol  OK untuk menerapkan perubahan.  
Read more