Image Crawling With Python

Pada saat saya melakukan interview kandidat dikantor untuk lowongan sebagai programmer entah kenapa terbesit ide untuk membuat image crawler dengan requirement:
  • Menggunakan Python, dengan versi yang dibebaskan.
  • Dalam bentuk library (OOP).
  • Crawling image pada satu host yang recursive mengikuti setiap link internal yang ada.
  • Tidak boleh menggunakan external library.
  • Listing image dalam bentuk array.
Bersamaan dengan kandidat mengerjakan task saya pun juga melakukan hal yang sama agar jika ditanya pada kondisi real-nya saya bisa menjawab. Untuk hasilnya sudah saya upload pada github pada repo ini.

Berikut ini contoh jika digunakan sebagai library untuk script python tersebut.

from imagecrawler import ImageCrawler

site = 'https://somesite.com';
obj = ImageCrawler(site)
obj.get_images()
for image in obj.images:
    print(image)

Comments

Post a Comment

Popular posts from this blog

Menambahkan Library Path Pada Pycharm

Image
Pada saat menggunakan pycharm saya mengalami kendala pada saat ingin menggunakan external library diluar dari library yang dipasang via PIP (biasanya dalam virtual environment). Meskipun direktori yang berisikan external library tersebut sudah dimasukan ke dalam environment variable PYTHONPATH pun tidak dianggap PyCharm untuk dilakukan scan sehingga tidak bisa muncul dalam autocomplete-nya. Setelah searching dan dicoba ternyata hanya dengan set pada bagian Interpreter Paths. Berikut langkah-langkahnya: Buka Settings. Arahkan ke Project Interpreter . Klik pada logo gear yang terdapat pada pojok kanan atas dan pilih Show All ... Pilih interpreter python yang digunakan pada project dan pilih opsi Show paths for selected interpreter yang terdapat pada pojok kanan bawah. Tambahkan direktori yang berisikan external library dan klik pada tombol  OK untuk menerapkan perubahan.  
Read more

Dark ozpy

Image
When Zimbra XXE and SSRF vulnerability has been found and published by tint0 in his blog i actively do the RnD to reproduce it by using Burp Suite and postman. The result is the CVE are working then i do broadcast to my team for the upgrade ASAP because at that time if anyone publishing the exploit it can lead to RCE (remote code execution) which a lot of things can do such as putting backdoor, etc. Then i create a script for doing automation to scan several vulnerability zimbra (thanks to shodan and google dorks) if it's found then i do fetch some information and a POC after that i send them an email like this.
Read more

Tutorial membuat menu/navigasi pada django

Selama ini dalam membuat aplikasi web dengan Django untuk bagian navigasi menu saya biasanya membuat secara manual dengan set listing menunya pada settings.py (beserta dengan hak aksesnya) dan listing tersebut saya inject ke template melalui custom templatetags. Karena cukup repetitif saya mencari via google untuk keyword django app menu , dan tentunya situs djangopackages.org terlisting lebih awal namun pada hasil search selanjutnya mengarahkan ke dokumentasi django-simple-menu , karena setelah ditelusuri tahu app django-simple-menu dimaintain oleh jazzband saya pun tanpa ragu langsung coba app tersebut pada projek django yang sedang saya kerjakan dan memang simple dan bagus.  Berikut ini contoh untuk contoh penggunaannya: Note: saya menggunakan django versi 1.11 Instalasi Menggunakan perintah pip sebagaimana pemasangan library python lainnya. pip install django-simple-menu Set pada INSTALLED_APPS dengan nama menu INSTALLED_APPS = [ 'menu' ]
Read more