Image Crawling With Python

Pada saat saya melakukan interview kandidat dikantor untuk lowongan sebagai programmer entah kenapa terbesit ide untuk membuat image crawler dengan requirement:
  • Menggunakan Python, dengan versi yang dibebaskan.
  • Dalam bentuk library (OOP).
  • Crawling image pada satu host yang recursive mengikuti setiap link internal yang ada.
  • Tidak boleh menggunakan external library.
  • Listing image dalam bentuk array.
Bersamaan dengan kandidat mengerjakan task saya pun juga melakukan hal yang sama agar jika ditanya pada kondisi real-nya saya bisa menjawab. Untuk hasilnya sudah saya upload pada github pada repo ini.

Berikut ini contoh jika digunakan sebagai library untuk script python tersebut.

from imagecrawler import ImageCrawler

site = 'https://somesite.com';
obj = ImageCrawler(site)
obj.get_images()
for image in obj.images:
    print(image)

Comments

Post a Comment

Popular posts from this blog

Menambahkan Library Path Pada Pycharm

Image
Pada saat menggunakan pycharm saya mengalami kendala pada saat ingin menggunakan external library diluar dari library yang dipasang via PIP (biasanya dalam virtual environment). Meskipun direktori yang berisikan external library tersebut sudah dimasukan ke dalam environment variable PYTHONPATH pun tidak dianggap PyCharm untuk dilakukan scan sehingga tidak bisa muncul dalam autocomplete-nya. Setelah searching dan dicoba ternyata hanya dengan set pada bagian Interpreter Paths. Berikut langkah-langkahnya: Buka Settings. Arahkan ke Project Interpreter . Klik pada logo gear yang terdapat pada pojok kanan atas dan pilih Show All ... Pilih interpreter python yang digunakan pada project dan pilih opsi Show paths for selected interpreter yang terdapat pada pojok kanan bawah. Tambahkan direktori yang berisikan external library dan klik pada tombol  OK untuk menerapkan perubahan.  
Read more

Running debug SMTP server with python

Python has builtin module for creating smtp server since version 2.x, sometime for me it's very useful when i just want to run lightweight smtp instance without need to run the actual one such as postfix (in zimbra distribution). the purpose of it may vary but i often used for debugging mail sending between smtp server. It's very easy to use it, no code need just execute following command. $ python -m smtpd -d -n -c DebuggingServer 0.0.0.0:10025 Explanation: -m : run inline command from specific module. -d : print out all smtp message in wire. -n : the daemon will run as nobody . -c : smtpd class that will be used, if you not specified it then it will use PureProxy (transfer received smtp message to another smtp instance) 0.0.0.0:25 specified in which IP and port where it will listen. Further more you can see more detail by from it's help message   $ python -m smtpd --help
Read more

Tutorial membuat menu/navigasi pada django

Selama ini dalam membuat aplikasi web dengan Django untuk bagian navigasi menu saya biasanya membuat secara manual dengan set listing menunya pada settings.py (beserta dengan hak aksesnya) dan listing tersebut saya inject ke template melalui custom templatetags. Karena cukup repetitif saya mencari via google untuk keyword django app menu , dan tentunya situs djangopackages.org terlisting lebih awal namun pada hasil search selanjutnya mengarahkan ke dokumentasi django-simple-menu , karena setelah ditelusuri tahu app django-simple-menu dimaintain oleh jazzband saya pun tanpa ragu langsung coba app tersebut pada projek django yang sedang saya kerjakan dan memang simple dan bagus.  Berikut ini contoh untuk contoh penggunaannya: Note: saya menggunakan django versi 1.11 Instalasi Menggunakan perintah pip sebagaimana pemasangan library python lainnya. pip install django-simple-menu Set pada INSTALLED_APPS dengan nama menu INSTALLED_APPS = [ 'menu' ]
Read more