Tujuh cara hemat kuota saat scraping

Hampir tiap pelanggan yang komplain "kok kuotanya cepet habis" ternyata lagi ngunduh hal-hal yang nggak mereka butuhin. Ini tujuh perbaikan yang paling sering ngasih hasil langsung.

1. Matikan gambar

Ini yang paling besar dampaknya. Di halaman produk marketplace, gambar sering makan bagian terbesar dari total data — di banyak halaman produk lebih dari separuhnya. Kalau lo cuma butuh harga dan nama produk, matiin gambarnya — kuota lo bisa awet lima kali lipat.

2. Matikan font dan video

Font khusus itu ratusan kilobyte per halaman dan lo nggak butuh sama sekali. Video yang jalan otomatis lebih parah lagi.

3. Jangan pakai browser kalau nggak perlu

Browser lengkap ngunduh semua yang halaman itu minta. Kalau situsnya masih ngirim data di HTML awal, permintaan HTTP biasa jauh lebih hemat.

4. Ambil dari API-nya kalau ada

Banyak situs punya alamat data internal yang dipakai halamannya sendiri. Isinya data mentah, ukurannya sepersepuluh, dan lebih jarang berubah bentuk.

5. Jangan ulang halaman yang nggak berubah

Simpan tanda waktu terakhir lo ambil. Kalau situsnya bilang belum ada perubahan, lo nggak perlu ngunduh ulang isinya.

6. Perkecil ukuran layar palsu

Sebagian situs ngirim gambar beresolusi tinggi buat layar besar. Setel jendela browser lo ke ukuran HP dan gambarnya jadi jauh lebih kecil.

7. Cek ada yang bocor nggak

Kalau kuota habis padahal kerjaan lo nggak jalan, biasanya ada perkakas lain yang masih pakai proxy yang sama. Halaman pemakaian di dashboard nunjukin jam berapa datanya kepakai.