Cara Menggunakan Wget dengan Proxy (Tanpa Terjebak Masalah Umum)

Terakhir diperbarui pada August 20, 2026
Cara Menggunakan Wget dengan Proxy (Tanpa Terjebak Masalah Umum)
Ringkasan AI
Atur Wget dengan proxy lewat flag CLI, file konfigurasi, atau variabel lingkungan. Panduan 2026 ini membahas prioritas, autentikasi, dan perbaikan untuk firewall kantor.

Menyiapkan proxy di Wget kelihatannya cuma urusan lima detik — sampai Anda habis satu jam cuma buat cari tahu kenapa request Anda sama sekali tidak lewat proxy, tanpa satu pun pesan error. Saya sudah melihat hal ini terjadi pada sysadmin senior maupun developer junior.

Masalah utamanya hampir tidak pernah ada di proxynya. Yang bikin pusing justru ada di empat tempat berbeda tempat Wget bisa membaca pengaturan proxy, kegagalan diam-diam saat Anda memakai kapitalisasi variabel yang salah, dan keanehan jaringan kantor yang tidak pernah dijelaskan di halaman manual mana pun. Panduan ini membahas semua cara mengonfigurasi Wget dengan proxy, aturan prioritas yang benar saat beberapa metode saling bertabrakan, output terminal nyata untuk setiap error yang umum, serta bagian khusus untuk pengguna Windows dan firewall kantor — audiens yang hampir selalu diabaikan oleh tutorial lain.

  • Tingkat Kesulitan: Pemula hingga Menengah
  • Waktu yang Dibutuhkan: ~15 menit untuk membaca dan mengatur; ~2 menit kalau sudah paham
  • Yang Anda Butuhkan: Instalasi Wget yang berfungsi (petunjuk di bawah), alamat proxy (host + port), dan opsional kredensial proxy

Coba Thunderbit untuk Ekstraksi Data Terstruktur

Apa Itu Wget dan Kenapa Dipakai dengan Proxy?

wget-through-proxy-diagram.webp

Wget adalah alat command-line untuk mengunduh file dan halaman web dari internet tanpa browser. Deskripsi resmi GNU menyebutnya sebagai "non-interactive network downloader" — artinya, ia bisa berjalan di latar belakang, melanjutkan transfer yang terputus, dan menangani unduhan rekursif tanpa perlu klik manual.

Dalam konteks ini, proxy adalah server perantara. Jadi, alih-alih komputer Anda terhubung langsung ke situs tujuan, Wget mengirim request ke proxy, lalu proxy yang meneruskannya. Alasan utamanya biasanya:

  • Kepatuhan firewall kantor — perusahaan mewajibkan semua traffic keluar lewat proxy yang disetujui
  • Privasi dan manajemen IP — request terlihat berasal dari IP proxy, bukan IP Anda
  • Geo-testing — mengambil resource yang terkunci wilayah tertentu atau menguji perilaku CDN dari lokasi spesifik
  • Pipeline pengumpulan data — mengunduh HTML lewat proxy berganti-ganti untuk riset atau monitoring
  • Lingkungan CI/CD — runner build di jaringan tertutup yang hanya bisa akses internet lewat proxy

Wget mendukung proxy HTTP, HTTPS, dan FTP secara native. Namun, Wget tidak mendukung SOCKS5. Kalau Anda butuh SOCKS5, curl mendukung secara native skema socks4://, socks5://, dan socks5h:// — atau Anda bisa membungkus Wget dengan alat seperti proxychains4.

Cara Menginstal Wget di Linux, macOS, dan Windows

Sebelum mengatur proxy, Anda perlu memastikan Wget sudah terpasang. Bagian ini singkat saja — ini prasyarat, bukan inti pembahasan.

Linux (Debian/Ubuntu dan RHEL/CentOS)

# Debian/Ubuntu
sudo apt update
sudo apt install wget

# RHEL/CentOS/Fedora
sudo dnf install wget

# Verifikasi
wget --version

Ubuntu 24.04 LTS menyertakan Wget 1.21.4, sementara Debian Trixie menggunakan 1.25.0. Paket CentOS Stream 10 menunjukkan 1.24.5.

macOS (Homebrew)

brew install wget
wget --version

Formula Homebrew saat ini menyediakan Wget stabil 1.25.0, dengan 396.818 instalasi dalam setahun terakhir.

Windows (Chocolatey dan Instalasi Manual)

choco install wget
wget --version

Package GNU Wget di Chocolatey melaporkan lebih dari 10 juta unduhan total, meskipun saat ini versinya 1.21.4. Biner biasanya berada di C:\ProgramData\chocolatey\bin\wget.exe.

Catatan penting untuk pengguna Windows: lokasi Wget mencari .wgetrc bisa berbeda tergantung build. Detailnya ada di bagian Windows di bawah.

4 Cara Menggunakan Wget dengan Proxy (dan Mana yang Sebaiknya Dipilih)

Ada empat metode, masing-masing dengan cakupan dan tingkat prioritas yang berbeda:

wgetrc-priority-bypass-proxy.webp

  1. Flag command-line -e — untuk sekali pakai, satu perintah
  2. File konfigurasi pengguna (~/.wgetrc) — berlaku untuk semua perintah Wget yang Anda jalankan
  3. File konfigurasi sistem (/etc/wgetrc) — berlaku untuk semua user di mesin tersebut
  4. Variabel lingkungan (http_proxy, https_proxy) — berlaku untuk seluruh sesi shell

Metode 1: Flag Command-Line (Proxy Sekali Pakai)

Paling cocok untuk tes cepat. Pengaturannya hilang setelah perintah selesai.

wget -e use_proxy=on -e http_proxy=http://HOST:PORT/ http://example.com/file.zip

Untuk target HTTPS:

wget -e use_proxy=on -e https_proxy=http://HOST:PORT/ https://example.com/

Tes cepat — ambil IP yang terlihat melalui proxy:

wget -qO- -e use_proxy=on -e http_proxy=http://HOST:PORT/ http://ifconfig.me

Kalau output menunjukkan IP proxy, bukan IP Anda, berarti berhasil.

Metode 2: File Konfigurasi Pengguna (~/.wgetrc)

Tambahkan baris berikut ke ~/.wgetrc (buat file-nya kalau belum ada):

use_proxy = on
http_proxy = http://proxy.company.com:8080/
https_proxy = http://proxy.company.com:8080/
no_proxy = localhost,127.0.0.1,.internal.company.com

Perhatikan spasi di sekitar = — itu adalah sintaks .wgetrc yang didokumentasikan. Semua perintah Wget yang Anda jalankan sebagai user ini sekarang akan lewat proxy.

Metode 3: Konfigurasi Seluruh Sistem (/etc/wgetrc)

Instruksinya sama seperti ~/.wgetrc, tetapi ditempatkan di file konfigurasi sistem. GNU mendokumentasikan ini sebagai file startup global — lokasi pastinya bergantung pada prefix instalasi. Lokasi yang umum:

  • /etc/wgetrc (kebanyakan package manager Linux)
  • /usr/local/etc/wgetrc (beberapa build Homebrew)
  • Path yang terlihat di output wget --version pada bagian "Wgetrc:"

Ini berguna untuk server bersama, container Docker, atau lingkungan apa pun di mana semua user harus lewat proxy yang sama.

Metode 4: Variabel Lingkungan (http_proxy / https_proxy)

export http_proxy=http://HOST:PORT/
export https_proxy=http://HOST:PORT/
export no_proxy=localhost,127.0.0.1,.internal.company.com

Ini memengaruhi seluruh sesi shell Anda — bukan hanya Wget. Alat seperti curl juga akan membacanya.

Peringatan penting: Wget hanya membaca nama variabel lingkungan dalam huruf kecil. HTTP_PROXY (huruf besar) diabaikan tanpa suara. Tidak ada error, tidak ada warning, tidak ada apa-apa. Saya akan tunjukkan output terminal persisnya di bagian gotcha, tetapi ini penting untuk langsung diingat sekarang.

Prioritas Metode Proxy: Mana yang Menang Saat Beberapa Metode Disetel

Kalau Anda mengatur proxy di variabel lingkungan dan di .wgetrc dan di command line, mana yang dipakai? Tidak ada yang menjelaskannya dengan rapi, jadi saya mengujinya.

Berikut urutan prioritas yang sudah saya uji dan didokumentasikan:

PrioritasMetodeCakupanMenimpa
1 (tertinggi)Flag CLI -eSatu perintahSemuanya
2~/.wgetrcUser saat iniConfig sistem + env vars
3/etc/wgetrcSeluruh sistemHanya env vars
4 (terendah)Env vars http_proxy / https_proxySesi shellTidak ada

Saya memverifikasi ini di Wget 1.25.0 dengan mengatur proxy yang saling bertentangan di setiap level. Saat environment mengarah ke port 3128, file config ke 3129, dan CLI ke 3130:

  • Config mengalahkan environment: Wget terhubung ke port 3129, mengabaikan 3128.
  • CLI mengalahkan config: Wget terhubung ke port 3130, mengabaikan 3129 dan 3128.

Jalur keluar daruratnya adalah --no-proxy. Opsi ini melewati semua pengaturan proxy, di mana pun diset:

wget --no-proxy https://internal-server.company.com/report.pdf

Skenario praktis: sysadmin Anda mengatur proxy di /etc/wgetrc, tetapi Anda perlu mengakses server internal secara langsung. Pakai --no-proxy untuk perintah itu saja, bukan mengedit config sistem.

Cara Menggunakan Wget dengan Proxy yang Pakai Autentikasi

auth-proxy-security-workflow.webp

Sebagian besar proxy bisnis dan rumahan memerlukan username dan password. Wget mendukung ini lewat dua pendekatan, dan keduanya memakai HTTP Basic authentication untuk kredensial proxy.

Menyertakan Kredensial Langsung di URL Proxy

wget -e use_proxy=on \
  -e http_proxy=http://USERNAME:PASSWORD@proxy.company.com:8080/ \
  http://example.com/file.zip

Ini juga bisa dipakai di .wgetrc:

http_proxy = http://USERNAME:PASSWORD@proxy.company.com:8080/
https_proxy = http://USERNAME:PASSWORD@proxy.company.com:8080/

Menggunakan Flag --proxy-user dan --proxy-password

wget --proxy-user=USERNAME --proxy-password=PASSWORD \
  -e use_proxy=on \
  -e http_proxy=http://proxy.company.com:8080/ \
  http://example.com/file.zip

Flag ini akan menimpa user:pass@ yang tertanam di URL proxy.

Menjaga Kredensial Tetap Aman

Kedua metode ini bisa membocorkan kredensial. GNU memperingatkan bahwa password di command line bisa terlihat lewat ps atau tool daftar proses. Cara menguranginya:

  • Mesin untuk satu user: Simpan kredensial di ~/.wgetrc dan kunci filenya: chmod 600 ~/.wgetrc
  • Pipeline CI/CD: Gunakan GitHub Actions encrypted secrets atau padanan di platform Anda. Pass sebagai variabel environment huruf kecil di definisi step — jangan pernah hardcode di YAML.
  • Build Docker: Jangan gunakan ARG atau ENV untuk secrets. Dokumentasi Docker secara eksplisit memperingatkan bahwa build arguments bisa ikut tersimpan di image akhir. Gunakan BuildKit secret mounts.
  • Kontrol versi: Jangan pernah commit .wgetrc yang berisi kredensial. Tambahkan ke .gitignore.

Satu nuansa khas Wget untuk GitHub Actions: nama secret biasanya disimpan dalam huruf besar sesuai konvensi, tetapi environment variable yang Anda expose ke Wget harus huruf kecil (http_proxy, bukan HTTP_PROXY).

Cara Menggunakan Wget dengan Proxy di Windows dan di Balik Firewall Kantor

Kebanyakan artikel tentang topik ini berhenti di "install dengan Chocolatey." Kalau Anda pengguna Windows atau berada di balik proxy kantor, justru di situlah masalah Anda baru mulai.

windows-pac-ntlm-config.webp

Di Mana Windows Mencari .wgetrc

Dokumentasi GNU mengatakan Wget membaca $HOME/.wgetrc kecuali variabel lingkungan WGETRC mengarah ke lokasi lain. Di Windows, $HOME bisa saja dipetakan ke %USERPROFILE% (misalnya C:\Users\alice), atau bisa juga tidak — tergantung apakah Anda memakai build Chocolatey, build MSYS2, Git Bash, atau binary standalone.

Saran saya: hindari tebak-tebakan dan gunakan flag --config agar perilakunya pasti:

wget --config=C:\Users\alice\wgetrc https://example.com/file.zip

Untuk menguji apakah build Anda membaca file config dari lokasi tertentu, buat file uji yang mengarah ke proxy yang jelas-jelas salah:

; C:\Users\alice\wget-test.rc
use_proxy = on
http_proxy = http://127.0.0.1:3128/

Lalu jalankan:

wget --config=C:\Users\alice\wget-test.rc --spider http://example.com/

Kalau Wget mencoba tersambung ke 127.0.0.1:3128, berarti file itu dibaca.

Menetapkan Variabel Lingkungan Proxy di Windows

CMD (hanya sesi saat ini):

set http_proxy=http://HOST:PORT/
set https_proxy=http://HOST:PORT/
wget http://example.com/

PowerShell (hanya sesi saat ini):

$env:http_proxy = "http://HOST:PORT/"
$env:https_proxy = "http://HOST:PORT/"
wget http://example.com/

Permanen (tetap ada setelah reboot):

setx http_proxy http://HOST:PORT/
setx https_proxy http://HOST:PORT/

Setelah setx, Anda perlu membuka jendela terminal baru. Sesi yang sekarang tidak akan melihat perubahan itu.

Gotcha Proxy Kantor: PAC File, NTLM Auth, dan Menemukan Alamat Proxy Anda

Ada tiga hal yang paling sering menjebak pengguna kantor:

PAC file: Banyak perusahaan menggunakan Proxy Auto-Configuration (PAC) file — skrip berbasis JavaScript yang memberi tahu browser proxy mana yang dipakai untuk URL tertentu. Wget tidak punya interpreter JavaScript, jadi ia tidak bisa membaca PAC file. Dokumentasi curl juga menjelaskan hal yang sama. Solusinya: buka PAC file (atau tanya IT), cari hasil PROXY host:port untuk domain target Anda, lalu masukkan alamat statis itu ke Wget.

Autentikasi NTLM: Autentikasi proxy Wget hanya mendukung Basic auth. Kalau proxy kantor Anda membutuhkan NTLM dan Anda mendapat error 407 Proxy Authentication Required, jangan buang waktu mencoba berbagai sintaks --proxy-user. Instal Cntlm — relay lokal yang menangani autentikasi NTLM/NTLMv2 dan menyediakan antarmuka Basic-auth untuk Wget. Cntlm masih dipelihara (update terakhir Oktober 2025, sekitar ~395 unduhan/minggu).

Alur keputusan untuk pengguna proxy kantor:

  1. Coba set http_proxy=http://YOUR_PROXY:PORT/ lalu jalankan Wget.
  2. Jika muncul error 407 dan perusahaan Anda memakai NTLM → instal Cntlm, konfigurasi dengan kredensial domain Anda, lalu arahkan Wget ke port lokal Cntlm (biasanya http://127.0.0.1:3128/).
  3. Jika perusahaan memakai PAC file → ambil PROXY host:port yang sebenarnya dari PAC file atau minta alamat proxy statis ke IT.

Port proxy kantor yang umum: 3128 (gaya Squid), 8080 (proxy HTTP umum), 8888 (proxy debugging seperti Fiddler/Charles). Ini hanyalah konvensi, bukan jaminan.

Gotcha Umum Saat Menggunakan Wget dengan Proxy (Beserta Output Error Nyata)

Sekarang bagian yang dijanjikan di judul. Semua output di bawah ini direproduksi pada Wget 1.25.0 (macOS, Homebrew) pada 2026-06-01.

wget-troubleshooting-diagnostic-flow.webp

Gotcha 1: Prefix http:// Tidak Ditulis

Beberapa panduan lama mengklaim ini pasti gagal. Di Wget 1.25.0, menyetel http_proxy=127.0.0.1:3128 justru berfungsi — Wget diam-diam menambahkan http://:

Prepended http:// to '127.0.0.1:3128'
Spider mode enabled. Check if remote file exists.
--2026-06-01 10:38:15--  http://example.com/
Connecting to 127.0.0.1:3128... failed: Operation not permitted.

Tetapi tetap saja ia terhubung ke proxy yang benar. Meski begitu, saya tetap menyarankan selalu menuliskan prefix http:// dan trailing slash. Itu menghindari ambiguitas antar versi Wget dan membuat sintaks kredensial (http://user:pass@host:port/) jadi jelas.

Gotcha 2: use_proxy=yes vs. use_proxy=on

Di pengujian Wget 1.25.0 saya, baik yes maupun on berfungsi. Namun nilai yang tidak valid akan gagal dengan pesan yang jelas:

wget: use_proxy: Invalid boolean 'true'; use `on' or `off'.

Pakai on untuk kompatibilitas paling luas — ini sesuai dengan format boolean yang didokumentasikan di manual dan petunjuk error bawaan Wget.

Gotcha 3: HTTP_PROXY Huruf Besar Diabaikan Tanpa Suara

Ini gotcha yang paling menyebalkan karena tidak ada error sama sekali. Wget langsung terhubung langsung, seolah-olah Anda tidak pernah menyetel proxy.

Huruf besar (rusak — proxy tidak dipakai):

HTTP_PROXY=http://127.0.0.1:3128/ wget --no-config --spider http://example.com/
Spider mode enabled. Check if remote file exists.
--2026-06-01 10:40:06--  http://example.com/
Resolving example.com (example.com)... 198.18.58.61
Connecting to example.com (example.com)|198.18.58.61|:80... connected.
HTTP request sent, awaiting response... 200 OK

Huruf kecil (berfungsi — proxy dicoba):

http_proxy=http://127.0.0.1:3128/ wget --no-config --spider http://example.com/
Spider mode enabled. Check if remote file exists.
--2026-06-01 10:40:16--  http://example.com/
Connecting to 127.0.0.1:3128... failed: Connection refused.

Lihat bedanya? Versi huruf besar me-resolve example.com secara langsung. Versi huruf kecil mencoba proxy. Tidak ada warning di keduanya. Curl punya keanehan serupa — ia menerima huruf besar untuk sebagian besar variabel proxy, tetapi secara eksplisit menolak HTTP_PROXY huruf besar demi alasan keamanan.

Solusi: Selalu gunakan http_proxy dan https_proxy dalam huruf kecil.

Gotcha 4: Proxy Lama di .wgetrc Menyebabkan "Connection Refused"

Kalau Anda (atau sysadmin Anda, atau image Docker) masih menyisakan alamat proxy lama di file config, Anda akan melihat sesuatu seperti ini:

Spider mode enabled. Check if remote file exists.
--2026-06-01 10:39:10--  http://example.com/
Connecting to 127.0.0.1:3128... failed: Connection refused.

Error-nya menunjuk ke IP proxy lama, bukan situs target. Urutan pengecekan (mengikuti hierarki prioritas):

  1. Periksa command Anda untuk flag -e atau alias shell
  2. Periksa ~/.wgetrc (atau file yang ditunjuk WGETRC)
  3. Periksa config sistem (path terlihat lewat wget --version)
  4. Periksa environment: env | grep -i proxy

Untuk debugging, --no-config adalah teman terbaik — ini membuat Wget melewati semua file config:

wget --no-config --spider http://example.com/

Kalau ini berhasil, masalahnya ada di file config.

Gotcha 5: Bingung dengan Sintaks Proxy HTTPS

Ini sering menjebak banyak orang. Saat Anda mengatur https_proxy, URL proxy-nya biasanya tetap http://, bukan https://. Alasannya, Wget mengirim request HTTP CONNECT melalui proxy untuk membuat terowongan bagi sesi HTTPS terenkripsi.

Benar:

https_proxy=http://proxy.company.com:8080/
wget https://example.com/

Wget mengirim CONNECT example.com:443 HTTP/1.1 ke proxy, lalu menyalurkan HTTPS melewatinya.

Salah (untuk URL target HTTP dengan endpoint proxy HTTPS):

http_proxy=https://127.0.0.1:18082/
wget http://example.com/
Error in proxy URL https://127.0.0.1:18082/: Must be HTTP.

Wget 1.25.0 menolak https:// sebagai URL proxy untuk target HTTP secara langsung. Gunakan https_proxy=http://HOST:PORT/ kecuali organisasi Anda memang sudah mendokumentasikan endpoint proxy HTTPS dan Anda sudah mengujinya dengan build Wget Anda.

Cheat Sheet Perintah Proxy Wget (Referensi Cepat yang Layak Disimpan)

Simpan tabel ini. Di sini terkumpul semua flag dan directive Wget terkait proxy dalam satu tempat.

Flag / DirectiveKonteksContohCatatan
-e use_proxy=onCLI-e use_proxy=onon paling aman; beberapa build juga menerima yes
-e http_proxy=CLI-e http_proxy=http://proxy:8080/Sertakan prefix http:// dan trailing /
-e https_proxy=CLI-e https_proxy=http://proxy:8080/URL proxy biasanya tetap http:// meskipun targetnya HTTPS
--proxy-userCLI--proxy-user=adminMenimpa user:pass@ yang tertanam
--proxy-passwordCLI--proxy-password=secretTerlihat di ps — hindari di sistem bersama
--no-proxyCLI--no-proxyMelewati SEMUA pengaturan proxy dari semua sumber
--no-configCLI--no-configMelewati semua file config — berguna untuk debugging
--config=FILECLI--config=/tmp/wgetrcPath config yang pasti — bagus untuk Windows dan CI
http_proxy.wgetrc / envhttp_proxy = http://proxy:8080/File config memakai spasi di sekitar =; env var harus huruf kecil
https_proxy.wgetrc / envhttps_proxy = http://proxy:8080/Format sama seperti http_proxy
ftp_proxy.wgetrc / envftp_proxy = http://proxy:8080/Untuk pengambilan FTP
no_proxy.wgetrc / envno_proxy = localhost,127.0.0.1,.corpDaftar domain dipisahkan koma
proxy_user.wgetrcproxy_user = adminSetara dengan --proxy-user
proxy_password.wgetrcproxy_password = secretLindungi file dengan chmod 600

Kapan Wget + Proxy Bukan Pilihan yang Tepat (dan Apa Alternatifnya)

data-extraction-workflow.webp

Setelah semua konfigurasi proxy tadi, ini pendapat yang agak kontra arus: kadang Anda sebaiknya tidak perlu repot-repot.

Banyak orang yang mencari "wget proxy" sebenarnya tidak sedang mencoba mengunduh satu file. Mereka ingin mengumpulkan data terstruktur dari website — harga produk, daftar kontak, listing properti — dan mereka otomatis memilih Wget karena itulah tool command-line yang mereka kenal. Masalahnya, Wget hanya memberi Anda HTML mentah. Anda masih perlu mem-parse, membersihkan, dan menyusunnya. Dan kalau Anda memakai proxy bergantian untuk menghindari blok, sekarang Anda harus memelihara daftar proxy, script download, parser, dan pipeline ekspor.

Tujuan AndaTool TerbaikAlasan
Mengunduh satu file lewat proxywget dengan flag proxySederhana, satu perintah
Mirror situs atau direktori lewat proxywget --recursive + config proxyPengambilan rekursif adalah kekuatan utama Wget
Scrape data terstruktur (tabel, listing, kontak)ThunderbitWget hanya memberi HTML mentah — tetap perlu parsing. AI Thunderbit membaca halaman dan mengeluarkan data terstruktur ke Excel, Google Sheets, Airtable, atau Notion tanpa kode. Scraping cloud-nya menangani rotasi IP dan proteksi anti-bot, jadi Anda tidak perlu mengatur proxy sama sekali.
Request REST API lewat proxycurlKontrol header lebih baik, dukungan JSON native, dukungan SOCKS5
Pengumpulan data terjadwal berkelanjutanThunderbit Scheduled Scraper atau cron + wgetThunderbit menyesuaikan diri saat layout halaman berubah; script cron + wget sering rusak diam-diam

Wget sangat bagus untuk download file. Tetapi alur kerja "atur proxy → rotasi IP → unduh HTML → tulis parser → ekspor ke spreadsheet" punya terlalu banyak bagian yang bergerak kalau yang sebenarnya Anda butuhkan hanyalah tabel data. Kalau itu terdengar seperti kasus Anda, ekstensi Chrome kami menangani seluruh pipeline hanya dalam dua klik. Untuk pembahasan lebih lanjut, lihat panduan kami tentang AI web scraping dan web scraping tanpa coding.

Tetapi kalau tujuan Anda adalah "unduh file ZIP ini lewat proxy kantor" — Wget tetap pilihan yang tepat, dan sekarang Anda tahu cara mengaturnya dengan benar.

Poin-Poin Penting

Versi singkatnya:

  • Empat metode, prioritas jelas: Flag CLI mengalahkan user config, yang mengalahkan system config, yang mengalahkan environment variables. --no-proxy mengalahkan semuanya.
  • Selalu gunakan huruf kecil untuk variabel lingkungan (http_proxy, bukan HTTP_PROXY). Huruf besar diabaikan tanpa suara.
  • Selalu sertakan http:// di URL proxy Anda, bahkan untuk https_proxy. Endpoint proxy adalah HTTP; HTTPS ditunnel lewat CONNECT.
  • Gunakan on untuk nilai boolean di .wgetrc dan flag -e. Ini pilihan paling aman lintas versi Wget.
  • Pengguna Windows: Gunakan --config=C:\path\to\wgetrc agar tidak ambigu soal file config. Gunakan set (CMD) atau $env: (PowerShell) untuk variabel proxy sesi.
  • Pengguna proxy kantor: Wget tidak bisa membaca PAC file dan tidak mendukung autentikasi NTLM secara native. Gunakan Cntlm sebagai relay lokal jika perlu.
  • Simpan cheat sheet di atas — ini akan menghemat Anda dari harus membaca ulang artikel ini setiap kali lupa nama flag.

Kalau tujuan utama Anda adalah ekstraksi data terstruktur, Thunderbit atau curl mungkin lebih cocok. Sesi debugging terbaik adalah yang tidak perlu Anda mulai sama sekali.

FAQ

1. Apakah Wget mendukung proxy SOCKS5?

Tidak. GNU Wget 1.x hanya mendukung proxy HTTP, HTTPS, dan FTP. Proyek Wget2 pernah menerima permintaan fitur SOCKS5, tetapi itu bukan opsi standar yang terdokumentasi. Untuk SOCKS5, gunakan curl dengan skema native socks5:// atau socks5h://, atau bungkus Wget dengan proxychains4 untuk memaksa routing SOCKS.

2. Kenapa pengaturan proxy saya diabaikan saat memakai HTTP_PROXY huruf besar?

Wget hanya membaca nama variabel lingkungan dalam huruf kecil (http_proxy, https_proxy, ftp_proxy, no_proxy). Varian huruf besar seperti HTTP_PROXY diabaikan diam-diam — tanpa error, tanpa warning. Ini salah satu masalah paling umum dan paling bikin frustrasi karena tidak ada petunjuk bahwa ada yang salah. Selalu gunakan huruf kecil.

3. Bagaimana cara melewati proxy untuk domain tertentu?

Gunakan directive no_proxy, baik sebagai variabel lingkungan maupun di .wgetrc:

export no_proxy=localhost,127.0.0.1,.mycompany.com

Atau di ~/.wgetrc:

no_proxy = localhost,127.0.0.1,.mycompany.com

Domain dipisahkan dengan koma. Tanda titik di depan (.mycompany.com) mencocokkan semua subdomain.

4. Bisakah Wget dipakai dengan rotating proxies?

Wget sendiri tidak punya rotasi proxy bawaan. Ada dua opsi: gunakan penyedia proxy yang merotasi IP di sisi server (jadi Anda selalu memakai alamat gateway yang sama, tetapi IP keluar berubah), atau buat script shell yang memilih proxy acak dari daftar lalu meneruskannya lewat -e http_proxy=... setiap kali dijalankan. Untuk hal yang lebih kompleks — rotasi otomatis, retry logic, penanganan anti-bot — tool scraping khusus biasanya lebih cocok.

5. Apa perbedaan http_proxy dan https_proxy di Wget?

http_proxy dipakai saat URL tujuan adalah http://. https_proxy dipakai saat URL tujuan adalah https://. Pada kedua kasus, URL proxy-nya sendiri biasanya tetap alamat http://. Untuk target HTTPS, Wget mengirim request HTTP CONNECT lewat proxy untuk membangun terowongan, lalu enkripsi HTTPS yang sebenarnya terjadi end-to-end antara Wget dan server tujuan. Proxy melihat hostname (dari request CONNECT) tetapi tidak bisa membaca traffic yang terenkripsi.

Coba Thunderbit untuk AI Web Scraping Get Started Free

Pelajari Lebih Lanjut

Ke
Ke
CTO di Thunderbit | Senior Data Scientist & Expert ML Dengan pengalaman hampir satu dekade di bidang machine learning dan data science, Ke Shen adalah lulusan Columbia University dan mantan Senior Data Scientist di Walmart Labs. Dengan keahlian mendalam yang diakui sejawat dalam Python, R, Java, dan Statistik, ia membagikan wawasan teruji lapangan tentang bagaimana membawa algoritma AI yang kompleks dari teori ke arsitektur siap produksi.
Topics
Web Scraping ToolsAI Web Scraper
Daftar isi
Thunderbit · Agen data web AI

Ekstrak data dari halaman apa pun dalam 1 klik

Dipercaya 250.000+ pengguna
tersedia paket gratis
Dari halaman web ke spreadsheet
Jelaskan kebutuhanmu — Agen AI Thunderbit akan men-scrape lalu mengekspor ke Excel, Google Sheets, Airtable, atau Notion. Gratis untuk memulai.
Chrome Store Rating
PRODUCT HUNT#1 Product of the Week