Veri Toplama

Veri toplama; fiyat listeleri, kamuya açık ilanlar, sıralama sayfaları ya da açık veri kümeleri gibi kaynaklardan düzenli ve tekrarlanabilir biçimde bilgi almaktır. Bu işin ağ tarafı iki soruya iner: istekler hangi adresten çıkacak ve bu adres süre boyunca ne kadar sabit kalacak. Proxy, bu iki kararı uygulamanızdan ayırıp tek bir yapılandırma noktasında toplar.

Hattın ağ katmanı nasıl kurulur

Toplayıcı uygulama proxy gateway'ine HTTP, HTTPS (CONNECT) ya da SOCKS5 ile bağlanır; gateway kimlik doğrulamayı yapar ve isteği çıkış IP üzerinden hedefe iletir. Hedef servis yalnızca çıkış IP'yi görür. Bu nedenle hattı tasarlarken uygulamanın kendisinden bağımsız üç ölçüt belirlenir.

IP türü

Datacenter, ISP, mobil ve residential adresler farklı ağ kayıtlarına sahiptir. Hedef kaynağın bu kayıtlara nasıl davrandığı toplama planının parçasıdır; hangi türün uygun olduğu kaynağa göre değişir ve önceden varsayılmamalıdır.

Oturum davranışı

Giriş gerektiren ya da çok adımlı akışlarda aynı IP'nin sürmesi gerekir. Bağımsız tek istekli okumalarda ise her istekte farklı çıkış IP daha uygun olabilir. İkisi de ürün bazında farklı sunulur.

Trafik modeli

Bazı paketler IP adedine ve süreye, bazıları harcanan veriye (GB) göre fiyatlanır. Sayfa boyutu büyük ve düzenli çalışan hatlarda bu fark maliyet planını doğrudan etkiler.

Protokol seçimi

Çoğu HTTP istemcisi ve kütüphanesi HTTP(S) proxy'yi yerleşik destekler. SOCKS5 uygulama katmanından bağımsızdır ve HTTP dışı trafik için de kullanılabilir; DNS çözümlemesini proxy tarafında yaptırmak istiyorsanız istemcide socks5h:// biçimi kullanılır. Ayrıntı için DNS sızıntısı ve socks5h rehberine bakın. IPv6 Proxy ürünü yalnızca HTTP(S) ile çalışır; SOCKS5 yoktur.

curl -x http://KULLANICI:SIFRE@proxy.example.com:PORT https://api.ipify.org
curl -x socks5h://KULLANICI:SIFRE@proxy.example.com:PORT https://api.ipify.org

Yukarıdaki örnekler standart cURL ile protokol düzeyindedir; DATACENTERPROXY'ye ait bir SDK veya API yoktur. Gerçek adres, port ve kimlik bilgileri sipariş sonrası müşteri panelinde teslim edilir.

Uyum ve sorumlu kullanım

• Yalnızca kamuya açık ve toplanmasına izin verilen veriyi hedefleyin; giriş duvarının arkasındaki ya da kişisel veri içeren kaynaklar için ayrıca hukuki değerlendirme yapın.
• İstek hızını kaynağa göre sınırlayın. Hedef sunucuyu yoran bir toplama hattı hem etik hem teknik açıdan sorunludur; bekleme süresi ve yeniden deneme mantığını açıkça tanımlayın.
• Kimlik bilgilerini koruyun. Proxy kullanıcı adı ve şifresini kaynak koduna gömmek yerine ortam değişkeni ya da gizli anahtar deposunda tutun.
• Çıkışı doğrulayın. Hatta almadan önce küçük bir istekle çıkış IP'nin ve protokolün beklediğiniz gibi olduğunu kontrol edin; bunun için proxy kontrol aracı kullanılabilir.
• Makul kullanım kuralları geçerlidir. Limitsiz olarak sunulan paketlerde de altyapıyı sürekli tam kapasitede zorlamak ihlal sayılabilir; ayrıntılar sipariş sayfasında ve mağaza politikalarında yer alır.

Lokasyon ve sipariş

Bazı ürünlerde ülke ya da şehir sipariş sırasında seçilemez; bu durumda belirli bir lokasyon için siparişten önce destekten teyit almanız gerekir. Doğrulanmış lokasyonların listesi için Global Ağ sayfasına bakın. Sipariş saglamproxy.com üzerinde, Türkçe arayüzde tamamlanır.