Web scraping, veri toplama süreçlerinin otomatikleştirilmesi açısından son derece güçlü bir araçtır. Ancak bu gücün sorumlulukla kullanılmaması, hem hukuki sorunlara yol açabilir hem de hedef sitenin hizmet kalitesini olumsuz etkileyebilir. Bu dersimizde, etik scraping kavramını derinlemesine inceleyecek, Rate Limit ve Terms of Service (ToS) gibi kritik noktaları nasıl yöneteceğimizi adım adım göstereceğiz. Amacımız, kodlamaya odaklanırken aynı zamanda sorumlu bir internet vatandaşlığı bilincini de kazandırmaktır.
Web Scraping Etiği Nedir?
Etik scraping, bir web sitesinden veri çekerken aşağıdaki üç temel ilkeyi gözetmeyi ifade eder:
- İzin: Site sahibi tarafından açıkça izin verilen veri tiplerini ve erişim yöntemlerini kullanmak.
- Yük: Sunucuya aşırı yük bindirmemek; istek sıklığını sınırlamak.
- Şeffaflık: Topladığınız verileri nasıl kullandığınızı ve sakladığınızı belgelerle desteklemek.
Bu ilkeler, sadece yasal riskleri azaltmakla kalmaz, aynı zamanda internet ekosisteminin sürdürülebilirliğine de katkı sağlar.
Temel Prensipler ve Yasal Çerçeve
Her ülkenin veri toplama ve kullanımına ilişkin farklı yasaları vardır; ABD'de Computer Fraud and Abuse Act (CFAA), Avrupa’da ise General Data Protection Regulation (GDPR) en çok referans verilen yasalardır. Bunun yanında, bir sitenin Terms of Service (ToS) belgesi, o siteye ilişkin özel kuralları içerir. ToS’da “scraping yasaktır” ibaresi varsa, bu kuralı ihlal etmek sözleşme ihlali anlamına gelir ve dava riskini artırır.
Yasal çerçeveyi ihmal etmemek için şu adımları izleyebilirsiniz:
- Siteyi ziyaret edip
robots.txtdosyasını kontrol edin; buradaUser-agent: *altındaDisallowsatırları bulunabilir. - ToS’yi okuyun ve veri toplama ile ilgili bölümleri not alın.
- Gerekirse site sahibiyle iletişime geçerek resmi bir API ya da veri paylaşım izni talep edin.
Adım Adım Etik Scraping Uygulaması
Aşağıda, Python kullanarak etik bir scraper oluşturmanın temel adımlarını bulacaksınız. Bu örnek, requests ve BeautifulSoup kütüphanelerini içerir ve rate limiting için time.sleep() fonksiyonunu kullanır.
import requests, time
from bs4 import BeautifulSoup
BASE_URL = "https://example.com/articles"
HEADERS = {"User-Agent": "MuratSoftBot/1.0 (+https://muratsoft.com)"}
def fetch_page(page):
resp = requests.get(f"{BASE_URL}?page={page}", headers=HEADERS)
resp.raise_for_status()
return resp.text
def parse(html):
soup = BeautifulSoup(html, "html.parser")
for article in soup.select("article h2.title"):
print(article.get_text(strip=True))
for p in range(1, 6):
html = fetch_page(p)
parse(html)
time.sleep(2) # 2 saniye bekleyerek rate limit'i uygula
Bu kod parçası, her sayfa isteği arasında iki saniyelik bir gecikme ekleyerek sunucuya aşırı yük bindirmeyi önler. Ayrıca User-Agent başlığı sayesinde kimlik bilgisi verilir; bu, sitenin sizi tanımasına ve gerektiğinde iletişime geçmesine olanak tanır.
PHP ile Basit Scraper Örneği
Python dışındaki dillerde de etik scraping prensiplerini uygulamak mümkündür. Aşağıdaki PHP örneği, aynı mantığı cURL ve DOMDocument kullanarak gösterir.
<?php
$baseUrl = "https://example.com/articles";
$userAgent = "MuratSoftBot/1.0 (+https://muratsoft.com)";
function fetchPage($url, $ua) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
$response = curl_exec($ch);
curl_close($ch);
return $response;
}
function parseHtml($html) {
$doc = new DOMDocument();
@$doc->loadHTML($html);
$xpath = new DOMXPath($doc);
$titles = $xpath->query("//article//h2[@class='title']");
foreach ($titles as $node) {
echo trim($node->textContent) . "\n";
}
}
for ($page = 1; $page <= 5; $page++) {
$url = $baseUrl . "?page=" . $page;
$html = fetchPage($url, $userAgent);
parseHtml($html);
sleep(2); // rate limit
}
?>
PHP kodu da aynı etik kuralları izler: User-Agent eklenir, sleep(2) ile istekler arası gecikme sağlanır ve robots.txt kontrolü yapılması önerilir.
Sık Karşılaşılan Hatalar ve Çözümler
- HTTP 429 – Too Many Requests: Sunucu, istek sıklığının yüksek olduğunu algıladığında bu yanıtı verir. Çözüm:
time.sleep()veyasleep()süresini artırın veRetry-Afterbaşlığını kontrol edin. - IP Ban: Çok sayıda istek aynı IP üzerinden geldiğinde site IP’yi kara listeye alabilir. Çözüm: Proxy rotasyonu veya VPN kullanarak IP dağıtımı yapın.
- HTML Değişiklikleri: Site tasarımı değiştiğinde CSS seçicileri kırılabilir. Çözüm: Scraper’ı düzenli olarak test edin ve
try/exceptbloklarıyla hataları yakalayın. - robots.txt ihlali: Dosyada “Disallow: /” gibi bir kural varsa, bu bölgeye erişim yasaktır. Çözüm: Kuralı ihlal etmeyin; alternatif veri kaynakları arayın.
Özet ve Kontrol Listesi
Bu derste öğrendiklerinizi pekiştirmek için aşağıdaki kontrol listesini kullanabilirsiniz. Her maddeyi uyguladığınızda işaretleyin.
- Site’nin
robots.txtdosyasını inceledim ve izin verilen yolları belirledim. - ToS’yi okudum, veri toplama ile ilgili kısıtlamaları anladım.
- İstekler arasında en az 2 saniye bekleyerek rate limit’i uyguladım.
- Bir
User-Agentbaşlığı ekleyerek kimliğimi belirttim. - Python ve PHP örneklerini çalıştırdım, çıktıyı kaydettim.
- Karşılaştığım hataları (429, IP ban vb.) belgeleyip çözüm yollarını not aldım.
- Gelecek ders için eksik kalan soruları işaretledim.
SSS
Soru 1: robots.txt dosyası yasal bir zorunluluk mudur?
Cevap: Hayır, robots.txt bir standarttır ve yasal bağlayıcılığı yoktur, ancak çoğu site bu dosyayı saygı göstermek amacıyla kullanır. İhlali, sitenin hizmet şartlarını (ToS) çiğnemek anlamına gelebilir.
Soru 2: Rate limit’i nasıl dinamik olarak ayarlayabilirim?
Cevap: Sunucunun Retry-After başlığını okuyarak bekleme süresini dinamik olarak belirleyebilir ya da bir “exponential backoff” stratejisi uygulayabilirsiniz.
Soru 3: Scraping yaparken kişisel verileri toplamak yasal mı?
Cevap: Kişisel veri toplama, GDPR, KVKK gibi veri koruma yasalarına tabidir. Açık rıza olmadan kişisel veri toplamak çoğu ülkede yasaktır.
Yorumlar
Henüz onaylanmış yorum yok. İlk yorumu siz yazın.
Yorum yaz
Yorumunuz yönetici onayından sonra yayınlanır.