Sayfa yükleniyor

Destek Müşteri Girişi Sepet (0)

Ders 96 – Web scraping etiği

Web scraping yaparken yasal ve etik sorumlulukları, rate limit ve hizmet şartlarını nasıl uygulayacağınızı adım adım öğrenin.

Ders 96 – Web scraping etiği

Web scraping, veri toplama süreçlerinin otomatikleştirilmesi açısından son derece güçlü bir araçtır. Ancak bu gücün sorumlulukla kullanılmaması, hem hukuki sorunlara yol açabilir hem de hedef sitenin hizmet kalitesini olumsuz etkileyebilir. Bu dersimizde, etik scraping kavramını derinlemesine inceleyecek, Rate Limit ve Terms of Service (ToS) gibi kritik noktaları nasıl yöneteceğimizi adım adım göstereceğiz. Amacımız, kodlamaya odaklanırken aynı zamanda sorumlu bir internet vatandaşlığı bilincini de kazandırmaktır.

Web Scraping Etiği Nedir?

Etik scraping, bir web sitesinden veri çekerken aşağıdaki üç temel ilkeyi gözetmeyi ifade eder:

  • İzin: Site sahibi tarafından açıkça izin verilen veri tiplerini ve erişim yöntemlerini kullanmak.
  • Yük: Sunucuya aşırı yük bindirmemek; istek sıklığını sınırlamak.
  • Şeffaflık: Topladığınız verileri nasıl kullandığınızı ve sakladığınızı belgelerle desteklemek.

Bu ilkeler, sadece yasal riskleri azaltmakla kalmaz, aynı zamanda internet ekosisteminin sürdürülebilirliğine de katkı sağlar.

Temel Prensipler ve Yasal Çerçeve

Her ülkenin veri toplama ve kullanımına ilişkin farklı yasaları vardır; ABD'de Computer Fraud and Abuse Act (CFAA), Avrupa’da ise General Data Protection Regulation (GDPR) en çok referans verilen yasalardır. Bunun yanında, bir sitenin Terms of Service (ToS) belgesi, o siteye ilişkin özel kuralları içerir. ToS’da “scraping yasaktır” ibaresi varsa, bu kuralı ihlal etmek sözleşme ihlali anlamına gelir ve dava riskini artırır.

Yasal çerçeveyi ihmal etmemek için şu adımları izleyebilirsiniz:

  1. Siteyi ziyaret edip robots.txt dosyasını kontrol edin; burada User-agent: * altında Disallow satırları bulunabilir.
  2. ToS’yi okuyun ve veri toplama ile ilgili bölümleri not alın.
  3. Gerekirse site sahibiyle iletişime geçerek resmi bir API ya da veri paylaşım izni talep edin.

Adım Adım Etik Scraping Uygulaması

Aşağıda, Python kullanarak etik bir scraper oluşturmanın temel adımlarını bulacaksınız. Bu örnek, requests ve BeautifulSoup kütüphanelerini içerir ve rate limiting için time.sleep() fonksiyonunu kullanır.

import requests, time
from bs4 import BeautifulSoup

BASE_URL = "https://example.com/articles"
HEADERS = {"User-Agent": "MuratSoftBot/1.0 (+https://muratsoft.com)"}

def fetch_page(page):
    resp = requests.get(f"{BASE_URL}?page={page}", headers=HEADERS)
    resp.raise_for_status()
    return resp.text

def parse(html):
    soup = BeautifulSoup(html, "html.parser")
    for article in soup.select("article h2.title"):
        print(article.get_text(strip=True))

for p in range(1, 6):
    html = fetch_page(p)
    parse(html)
    time.sleep(2)  # 2 saniye bekleyerek rate limit'i uygula

Bu kod parçası, her sayfa isteği arasında iki saniyelik bir gecikme ekleyerek sunucuya aşırı yük bindirmeyi önler. Ayrıca User-Agent başlığı sayesinde kimlik bilgisi verilir; bu, sitenin sizi tanımasına ve gerektiğinde iletişime geçmesine olanak tanır.

PHP ile Basit Scraper Örneği

Python dışındaki dillerde de etik scraping prensiplerini uygulamak mümkündür. Aşağıdaki PHP örneği, aynı mantığı cURL ve DOMDocument kullanarak gösterir.

<?php
$baseUrl = "https://example.com/articles";
$userAgent = "MuratSoftBot/1.0 (+https://muratsoft.com)";

function fetchPage($url, $ua) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_USERAGENT, $ua);
    $response = curl_exec($ch);
    curl_close($ch);
    return $response;
}

function parseHtml($html) {
    $doc = new DOMDocument();
    @$doc->loadHTML($html);
    $xpath = new DOMXPath($doc);
    $titles = $xpath->query("//article//h2[@class='title']");
    foreach ($titles as $node) {
        echo trim($node->textContent) . "\n";
    }
}

for ($page = 1; $page <= 5; $page++) {
    $url = $baseUrl . "?page=" . $page;
    $html = fetchPage($url, $userAgent);
    parseHtml($html);
    sleep(2); // rate limit
}
?>

PHP kodu da aynı etik kuralları izler: User-Agent eklenir, sleep(2) ile istekler arası gecikme sağlanır ve robots.txt kontrolü yapılması önerilir.

Sık Karşılaşılan Hatalar ve Çözümler

  • HTTP 429 – Too Many Requests: Sunucu, istek sıklığının yüksek olduğunu algıladığında bu yanıtı verir. Çözüm: time.sleep() veya sleep() süresini artırın ve Retry-After başlığını kontrol edin.
  • IP Ban: Çok sayıda istek aynı IP üzerinden geldiğinde site IP’yi kara listeye alabilir. Çözüm: Proxy rotasyonu veya VPN kullanarak IP dağıtımı yapın.
  • HTML Değişiklikleri: Site tasarımı değiştiğinde CSS seçicileri kırılabilir. Çözüm: Scraper’ı düzenli olarak test edin ve try/except bloklarıyla hataları yakalayın.
  • robots.txt ihlali: Dosyada “Disallow: /” gibi bir kural varsa, bu bölgeye erişim yasaktır. Çözüm: Kuralı ihlal etmeyin; alternatif veri kaynakları arayın.

Özet ve Kontrol Listesi

Bu derste öğrendiklerinizi pekiştirmek için aşağıdaki kontrol listesini kullanabilirsiniz. Her maddeyi uyguladığınızda işaretleyin.

  • Site’nin robots.txt dosyasını inceledim ve izin verilen yolları belirledim.
  • ToS’yi okudum, veri toplama ile ilgili kısıtlamaları anladım.
  • İstekler arasında en az 2 saniye bekleyerek rate limit’i uyguladım.
  • Bir User-Agent başlığı ekleyerek kimliğimi belirttim.
  • Python ve PHP örneklerini çalıştırdım, çıktıyı kaydettim.
  • Karşılaştığım hataları (429, IP ban vb.) belgeleyip çözüm yollarını not aldım.
  • Gelecek ders için eksik kalan soruları işaretledim.

SSS

Soru 1: robots.txt dosyası yasal bir zorunluluk mudur?

Cevap: Hayır, robots.txt bir standarttır ve yasal bağlayıcılığı yoktur, ancak çoğu site bu dosyayı saygı göstermek amacıyla kullanır. İhlali, sitenin hizmet şartlarını (ToS) çiğnemek anlamına gelebilir.

Soru 2: Rate limit’i nasıl dinamik olarak ayarlayabilirim?

Cevap: Sunucunun Retry-After başlığını okuyarak bekleme süresini dinamik olarak belirleyebilir ya da bir “exponential backoff” stratejisi uygulayabilirsiniz.

Soru 3: Scraping yaparken kişisel verileri toplamak yasal mı?

Cevap: Kişisel veri toplama, GDPR, KVKK gibi veri koruma yasalarına tabidir. Açık rıza olmadan kişisel veri toplamak çoğu ülkede yasaktır.

Paylaş

Yorumlar

Henüz onaylanmış yorum yok. İlk yorumu siz yazın.

Yorum yaz

Yorumunuz yönetici onayından sonra yayınlanır.

İlgili yazılar

Ders 100 – İleri yol haritası

Python ile web, veri, otomasyon ve AI alanlarına yön veren ileri seviye bir yol haritası, adım ad…

Ders 99 – Kontrol listesi: üretim

Üretim ortamı için log, health, config ve secret yönetimini kapsayan kontrol listesi, adım adım ö…

Ders 98 – Mikroservis iletişimi fikri

Mikroservis mimarisinde HTTP/JSON sözleşmesiyle versiyonlu endpoint oluşturma, adım adım örnekler…

Ders 97 – Veri doğrulama katmanı

Veri doğrulama katmanını Pydantic ve Cerberus ile nasıl kuracağınızı adım adım öğrenin, örnek PHP…

Demo
Büyütülmüş Görsel