Bu ders, Python öğrenimini tamamlamış ve gerçek dünyada değer yaratacak projelere adım atmak isteyen geliştiriciler için hazırlanmıştır. Web kazıma, veri işleme, otomasyon ve yapay zeka entegrasyonu gibi popüler alanlarda bir sonraki seviyeye geçmek, kariyerinizi hızlandırmak ve günlük iş akışınızı otomatikleştirmek için neden kritiktir?
Temel Kavramlar
İleri yol haritası, dört ana başlıkta toplanabilir:
- Web: HTTP istekleri, API tüketimi ve basit bir Flask uygulaması.
- Veri: Pandas, NumPy ve veri temizleme teknikleri.
- Otomasyon: OS komutları, dosya yönetimi ve zamanlayıcılar.
- AI Araçları: Scikit‑learn, TensorFlow ve Hugging Face modelleri.
Bu kavramları birleştirerek bir Komut Satırı Arayüzü (CLI) ve REST API projesi oluşturacağız. Proje, bir web sitesinden veri çekecek, temizleyecek, analiz edecek ve sonuçları JSON olarak sunacak.
Adım Adım Yol Haritası
- Ortam Kurulumu:
python -m venv .venvvepip install -r requirements.txtkomutlarıyla izole bir ortam oluşturun. - Proje Yapısı:
my_project/ ├─ app.py # Flask API giriş noktası ├─ cli.py # CLI komutları ├─ scraper.py # Web kazıma mantığı ├─ processor.py # Veri temizleme ve analiz └─ requirements.txt # Bağımlılıklar - Web Kazıma:
requestsveBeautifulSoupile hedef siteye istek gönderin, gerekli HTML elementlerini ayıklayın. - Veri İşleme: Çekilen veriyi
pandas.DataFrameiçine aktarın, eksik değerleri doldurun, tip dönüşümlerini yapın. - Model Entegrasyonu: Basit bir lineer regresyon modeli eğitin ve tahmin fonksiyonunu bir API endpointi olarak sunun.
- CLI:
argparseile komut satırından veri çekme, işleme ve rapor üretme seçenekleri ekleyin. - Test ve Dağıtım:
pytestile birim testleri yazın, Dockerfile hazırlayın ve CI/CD pipeline'ına ekleyin.
PHP Örnek Kodları
Projenin API katmanını test ederken, PHP ile basit bir HTTP istemcisi oluşturabiliriz. Aşağıdaki örnek, cURL kullanarak Flask API'sine GET isteği gönderir ve yanıtı ekrana basar.
<?php
$url = 'http://localhost:5000/predict?value=42';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
if (curl_errno($ch)) {
echo 'Hata: ' . curl_error($ch);
} else {
echo 'API Yanıtı: ' . $response;
}
curl_close($ch);
?>
İkinci örnek ise bir POST isteği ile JSON veri gönderir ve API'den gelen tahmin sonucunu alır.
<?php
$data = ['value' => 58];
$payload = json_encode($data);
$ch = curl_init('http://localhost:5000/predict');
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $payload);
curl_setopt($ch, CURLOPT_HTTPHEADER, ['Content-Type: application/json']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
if (curl_errno($ch)) {
echo 'Hata: ' . curl_error($ch);
} else {
echo 'Tahmin Sonucu: ' . $response;
}
curl_close($ch);
?>
Sık Yapılan Hatalar
- Bağımlılık Çakışması: Sanal ortamı oluşturmadan global paketleri yüklemek, sürüm uyumsuzluklarına yol açar.
- Yanıt Zaman Aşımı: Web kazıma sırasında
requests.getiçin timeout parametresi eklenmezse, sunucu yanıt vermezse program sonsuza kadar bekler. - Veri Tipi Hataları: Pandas'ta sayısal sütunları string olarak bırakmak, model eğitimi sırasında
ValueErroroluşturur. - API Güvenliği: Flask endpointlerini kimlik doğrulama olmadan açık bırakmak, istenmeyen erişim riskini artırır.
Kontrol Listesi
- ✅ Sanal ortam aktif ve
requirements.txtgüncel? - ✅ Web kazıma kodu
try/exceptile hataları yakalıyor mu? - ✅ Veri temizleme adımları
pandasile test edildi mi? - ✅ Model eğitimi ve tahmin fonksiyonu ayrı bir modülde mi?
- ✅ CLI komutları
--helpile açıklama sağlıyor mu? - ✅ API endpointleri JSON döndürüyor ve hata kodları doğru?
- ✅ PHP test istemcileri çalışıyor ve doğru yanıt alıyor mu?
Sık Sorulan Sorular
1. Flask API'yi üretim ortamına nasıl taşırım?
Docker konteyneri oluşturup gunicorn ile çalıştırmak, Nginx ters proxy ve ortam değişkenleriyle konfigüre etmek en yaygın yöntemdir.
2. Web kazıma sırasında IP ban riski nasıl azaltılır?
İstekler arasında rastgele time.sleep() ekleyin, User-Agent başlığını değiştirin ve robots.txt kurallarına uyun.
3. Modeli güncel veriyle nasıl yeniden eğitebilirim?
Yeni veri geldiğinde processor.py içinde veri temizleme adımlarını tekrar çalıştırın, ardından model.fit() ile modeli yeniden eğitin ve pickle ile kaydedin.
Özet ve Sonraki Adımlar
Bu ders, Python ile bir tam uçtan uca proje oluşturmanın temel taşlarını birleştirerek ileri seviye bir yol haritası sunar. Çözüm odaklı yaklaşım, sadece teorik bilgi yerine gerçek bir CLI/API uygulaması üretmenizi sağlar. Bir sonraki aşamada, bulut ortamına (AWS, GCP veya Azure) dağıtım, CI/CD entegrasyonu ve daha karmaşık AI modelleri ekleyerek projenizi ölçeklendirebilirsiniz.
Yorumlar
Henüz onaylanmış yorum yok. İlk yorumu siz yazın.
Yorum yaz
Yorumunuz yönetici onayından sonra yayınlanır.