Günümüzün küresel yazılım dünyasında uygulamaların birden fazla dili sorunsuz bir şekilde işlemesi bir lüks değil, zorunluluktur. Python, varsayılan olarak UTF-8 kodlamasını benimser, ancak gerçek projelerde dosya okuma‑yazma, veri tabanı etkileşimi ve dış API çağrıları sırasında kodlama hataları sıkça karşımıza çıkar. Bu ders, Unicode kavramını temelden alıp Python kodunuza nasıl güvenli bir şekilde entegre edeceğinizi gösterir; ayrıca PHP’de aynı konsepti nasıl ele alacağınızı iki örnekle sunar.
Temeller
Unicode, tüm dünyadaki karakterleri tek bir evrensel standartta toplar. Her karakter bir code point (ör. U+0061 = "a") ile tanımlanır. Bu kod noktaları farklı kodlamalar (UTF‑8, UTF‑16, UTF‑32) aracılığıyla ikili veriye dönüştürülür. Python 3, str tipini Unicode dizgesi olarak tanımlar; bytes ise ikili veri tutar. En kritik kural, her zaman kodlamayı açıkça belirtmektir.
Adım adım Unicode desteği
- Kaynak dosyanızı UTF‑8 olarak kaydedin. Çoğu modern editör (VS Code, PyCharm) varsayılan olarak UTF‑8 kullanır; ancak
# -*- coding: utf-8 -*-satırını dosyanın en üstüne eklemek, eski ortamlarla uyumluluğu garantiler. - Metin verisini
strtipinde tutun. Sayısal işlemler, dilbilgisel analizler ve formatlama işlemleri doğrudan Unicode dizgeleriyle yapılabilir. - Dış kaynaklarla iletişimde
encodingparametresini kullanın.- Dosya okuma/yazma:
open('dosya.txt', 'r', encoding='utf-8') - HTTP istekleri:
requests.get(url).text.encode('utf-8') - Veri tabanı bağlantısı:
cursor.execute('SET NAMES utf8mb4')
- Dosya okuma/yazma:
- Unicode normalizasyonu. Aynı karakter farklı kombinasyonlarla temsil edilebilir (ör. "é" = "e" + "´").
unicodedata.normalize('NFC', text)ile tutarlı bir formata dönüştürün. - Hata ayıklama.
UnicodeEncodeErrorveUnicodeDecodeErroristisnalarını yakalayarak hangi karakterin sorun yarattığını loglayın.
PHP ile Unicode örnekleri
Python’da Unicode doğal olsa da, aynı konsepti PHP’de de uygulamak gerekir. Aşağıdaki iki örnek, UTF‑8 dosya okuma ve ekrana Unicode karakter yazdırma süreçlerini gösterir.
<?php
// örnek 1: UTF‑8 kodlu bir dosyayı satır satır okuma
$dosya = 'metin.txt';
$handle = fopen($dosya, 'r');
if ($handle) {
while (($satir = fgets($handle)) !== false) {
// satırı UTF‑8 olarak işleyelim
$satir = mb_convert_encoding($satir, 'UTF-8', 'auto');
echo $satir . "<br>";
}
fclose($handle);
} else {
echo 'Dosya açılamadı.';
}
?>
<?php
// örnek 2: Unicode karakterleri JSON çıktısına dahil etme
header('Content-Type: application/json; charset=utf-8');
$data = [
'mesaj' => "Merhaba Dünya 🌍",
'dil' => "Türkçe",
'emoji' => "😊"
];
// JSON_UNESCAPED_UNICODE bayrağı ile karakterleri kaçış yapmadan göndeririz
echo json_encode($data, JSON_UNESCAPED_UNICODE);
?>
Sık yapılan hatalar
- Kodlamayı belirtmemek.
open('dosya.txt')gibi bir çağrı sistem varsayılanını kullanır; bu, farklı işletim sistemlerinde farklılık gösterebilir. - Bytes ve str karıştırmak.
bytesnesnesini doğrudanprint()ile göstermekUnicodeDecodeErrorüretir. - Veritabanı karakter setini ayarlamamak. MySQL’de
utf8mb4kullanılmazsa emoji gibi 4‑byte karakterler kaybolur. - Normalizasyonu ihmal etmek. Arama ve karşılaştırma işlemlerinde aynı karakter farklı temsillerde bulunabilir.
Özet ve kontrol listesi
Bu derste şunları öğrendik:
- Unicode nedir, kod noktaları ve kodlamalar arasındaki ilişki.
- Python’da
strvebytesarasındaki fark. - Dosya, ağ ve veri tabanı işlemlerinde
encoding='utf-8'kullanımının önemi. - PHP’de
mb_convert_encodingveJSON_UNESCAPED_UNICODEile Unicode desteği. - Yaygın hatalar ve bunların önlenmesi.
Kontrol Listesi
- Kaynak dosyanız UTF‑8 olarak kaydedildi mi?
- Tüm
open,read,writeişlemlerindeencoding='utf-8'kullandınız mı? - Veri tabanı bağlantısında
utf8mb4ayarını yaptınız mı? - Unicode normalizasyonunu (NFC) uyguladınız mı?
- PHP örneklerinde
mbstringvejson_encodebayraklarını kullandınız mı?
SSS
Soru 1: Python’da bir bytes nesnesini nasıl str tipine dönüştürürüm?
Cevap: bytes_obj.decode('utf-8') yöntemiyle UTF‑8 kodlamasını belirterek dönüştürülür. Hata durumunda errors='replace' veya 'ignore' parametresi eklenebilir.
Soru 2: UTF‑8 dosyasını Windows Notepad ile açtığımda karakterler bozuluyor, ne yapmalıyım?
Cevap: Notepad varsayılan olarak ANSI (Windows‑1254) kullanabilir. Dosyayı “Farklı Kaydet” menüsünden “UTF‑8” olarak seçin ya da codecs.open(..., encoding='utf-8') ile Python’da yeniden kaydedin.
Soru 3: MySQL’de emoji kaydetmek istiyorum, hangi karakter seti yeterli?
Cevap: utf8mb4 karakter seti 4‑byte Unicode karakterlerini destekler. Tablo ve sütun tanımlarında CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci kullanın.
Yorumlar
Henüz onaylanmış yorum yok. İlk yorumu siz yazın.
Yorum yaz
Yorumunuz yönetici onayından sonra yayınlanır.