Son zamanlarda yapay zeka modellerinin zor sorularda gösterdiği performansla ilgili kafamda hep soru işaretleri vardı. Detaylı ve zor sorular sordukça cevap kalitesinin düştüğünü gözlemliyordum. Bu gözlemimin teknik bir dayanağı olup olmadığını araştırırken Apple’ın ses getiren “The Illusion of Thinking” (Düşünme Yanılsaması) makalesine denk geldim.
Bu çalışma, DeepSeek R1 ve Claude 3.7 gibi son dönemin popüler “muhakeme” modellerinin sınırlarını ve şaşırtıcı bir şekilde “pes etme” davranışlarını mercek altına alıyor.
Biliyorsunuz, yapay zeka dünyasında yeni trend: “Düşünen Modeller” (Large Reasoning Models — LRMs). Bu araçlar bize sadece cevap vermekle kalmıyor; önce durup düşünüyor, adım adım planlama yapıyor ve sonra yanıtlıyor. Bu süreç, onların karmaşık problemleri çözmede çok daha üstün olduğu hissini yaratıyor.
Ancak Apple’ın araştırması, durumun tam tersi olabileceğini gösteriyor. Makaleye göre modeller, sorular zorlaştıkça adeta insani bir refleksle pes ediyor. Normalde zorluk arttıkça modelin daha fazla düşünmesi (daha fazla token harcaması) beklenir. Ancak çalışma, belirli bir zorluk eşiğinden sonra harcanan token sayısının artmak yerine azaldığını ortaya koyuyor.
Ezber mi, Zeka mı?
Bugüne kadar modelleri hep matematik ve kodlama testleriyle değerlendirdik. Ancak Apple araştırmacıları burada “Veri Kirliliği” (Data Contamination) sorununa dikkat çekiyor. Modeller soruları gerçekten çözüyor mu, yoksa eğitim verisinden hatırlıyor mu? Bunu test etmek için araştırmacılar, modellerin ezberleyemeyeceği, karmaşıklığı ayarlanabilir özel bulmaca ortamları (Hanoi Kuleleri vb.) kullandı.
Sonuçlar ise yapay zeka algımızı değiştirecek nitelikte üç farklı aşamayı işaret ediyor :
- Düşük Karmaşıklık (Basit Sorular): Burada “düşünen” modellere gerek bile yok. Standart modeller daha hızlı ve daha başarılı sonuçlar veriyor.
- Orta Karmaşıklık: LRM’lerin parladığı nokta burası. Standart modellerin tıkandığı yerde “düşünme süreci” devreye giriyor ve modeller doğru cevabı buluyor.
- Yüksek Karmaşıklık (Çöküş Anı): En kritik nokta burası. Belirli bir zorluk derecesi aşıldığında, hem standart hem de düşünen modeller duvara tosluyor ve başarı oranı sıfıra iniyor.
Pes Etme Davranışı ve Algoritmik Yetersizlik
Araştırmanın en çarpıcı bulgusu şuydu: Problem çok karmaşık hale geldiğinde, modelin elinde yeterli “token bütçesi” (zamanı) olmasına rağmen, sanki “bu çok zor” diyerek düşünme sürecini kısa kesiyor ve hatalı cevap veriyor. Bu durum, muhakeme yeteneğinin ölçeklenebilirliğinde ciddi bir sınır olduğunu gösteriyor.
Dahası, araştırmacılar modellere sadece “bunu çöz” demekle kalmayıp, problemin nasıl çözüleceğine dair algoritmayı (reçeteyi) da verdiler. Beklenti, algoritma elindeyken modelin hatasız çalışmasıydı. Ancak modeller, algoritmayı adım adım yürütme (execution) konusunda yine başarısız oldu.
Bu durum, modellerin hala ciddi eksikleri olduğunu, mantıksal bir süreci takip etmekten ziyade olasılıksal tahminlerle (pattern matching) ilerlediklerini kanıtlıyor.
Özetle; yapay zeka şüphesiz gelişiyor, ancak “düşünme” dediğimiz şey, şimdilik sadece çok gelişmiş bir “taklit” olabilir.
Makale : https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf