Local LLM Gerçeği: M1 Air ile Hayal Kırıklığı Yaşadım
Son dönemde herkes Local LLM konuşuyor. Claude, ChatGPT ve diğer bulut servislerinin maliyetleri arttıkça ben de kendi bilgisayarımda çalışan modelleri denemeye karar verdim. Planım oldukça basitti: ✅ Gemma 4 ve Qwen 3.5 modellerini kurmak ✅ Bir benchmark ortamı oluşturmak ✅ Kod yazma görevlerinde performanslarını karşılaştırmak ✅ Sonuçları sizinle paylaşmak Fakat işler beklediğim gibi gitmedi. 😅 Bu videoda: • Local LLM kurarken karşılaştığım sorunları • M1 Air 16 GB üzerinde yaşadığım gerçek deneyimi • Parametre (Parameters) nedir? • Context Window nedir? • Quantization nedir? • Architecture (Arch) ne anlama geliyor? • Neden bazı modellerin onlarca hatta yüzlerce GB RAM istediğini • Local LLM kullanmayı düşünüyorsanız nelere dikkat etmeniz gerektiğini konuşuyoruz. Eğer siz de kendi bilgisayarınızda AI çalıştırmayı düşünüyorsanız, model indirmeden önce bu videoyu izlemenizi tavsiye ederim. 00:00 – Giriş ve Lokal LLM Testi Neden Başarısız Oldu? 00:34 – Test Edilen Donanım: MacBook Air M1 (8GB RAM) Performansı 01:03 – Denenen Modeller: Qwen 2.5, Gemma 2, Llama 3 ve DeepSeek 02:44 – Sohbet Etmek vs. Geliştirme Yapmak: Farklı Kullanım Senaryoları 03:25 – Hız ve Çıktı Kalitesi: Beklentilerin Altında Kalan Sonuçlar 03:45 – Pratik Örnek: Vue Uygulamasında Yaşanan Kod Yazım Hataları 04:23 – Lokal Model Çalışırken Bilgisayarın Kilitlenmesi Problemi 05:25 – İptal Edilen Benchmark Planı ve Puanlama Kriterleri 06:50 – Lokal Modellerde Stabilite ve Yanıt Sorunları 07:30 – LLM Teknik Terimleri: Parametre (Parameter) Sayısı Nedir? 09:30 – MoE (Mixture of Experts) Mimarisinin Kısaca Özeti 10:08 – Kontekst (Context Window) ve Token Kavramları 11:58 – Quantization Nedir? Model Boyutu ve Performans İlişkisi 14:09 – Sonuç: Lokal LLM'ler Şu An Günlük Kullanıma Uygun mu? 15:11 – Kapanış ve İzleyici Yorumları
Abdullah Uğraşkan · Diğer