Obsesyona doğru ilerleyen bir iş v2 :)
Önceki postum hala buralarda bir yerde durmakta :) Son 5 ayda neler değişti neler yaptım onları bir paylaşayım dedim.
Öncelikle donanıma ufak bir ekleme yapıp 2. bir ekran kartı olarak RTX 5060ti aldım ve vram kapasitesini 40gb a çıkarmış durumdayım. Bundaki tek amaç daha büyük local AI modellerini daha yüksek quantizasyonlarda daha yüksek context windowlarda çalıştırabilmeyi başarmaktı.
Sonuç aslında çok başarılı oldu şu ana kadar unsloth/Qwen3.6 27b-UD_Q6_XL modelini 128k context window q8 ile problemsiz çalıştırdım ve Hermes üzerinden aylar boyunca kullandım. Daha sonra modelin hafıza işini çözmek istedim. Araştırmalarım sonucunda pek çok github projesini ayıkladıktan sonra aslında temelde çok basit bir hybrid sistemde karar kıldım. mem0 ile OKF wiki yi kombinleyerek Hermes'e bağladım. OKF bir katı veri havuzu görevi görürken, mem0 ise vector based bir sistem kullanarak OKF nin eksik olan kısmını kapattı. Performans olarakta gayet güzel sonuçlar elde ettim.
Daha sonra yakın zamanlarda unsloth/Deepseek-V4-Flash-0731-UD-IQ3_S modelinin çıkışıyla acaba çalışır mı ya? diye düşünmeye başladım. Sonuçta 40gb Vram + 128gb sistem ram mevcuttu. ve tahmin ettiğim gibi MoE mimarisi kullanan modeldeki aktif expertler 40gb vram'e sığdı ve düzenli olarak 11-12 t/s decode hız elde ettim. Ancak modelin ram'e taşan kısmı yüzünden önceki modelde sahip olduğum 1500-1800 t/s prefill(prompt processing) hızım, 150-170 t/s hızlarına düştü. Yüksek miktarda veriyi birden modele vermediğim sürece pek yavaş çalışıyormuş gibi hissettirmiyordu ama örneğin OKF wikiden dolu olan bir sayfayı model çekip okumaya çalıştığında çok fark edilir bir yavaşlama deneyimlememe sebep oldu.
Burada durmak istemedim. Kullandığım ajanı homelab sisteminin içine entegre etmeye karar verdim. Periyodik olarak server'ın bakımlarını yapmasını, docker containerlarda çalışan servislerin sağlık durumlarını takip etmesi, gerektiğinde updatelerini yapmasını, hatta servislere(lidarr, prowlarr, radarr, sonarr, bazarr) erişim sağlayıp bu servislerle direkt etkileşime girmesini sağladım. Şu noktada "yaaa ben şu filmi izledim çok beğendim. bi internetten baksana buna benzer benim beğenebileceğim 3 tane filmi bulup indirsene" dediğimde, Ajan benim ilgi alanlarıma ve izlediğim beğendiğim filmlere,puanlarına, oynayan oyunculara falan filan bakarak 3 tane film seçip radarr üzerinden filmleri ekleyip, indirme durumlarınıda qbittorrent üzerinden takip edebilir hale geldi.
Burada da durmadım, nextcloud servisime app access kullanarak erişim sağladım. Eğer bir dosyayı veya dosyaları incelemesini istiyorsam, tek yapmam gereken dosyaları nextcloud'a aktararak, "ya şu dosyalara bi bakta bana şu şu verilerin bi analizini yap" demek. Bir süre sonra kaba rapor ellerimin arasında hazır halde bekliyor oluyor. Ayrıca ağır bir unutkan olan ben kendisini nextcloud takvimime de entegre ettim. Unutmamam gereken bir randevu veya bir etkinlik olduğunda, tek yapmam gerekn ufak bir sesli mesaj yollamak oluyor. Hayatımda ilk defa bu kadar düzenli bir takvime sahibim ciddi olarak kolaylaştı herşey.
Tabi iletişim kolaylaşsın, sürekli mesaj atıp mesaj okumakla uğraşmayayım diye Text-to-Speech ve Speech-to-Tech modellerinide sunucunun cpu'su üstünden çalıştırıyorum. Şu ana kadar hiçbir sorun yaşatmadı problemsiz çalışıyor.
Son olarak 1 adet pppoe CCTV kamera alıp, bir subnet yaratıp, o subnet i izole edip sadece kameraların atanmış protlarına frigate access'i sağladım. İlk testler gayet başarılıydı. Ama şu anda bu AI kısmına fazla eğildiğim için frigate şimdilik arka planda sonra bakarım diye bekliyor.
Kısacası durum bu şekilde, fazlasıyla yapay zekaya odaklanmış durumdayım. Bu günde Qwen3.8 27b yayınlandı, işten çıktıktan sonra onu aktif edip biraz test yapacağım. Bakalım kalite/hız konusunda ne noktada görücez! Herkese güzel homelab lı günler :)