Tokenizer’dan Cognitive Orchestration’a: Cevahir AI’ın Mimari Yaklaşımı
Selamlar, ben Muhammed.
Yaklaşık 16 aylık geliştirme süreci sonucunda ortaya çıkan “Cevahir AI” isimli açık kaynak yapay zeka altyapısı hakkında detaylı teknik bilgiler paylaşmak istiyorum.
Bu yazının amacı yalnızca proje tanıtımı yapmak değil; tokenizer altyapısından cognitive orchestration katmanına kadar uzanan full-stack AI engine yaklaşımını Türk geliştirici topluluğunda daha anlaşılabilir hale getirmek.
Projede;
- tokenizer training,
- neural architecture,
- training orchestration,
- model lifecycle management,
- reasoning systems,
- local/offline inference
gibi birçok katmanı tek bir modüler altyapı altında birleştirmeye çalıştım.
Aşağıda sistem mimarisi, kullanılan yaklaşımlar ve uzun vadeli vizyon hakkında detaylı bir teknik yazı yer alıyor.
###
Bugün birçok yapay zeka projesi yığının yalnızca tek bir katmanına odaklanıyor:
inference API’leri,
RAG sistemleri,
agent wrapper’ları,
fine-tuning,
veya prompt engineering.
Cevahir AI farklı bir yaklaşımla geliştirildi.
Amaç mevcut API’lerin etrafına yeni bir katman yazmak değil; tokenizer eğitimi, neural architecture, training orchestration, model lifecycle management, reasoning sistemleri ve local inference süreçlerini aynı altyapı içerisinde birleştiren modüler bir full-stack AI engine mimarisi oluşturmaktı.
Cevahir AI, lokal ve internetsiz ortamda çalışabilecek şekilde tasarlanmış açık kaynak bir AI engine altyapısıdır.
Temel yaklaşım, yalnızca bir model üretmek değil; model geliştirebilen bir sistem tasarlamaktır.
Neden Full-Stack AI Engine?
Modern AI ekosistemindeki en büyük problemlerden biri parçalanmışlık.
Bazı projeler yalnızca:
inference,
RAG,
vector database,
agent orchestration,
ya da fine-tuning
katmanlarına odaklanıyor.
Fakat çok az proje şu zinciri tek bir mimari altında ele alıyor:
tokenizer training,
veri hazırlama,
neural network mimarisi,
training orchestration,
model lifecycle management,
reasoning sistemleri,
inference orchestration.
Cevahir AI tam olarak bu alanı araştırmak amacıyla geliştirildi.
Amaç yalnızca metin üretmek değildi.
Amaç; modüler bir AI engine mimarisinin sıfırdan nasıl tasarlanabileceğini keşfetmekti.
Genel Sistem Mimarisi
Cevahir AI aşağıdaki katmanlardan oluşan modüler bir yapıya sahiptir:
Tokenizer Management
Data Loader Management
Neural Network
Model Management
Training System
Training Management
Cognitive Management
Unified Cevahir Core
Her modül sistemin belirli bir katmanından sorumludur ve ortak orchestration altyapısı üzerinden birbirine bağlanır.
Üst seviyedeki Cevahir modülü ise:
inference,
generation,
orchestration,
memory routing,
cognitive interaction management
gibi süreçleri yöneten production-facing birleşik API katmanı olarak çalışır.
Bu yapı sayesinde training ve inference süreçleri birbirinden bağımsız şekilde gelişebilir.
Mimari Yaklaşım
Sistem mimarisi yoğun şekilde SOLID prensipleri ve modern yazılım mühendisliği desenleri üzerine kurulmuştur.
Bunun temel nedeni uzun vadeli genişleyebilirliktir.
Tokenizer, neural network, training orchestration, lifecycle management ve reasoning sistemleri birbirinden ayrıştırılmış sorumluluk alanlarına sahiptir.
Sistem içerisinde:
Facade Pattern
Adapter Pattern
Dependency Injection
Modüler sorumluluk ayrımı
gibi yaklaşımlar kullanılmaktadır.
Amaç monolitik bir yapı oluşturmak değil; zaman içerisinde büyüyebilecek bir altyapı tasarlamaktı.
Tokenizer Altyapısı
Tokenizer sistemi Byte Pair Encoding (BPE) yaklaşımını temel alıyor ancak klasik BPE implementasyonlarının ötesine geçerek Türkçe odaklı morfolojik ön işleme katmanları içeriyor.
Desteklenen yapılar arasında:
Türkçe lowercase normalization
Unicode NFC normalization
Heceleme tabanlı fallback
Morfolojik preprocessing
Kök–ek farkındalığı
OOV recovery mekanizmaları
Deterministic merge selection
yer alıyor.
Amaç özellikle Türkçe gibi eklemeli dillerde oluşan token fragmentation problemini azaltmak.
Türkçeyi İngilizce gibi ele almak yerine tokenizer katmanı doğrudan Türkçenin morfolojik yapısına göre şekillendirildi.
Neural Network Mimarisi
Cevahir AI’ın neural core katmanı decoder-only Transformer mimarisi üzerine kurulu.
Sistem:
RMSNorm
RoPE ve YaRN scaling
SwiGLU
KV-Cache
Multi-Head Attention
Grouped-Query Attention (GQA)
Flash Attention
Sliding Window Attention
QK-Norm
Optional Mixture of Experts (MoE)
gibi modern LLM tekniklerini destekliyor.
Bu yapı:
inference verimliliği,
training stabilitesi,
ölçeklenebilirlik,
ve VRAM optimizasyonu
arasında denge kurmak amacıyla tasarlandı.
Cognitive Orchestration Katmanı
Cevahir AI’ın en ayırt edici taraflarından biri cognitive orchestration katmanı.
Sistem yalnızca metin üretmiyor.
Ürettiği çıktıyı:
değerlendiriyor,
refine ediyor,
yönlendiriyor,
gerektiğinde farklı reasoning stratejileri uyguluyor.
Cognitive Management katmanı şu yaklaşımlardan ilham alıyor:
Chain-of-Thought
Tree-of-Thoughts
Self-Consistency
ReAct
Self-Refine
Constitutional AI
Retrieval-Augmented Memory
Sistem ayrıca:
tool usage policy,
critic loop,
entropy-based strategy routing,
response refinement pipeline,
memory-aware reasoning
gibi mekanizmaları da destekliyor.
Uzun vadeli yaklaşım şu:
Inference yalnızca üretmemeli.
Inference aynı zamanda düşünebilmeli.
Eğitim ve Model Lifecycle Yönetimi
Training altyapısı klasik bir training loop yerine çok aşamalı orchestration sistemi olarak tasarlandı.
Akış şu şekilde ilerliyor:
Tokenizer training
Cache preparation
Model training
Sistem:
strict cache architecture,
dynamic padding,
bucket batching,
distributed training,
EMA / SWA,
curriculum learning,
scheduled sampling,
gradient checkpointing,
quantization support,
profiling ve monitoring
gibi modern training tekniklerini destekliyor.
Model Management katmanı ise:
checkpoint orchestration,
optimizer yönetimi,
scheduler configuration,
profiling,
TensorBoard integration,
health monitoring
gibi süreçleri yönetiyor.
Amaç yalnızca model eğitmek değil; eğitim davranışını yönetebilen bir sistem oluşturmak.
Metnin Ötesi: Uzun Vadeli Vizyon
Cevahir AI’ın uzun vadeli vizyonu yalnızca metin inference sistemleri değil.
Mimari özellikle şu alanlara genişleyebilecek şekilde tasarlandı:
görüntü tokenizer sistemleri,
ses tokenizer altyapıları,
multimodal reasoning,
gerçek zamanlı sensör işleme,
embodied AI sistemleri,
mekanik sistemlerle etkileşim kurabilen AI altyapıları.
Bu yaklaşım:
PaLM-E,
RT-2,
SayCan
gibi embodied AI araştırmalarından ilham alıyor.
Uzun vadeli hedef yalnızca metin üretmek değil.
Gerçek dünyayı algılayabilen, yorumlayabilen ve etkileşime geçebilen modüler bir AI infrastructure geliştirmek.
Sonuç
Cevahir AI, tek bir language model projesinden çok; modüler bir full-stack AI engine mimarisidir.
Projenin temel gücü yalnızca ne ürettiğinde değil;
nasıl tasarlandığında,
nasıl orkestre edildiğinde,
ve nasıl genişletilebildiğinde yatıyor.
Tokenizer infrastructure,
training orchestration,
neural architectures,
cognitive reasoning sistemleri
ve gelecekteki multimodal genişleme hedefleri tek bir mühendislik yaklaşımı altında birleştirildi.
Uzun vadeli amaç:
sürdürülebilir,
genişletilebilir
ve bağımsız bir AI altyapısı inşa etmek.
İncelemek isterseniz repo linkini aşağıda bırakıyorum.