newBrain

Sorun

Modern dil modellerini derinlemesine anlamak, yalnızca bir API çağırmak yerine tokenizer, mimari, eğitim ve ince ayar dâhil baştan sona bir model kurmayı gerektirir.

Ne yaptım

PyTorch ile sıfırdan nedensel bir GPT transformer ve BPE tokenizer’ını yazdım, MLX LoRA ince ayarı ekledim ve bunu RAG ile çok ajanlı sohbet içeren bir FastAPI/Three.js çalışma alanına sardım.

Öne çıkanlar

• PyTorch ile yazılmış özel BPE tokenizer ve nedensel GPT transformer (RoPE, SwiGLU, SDPA).
• Apple MLX üzerinde LoRA ince ayarı.
• RAG (ChromaDB) ve çok ajanlı sohbet içeren FastAPI + Three.js çalışma alanı.