İçeriğe geç

Uygulamalı Yapay Zeka · Açık kaynak, araştırma / eğitim amaçlı

newBrain

PyTorch ile sıfırdan geliştirilmiş Türkçe nedensel dil modeli (LLM).

İhtiyaç ve Hedef

Modern dil modellerini derinlemesine anlamak, yalnızca bir API çağırmak yerine tokenizer, mimari, eğitim ve ince ayar dahil baştan sona bir model kurmayı gerektirir.

Uygulanan Çözüm ve Yaklaşım

PyTorch ile sıfırdan nedensel bir GPT transformer ve BPE tokenizer’ını yazdım, MLX LoRA ince ayarı ekledim ve bunu RAG ile çok ajanlı sohbet içeren bir FastAPI/Three.js çalışma alanına sardım.

Öne Çıkan Çıktılar ve Kazanımlar

  • PyTorch ile yazılmış özel BPE tokenizer ve nedensel GPT transformer (RoPE, SwiGLU, SDPA).
  • Apple MLX üzerinde LoRA ince ayarı.
  • RAG (ChromaDB) ve çok ajanlı sohbet içeren FastAPI + Three.js çalışma alanı.

Kapsam ve Teknolojiler

  • Python
  • PyTorch
  • MLX
  • FastAPI
  • Three.js
  • ChromaDB