Sistem Araçları & Çizim Motorları
Yerel öncelikli yaklaşımla, yüksek performans ve kaynak verimliliği odaklı geliştirilen dürüst yazılım çözümleri.
- / 01Sadece ölçülebilir performans iyileştirmelerini hedefler.
- / 02Harici üçüncü parti kütüphane bağımlılıkları asgaride tutulur.
- / 03Hafif, taşınabilir ve güvenlik açığı barındırmayan derleme çıktıları.
C++ ile yazılmış, yüksek performanslı yerel semantik belge indeksleyici.
Monolith, büyük ölçekli tarihi ve modern metin belgelerini doğrudan yerel makinede analiz eden, gömülü modeller aracılığıyla semantik vektörler üreten ve optimize edilmiş B-Tree indeksleme mekanizmalarıyla hızlı arama sağlayan C++ tabanlı bir sistem aracıdır.
Mevcut semantik arama ve indeksleme çözümleri genellikle yüksek bellek tüketimine sahiptir ve veriyi harici API'lere gönderme zorunluluğu barındırır. Bu durum hem gecikme (latency) yaratır hem de hassas arşiv belgeleri için veri güvenliği riski oluşturur.
Hafif bir ONNX vektör modeli, C++ ONNX Runtime entegrasyonu ile doğrudan yerel çalışma zamanına dahil edilmiştir. Bellek verimliliği ve yürütme hızı için ham gösterici (pointer) karmaşasından kaçınılarak modern akıllı göstericiler (smart pointers) ve RAII prensipleri kullanılmıştır.
Sistem; asenkron dosya sistemi izleyicisi, C++ ONNX Runtime kullanan vektör dönüştürücü ve SQLite tabanlı veri saklama katmanından oluşur. Çok iş parçacıklı (multi-threaded) veri akışları ve SIMD optimizasyonları ile işlemci kaynakları en üst düzeyde değerlendirilir.
Eşzamanlı okuma/yazma işlemlerinde kilitlenmeleri önlemek için mesaj kuyruğu tabanlı bir asenkron iş parçacığı mimarisi kurulmuştur. Metin parçalama (chunking) adımları, tarihi kaynakların paragraf yapısına ve semantik bütünlüğüne uygun şekilde optimize edilmiştir.
"C++ ortamında CPU tabanlı SIMD optimizasyonlarının, harici bir GPU bağımlılığı olmadan yerel çıkarım (inference) süreçlerinde ne kadar büyük bir performans farkı yarattığını gözlemledim. Ayrıca bellek sızıntılarını önlemede benzersiz göstericilerin (std::unique_ptr) sahiplik yönetimindeki kritik rolünü deneyimledim."