Mini RAG on-premise system
W trakcie realizacjiProjekt w trakcie realizacji, nastawiony na praktyczną architekturę lokalnego systemu RAG.
System składa się z centralnego serwera AI wyposażonego w kartę NVIDIA RTX 4000 Ada oraz lekkich terminali Raspberry Pi. Serwer realizuje lokalną inferencję LLM, wyszukiwanie RAG i sterowanie przepływem agenta za pomocą LangGraph. Raspberry Pi pełnią funkcję cienkich interfejsów użytkownika.
Warstwa monitoringu oparta na Prometheusie i Grafanie obserwuje infrastrukturę, GPU, dostępność terminali oraz wydajność poszczególnych etapów przetwarzania. MLflow służy do śledzenia eksperymentów, wersji konfiguracji RAG, trace’ów agenta i metryk jakości odpowiedzi.
Rola: Architektura on-premise, lokalne modele, małe węzły i testy infrastruktury