| 123456789101112131415161718192021222324 |
- <?php
- /**
- * config/ai.php
- *
- * LLM backend configuration.
- * Primary: llama.cpp server (faster, local GPU inference)
- * Fallback: Ollama (used if llama.cpp is unreachable)
- */
- // ── llama.cpp (primary) ───────────────────────────────────────────────────────
- define('LLAMACPP_HOST', 'http://192.168.8.73:11433'); // adjust to your llama.cpp server
- define('LLAMACPP_TIMEOUT', 120); // seconds
- define('LLAMACPP_TEMPERATURE', 100);
- define('LLAMACPP_TOP_P', 0.95);
- define('LLAMACPP_TOP_K', 40);
- // ── Ollama (fallback) ─────────────────────────────────────────────────────────
- define('OLLAMA_HOST', 'http://192.168.8.73:11434');
- define('OLLAMA_MODEL', 'llama3.1:8b-instruct-q4_K_M');
- define('OLLAMA_TIMEOUT', 60); // seconds — field mapping is fast
- define('OLLAMA_TEMPERATURE', 0.1); // low temp for deterministic JSON output
- // ── Shared ────────────────────────────────────────────────────────────────────
- define('EMBED_MODEL', 'nomic-embed-text'); // Ollama embedding model (fallback)
|
