/
azathd
/
mutiagent
Обзор
Документация
Войти
/
azathd
/
mutiagent
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность
master
scripts/llm_eval.py
19 строк
487 B
Your Name
init
15 май 2026, 17:47
15 май 2026, 17:47
359c81e
Код
Авторство
О чём код?
"""LLM eval harness (golden set stub).""" from __future__ import annotations import json from pathlib import Path GOLDEN = Path(__file__).parent / "golden_llm.json" def main() -> None: cases = json.loads(GOLDEN.read_text(encoding="utf-8")) if GOLDEN.exists() else [] ok = sum(1 for c in cases if c.get("expected") == c.get("actual")) total = max(len(cases), 1) print(json.dumps({"accuracy": ok / total, "total": len(cases)})) if __name__ == "__main__": main()