feat(batch-agent): add E2E evaluation harness with Langfuse integration
- eval/mock_executor.py: intercepts execute_on_client, serves fixture files from disk, records all mutations (insert/update/delete) - eval/config.py: YAML fixture loader with prompt variants, expected results, seed records, model overrides - eval/scorer.py: FieldMatchScorer (fuzzy title match, per-field accuracy, precision/recall/F1) + LLMJudgeScorer (semantic eval) - eval/langfuse_eval.py: sync fixtures to Langfuse datasets, create dataset runs, post scores, link traces to runs - eval/runner.py: orchestrates fixture → mock → agent pipeline → scoring → Langfuse reporting - eval/cli.py: CLI (python -m eval run/list/sync) with --models, --variants, --fixture, --no-judge flags - eval/fixtures/: example Italian freelance scenario with 3 prompt variants (baseline, detailed_italian, minimal)
This commit is contained in:
@@ -0,0 +1,25 @@
|
||||
# Meeting Notes - Kickoff Progetto E-Commerce
|
||||
|
||||
**Data:** 10 Marzo 2026
|
||||
**Partecipanti:** Marco R., Giulia T., Cliente (FashionStore srl)
|
||||
|
||||
## Decisioni prese
|
||||
|
||||
1. **Piattaforma**: Next.js + Stripe per i pagamenti
|
||||
2. **Timeline**: MVP pronto entro 30 aprile 2026
|
||||
3. **Budget**: €12.000 totale, €4.000 anticipo già ricevuto
|
||||
|
||||
## Action items
|
||||
|
||||
- [ ] Marco: preparare wireframe homepage entro 14 marzo — ALTA PRIORITÀ
|
||||
- [ ] Giulia: setup progetto Next.js e configurare CI/CD — media priorità
|
||||
- [ ] Marco: ricerca plugin Stripe per gestione abbonamenti — bassa priorità
|
||||
- [x] Giulia: inviare contratto firmato al cliente — COMPLETATO
|
||||
|
||||
## Note aggiuntive
|
||||
|
||||
Il cliente vuole un design minimalista, ispirato a Zara.com.
|
||||
Colori primari: nero, bianco, oro.
|
||||
Font: Inter per body, Playfair Display per headings.
|
||||
|
||||
Prossimo meeting: 24 marzo 2026 ore 15:00.
|
||||
Reference in New Issue
Block a user