Τυπωμένα συμβόλαια
Κάθε tool, κάθε input, κάθε output έχει Zod/JSON σχήμα. Το runtime το επιβάλλει· το LLM δεν μπορεί να ξεφύγει.
ΥΠΗΡΕΣΙΑ · 01
Agents & skills
Πολυβηματικά εργαλεία με evals, traces και guardrails — τρέχουν στο stack σας, όχι σε sandbox.
Eval gates
Κάθε release περνά από ντετερμινιστικά και LLM-judge evals πριν το promote. Τα regressions μπλοκάρουν το deploy.
Traces + σχέδιο rollback
Παντού spans OpenTelemetry· το rollback είναι μια αλλαγή route μιας γραμμής πίσω από feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
ΕΝΟΡΧΗΣΤΡΩΣΗ
Orchestrator
planner · router · memory
AGENTS & TOOLS
Retrieval
υβριδικό · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
ΔΕΔΟΜΕΝΑ & ΕΜΠΙΣΤΟΣΥΝΗ
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
Υπογεγραμμένο output
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runΤο trade desk υποβάλλει block trade €4.2M. Ο agent πρέπει να απορρίψει, εγκρίνει ή flag σε <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Ο pretrade έλεγχος απαιτεί: κανόνες, market data, position-check και deterministic evaluator gate.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
ΕΓΚΡΙΘΗΚΕ · 1 flag
Το trade περνά 11 από 12 κανόνες. Κανόνας 23.2 (συγκέντρωση βιβλίου) flagged για υπογραφή desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Μοντέλα
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · AI agents & skills
Κάθε release περνά από eval gates: ντετερμινιστικοί έλεγχοι (schema, latency, cost), κάλυψη tool-call και spot checks LLM-judge. Το deploy σταματά αν κάποιο regression περάσει.
Budgets ανά κλήση και ανά ημέρα. Cap-άρουμε το context με retrieval-truncation, δρομολογούμε σε φθηνότερα μοντέλα όπου το επιτρέπουν τα evals και πέφτουμε σε ντετερμινιστικά paths υπό πίεση κόστους.
Κάθε path έχει fallback. Ντετερμινιστική λογική πιάνει τις συχνές περιπτώσεις· το path του agent κάθεται από πάνω. Το rollback είναι αλλαγή route μιας γραμμής πίσω από feature flag.
Δύο εβδομάδες shadowing στη ράμπα, runbook + eval suite παραδίδονται στο repo σας, επικάλυψη on-call για το πρώτο incident. Μετά είναι δικό σας.
ΕΚΚΙΝΗΣΗ
Βγάλτε ζωντανό το πρώτο σύστημα.
Discovery σταθερής τιμής σε 2 εβδομάδες. Φεύγετε με αρχιτεκτονική, λειτουργικό spike και σχέδιο υλοποίησης.