AI Evals in Practice. Testing, reliability, and quality for LLM systems in production Caio Incau
angielski
- Autor:
- Caio Incau
- Wydawnictwo:
- Packt Publishing
- Ocena:
- Stron:
- 216
- Dostępne formaty:
-
PDFePub
Opis
książki
:
AI Evals in Practice. Testing, reliability, and quality for LLM systems in production
You will build evalkit, a complete Python evaluation harness, while learning the core components of an eval: datasets, scorers, runners, and golden test sets. You will create deterministic scorers and LLM-as-judge evaluations, then calibrate judges and mitigate common biases. The book applies these foundations to prompt regression testing and CI, RAG retrieval and generation metrics, agent trajectories and tool calls, and human annotation workflows. You will then extend evaluation into production with online sampling, guardrails, and cost- and latency-aware pipelines, while comparing tools such as DeepEval, promptfoo, Langfuse, and Braintrust. A case study and final project bring the pieces together into an eval-driven development workflow with CI and a dashboard.
By the end, you will be able to design evaluation pipelines that help you ship LLM systems with measurable, repeatable quality.
Szczegóły książki
- Tytuł oryginału:
- AI Evals in Practice. Testing, reliability, and quality for LLM systems in production
- ISBN Ebooka:
- 978-18-088-1724-3, 9781808817243
- Data wydania ebooka :
-
2026-09-21
Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna
z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie.
Jeśli masz wątpliwości skontaktuj się z nami [email protected].
- Język publikacji:
- angielski
- Rozmiar pliku Pdf:
- 1.5MB
- Rozmiar pliku ePub:
- 424.3kB
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: [email protected]
Książka drukowana
Oceny i opinie klientów: AI Evals in Practice. Testing, reliability, and quality for LLM systems in production Caio Incau
(0)