innerdance — ein RAG-System, dem man seine Quellen glaubt
Retrieval-augmentierte Q&A über einen großen, gemischten Korpus — mit gemessener Antwortqualität.
Das Problem
Fragen über einen großen, gemischten Korpus beantworten (Audio-Transkripte, PDFs, EPUBs), wo eine selbstbewusst falsche oder unbelegte Antwort das Vertrauen sofort zerstört.
Der Ansatz
Die komplette Pipeline: Multi-Format-Ingestion, token-basiertes Chunking, Embeddings in PostgreSQL/pgvector, hybrides Retrieval (semantische + Keyword-Suche, per Reciprocal Rank Fusion verschmolzen, plus Reranking), als Tools bereitgestellt für einen Pydantic-AI-Agenten, der Antworten streamt, die in zitierten Quellpassagen verankert sind.
Was es belegt
Ein Evaluations-Framework mit LLM-as-judge-Scoring, einer eigenen Fehler-Taxonomie und Langfuse-Observability — Antwortqualität wird gemessen und iterativ verbessert, nicht geraten. Jede Antwort ist in zitierten Quellen verankert.
Highlights
- Zitierte Quellen bei jeder Antwort
- LLM-as-judge Eval-Harness + Fehler-Taxonomie
- Hybrides Retrieval: RRF + Reranking
- Langfuse-Observability
Ein Prozess oder Produkt, das als Software existieren sollte?
Wenn du die Fachexpertise mitbringst — oder ein Seed-/Series-A-Team bist, das starke Hände braucht — übernehme ich die technische Seite end-to-end oder arbeite mit deinem Team, um ein Produkt zu liefern, das Menschen gern nutzen.