u/ThisZookeepergame393

Soy estudiante de programación y construí un asistente de lore para el universo de Destiny como proyecto de portfolio. El backend usa un pipeline RAG híbrido (.NET 9, pgvector, embeddings de Voyage AI, búsqueda híbrida BM25 + semántica fusionada con RRF, reescritura de queries con Claude Haiku, generación de respuestas con Claude Sonnet).

La fuente de datos es un documento de timeline narrativo de 500+ páginas — no una wiki ni una base de datos estructurada, sino texto denso organizado por era histórica. Terminé con ~3.300 chunks después de parsear por estructura de títulos y sub-temas en itálica.

Funciona bien para:

• Preguntas sobre personajes específicos ("¿Quién es Rhulk?")
• Preguntas conceptuales/filosóficas ("¿Qué es la Sword Logic?")
• Preguntas comparativas ("¿Cuál es la diferencia entre el Gardener y el Winnower?")

Tiene dificultades con:

• Eventos que abarcan múltiples eras y aparecen en muchos chunks ("¿Qué causó el Colapso?") — los chunks semánticamente más similares no siempre son los más relevantes
• Nombres propios que aparecen frecuentemente en distintos contextos — BM25 ayuda pero no lo resuelve del todo

Mi pregunta: ¿Es RAG realmente la herramienta correcta para este tipo de documento? La fuente es una timeline cronológica, no una base de conocimiento organizada por tema. Me pregunto si:

1. Un enfoque de knowledge graph funcionaría mejor (entidades + relaciones en vez de chunks)
2. Fine-tuning de un modelo más pequeño sobre el lore específico superaría a RAG para este dominio
3. Mejores estrategias de chunking (chunking semántico vs mi enfoque actual estructurado) cerrarían la brecha
4. RAG está bien y simplemente necesito mejor comprensión de queries (HyDE, descomposición, etc.)

Comparto el repo con gusto o puedo profundizar en cualquier decisión técnica. Genuinamente curioso qué enfoque usarían otros para este tipo de contenido.

Soy estudiante de programación y construí un asistente de lore para el universo de Destiny como proyecto de portfolio. El backend usa un pipeline RAG híbrido (.NET 9, pgvector, embeddings de Voyage AI, búsqueda híbrida BM25 + semántica fusionada con RRF, reescritura de queries con Claude Haiku, generación de respuestas con Claude Sonnet).

La fuente de datos es un documento de timeline narrativo de 500+ páginas — no una wiki ni una base de datos estructurada, sino texto denso organizado por era histórica. Terminé con ~3.300 chunks después de parsear por estructura de títulos y sub-temas en itálica.

Funciona bien para:

• Preguntas sobre personajes específicos ("¿Quién es Rhulk?")
• Preguntas conceptuales/filosóficas ("¿Qué es la Sword Logic?")
• Preguntas comparativas ("¿Cuál es la diferencia entre el Gardener y el Winnower?")

Tiene dificultades con:

• Eventos que abarcan múltiples eras y aparecen en muchos chunks ("¿Qué causó el Colapso?") — los chunks semánticamente más similares no siempre son los más relevantes
• Nombres propios que aparecen frecuentemente en distintos contextos — BM25 ayuda pero no lo resuelve del todo

Mi pregunta: ¿Es RAG realmente la herramienta correcta para este tipo de documento? La fuente es una timeline cronológica, no una base de conocimiento organizada por tema. Me pregunto si:

1. Un enfoque de knowledge graph funcionaría mejor (entidades + relaciones en vez de chunks)
2. Fine-tuning de un modelo más pequeño sobre el lore específico superaría a RAG para este dominio
3. Mejores estrategias de chunking (chunking semántico vs mi enfoque actual estructurado) cerrarían la brecha
4. RAG está bien y simplemente necesito mejor comprensión de queries (HyDE, descomposición, etc.)

Comparto el repo con gusto o puedo profundizar en cualquier decisión técnica. Genuinamente curioso qué enfoque usarían otros para este tipo de contenido.

I'm a programming student and built a lore assistant for the Destiny universe as a portfolio project. The backend uses a hybrid RAG pipeline (.NET 9, pgvector, Voyage AI embeddings, BM25 + semantic search fused with RRF, multi-query rewriting with Claude Haiku, answer generation with Claude Sonnet).

The data source is a 500+ page chronological lore timeline document — not a wiki or structured database, but dense narrative text organized by historical era. I ended up with ~3,300 chunks after parsing by heading structure and italic sub-topics.

It works well for:

• Questions about specific characters ("Who is Rhulk?")
• Conceptual/philosophical questions ("What is the Sword Logic?")
• Comparative questions ("What's the difference between the Gardener and the Winnower?")

It struggles with:

• Events that span multiple eras and appear in many chunks ("What caused the Collapse?") — the most semantically similar chunks aren't always the most relevant ones
• Proper nouns that appear frequently but in different contexts — BM25 helps here but doesn't fully solve it

My question: Is RAG actually the right tool for this kind of document? The source is a chronological timeline, not a topic-organized knowledge base. I'm wondering if:

1. A knowledge graph approach would work better (entities + relationships instead of chunks)
2. Fine-tuning a smaller model on just the lore would outperform RAG for this specific domain
3. Better chunking strategies (semantic chunking vs my current structure-aware approach) would close the gap
4. RAG is fine and I just need better query understanding (HyDE, decomposition, etc.)

Happy to share the repo or go deeper on any of the technical decisions. Genuinely curious what approaches others would take for this type of content.