مشكلة في RAG (للي يشتغلون في المجال فقط)
السلام عليكم، قاعد اشتغل على نظام يقارن بنود من الملف الاول ب chunks من ملف ثاني ويشوف هل كل بند تم تحقيقه ولا لا.
النظام: ياخذ كل بند من الملف الاول، ثم يسترجع الchunks المقابلة له في الملف الثاني، ثم تدخل المعلومات المسترةعه الى LLM ويقول هل تم تحقيق البند ولا لا.
المشكله انه بعض الاحيان يكون البند عام، و مافيه شيء يقابله حرفيا في الملف الثاني لكن فيه اشياء صغيره اذا جمعتها مع بعض تدل على انه البند محقق.
مثلاً:
البند في الملف الاول: الحياة جميله
ال chunks في الملف الثاني:
١-الاولاد ياكلون اكل صحي
٢- لا يوجد مشاكل في العائلة
٣- الدخل المادي عالي.
المشكلة ال semantic retrival ما يسترجع هذي الامور الصغيرة، هو بس يقدر يسترجع الاشياء الي مذكوره السعادة او الجمال بشكل مباشر.
وبناء عليه النتايج المسترجعه الي بيستخدمها LLM عشان يحدد هل البند متحقق او لا تكون اقل من اللازم بكثير.
وبعض الاحيان يكون العكس، البند دقيق والchunks اكبر وعامة واواجه نفس المشكلة
قلت اجرب هل مجتمعاتنا في الtech زي الاجانب ولا لا 😅