inhyeokyoo / rag-tutorial Goto Github PK

Is your feature request related to a problem? Please describe.
기존에 사용 중이던 AI Hub 기술과학 문서 기계독해 데이터에는 HTML 태그 및 LATEX 등 노이즈가 많아 난이도를 좀 더 낮추기 위해 법률/규정 (판결서, 약관 등) 텍스트 분석를 사용토록 함.

따라서 해당 문서에 대한 분석이 필요함.

Describe the solution you'd like
A clear and concise description of what you want to happen.

Describe alternatives you've considered
A clear and concise description of any alternative solutions or features you've considered.

Additional context
Add any other context or screenshots about the feature request here.

Is your feature request related to a problem? Please describe.
LangChain 한국어 튜토리얼을 따라 공부.

Additional context
Add any other context or screenshots about the feature request here.

Data

Note:

• RAG 여부에 따른 성능 여부가 잘 보였으면 좋겠음
  • RAG가 없을 경우 hallucination 발생하여 RAG의 성능을 볼 수 있어야 함.
  • 엄밀하고 세세한 지식이 요구되는 specific한 케이스
• 형태가 다양하여 RAG 라이브러리에서 제공하는 기능을 충분히 사용하고 차이점을 확인
  • e.g., Table, list, hierarchy, chunking, prompt compression
• PDF파일 등 전처리에 따라 성능이 달라지는 것은 제외: 관리 포인트가 증가함

데이터	장점	단점
도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회	Hallucination을 일으킬 수도 있어 RAG 유무에 따른 성능을 보기 편함 (hard example) MRC 데이터라 질문과 근거 등이 함께 있음	애매함
AI Hub 기술과학 문서 기계독해 데이터	Hallucination을 일으킬 수도 있어 RAG 유무에 따른 성능을 보기 편함 (hard example) MRC 데이터라 질문과 근거 등이 함께 있음	계층구조, 메타데이터 등이 부족
법률/규정 (판결서, 약관 등) 텍스트 분석	Hallucination을 일으킬 수도 있어 RAG 유무에 따른 성능을 보기 편함 (hard example) 계층 구조 등이 있음	근거법령은 있으나 질문은 없음. 적당히 생성하면 될수도있을듯

Embedding

Massive Text Embedding Benchmark (MTEB) Leaderboard도 참고해볼 것

Is your feature request related to a problem? Please describe.

1. KorDPR의 경우 SKT의 KoBERT를 사용 중.

• huggingface hub에서 해당 파일은 사라졌으므로 이를 해결해야함
• KorDPR의 경우 BertModel에 pooler를 달고 있으므로 transformers의 DPRModel을 사용하려면 변경이 필요함

2. haystack에서는 SentenceTransformersTextEmbedder를 통하여 사용이 가능함

• 인풋과 아웃풋을 파악해야함
• 문서에서 디폴트로 사용하는 sentence-transformers/all-mpnet-base-v2의 경우 sentence transformer의 경우 MPNetForMaskedLM를 사용 중

• Nowadays, most of the models in the Massive Text Embedding Benchmark (MTEB) Leaderboard are compatible with Sentence Transformers. For example, if you use BAAI/bge-large-en-v1.5, you should prefix your query with the following instruction: “Represent this sentence for searching relevant passages:”

  • bge-large-en-v1.5의 경우 BertModel 베이스임.

Describe the solution you'd like
A clear and concise description of what you want to happen.

Describe alternatives you've considered
A clear and concise description of any alternative solutions or features you've considered.

Additional context
Add any other context or screenshots about the feature request here.

TO-DO List:

최종 목표 관련

RAG:

• Retrieval로 주는 top-k 문서의 최적화: LLM이 생성할 때 필요한 문서의 수를 최적화
  • 프롬프트를 활용할 수도 있을 것으로 보임.
• RAG에서 사용하기 좋은/적절한 chunking 사이즈를 찾는 방법 (AutoRAG)
• 메타데이터 활용 (RAG Survey)
• Multi-hop QA
• Prompt compression
  • 제목, 소제목 등을 문서 앞에다가 붙여주는 식으로 사용할 수는 있음

Prompt:

• Multi-turn 대화
• Prompting 잘 주는 방법

Optimization (Advanced)

• Hybrid Search Exploration
  • lexical, semantic, vector search 등을 조합하여 진행
• Recursive Retrieval and Query Engine

  • Recursive retrieval involves acquiring smaller chunks during the initial retrieval phase to capture key semantic meanings. Subsequently, larger chunks containing more contextual information are provided to the LLM in later stages of the process.

• StepBack-prompt

  • encourages the LLM to move away from specific instances and engage in reasoning around broader concepts and principles.

• HyDE (Hypothetical Document Embeddings)

  • 생성된 답변이 쿼리(query embedding = document embedding)보다 embedding space에서 더 가깝다는 가정으로 진행. 질문에 대해 hypothetical document를 생성한 이후 이와 문서 사이의 거리를 측정하여 활용하는 기법