LangChain text splitter, 마크다운 코드가 깨질 때
3줄 요약 LangChain MarkdownHeaderTextSplitter 는 코드블록 안의 들여쓰기까지 지웁니다. 제 원고 45편으로 재현했더니 파이썬 코드 84개 중 67개가 문법 오류 상태로 인덱스에 들어갔습니다. 검색 자체는 멀쩡합니다. 질의 12개로 확인해 보니 어떤 분할기를 써도 정답 문서를 1등으로 찾아냈습니다. 망가지는 것은 찾은 뒤 모델에게 건네는 그 조각입니다. 코드가 든 문서를 인덱싱하고 있다면 오늘 ast.parse 한 줄짜리 검사부터 돌려 보시면 됩니다. 아래 스크립트를 그대로 쓰시면 됩니다.