텍스트에서 중복 문장 제거하는 파이썬 예제

텍스트에서 중복 문자을 제거하는 파이썬 예제코드입니다.

 

2024. 3. 7 최초작성

def remove_duplicate_sentences(text):     # .을 기준으로 문장을 분리합니다.     sentences = text.split('.')     # 고유 문장을 저장할 딕셔너리입니다.  3.7 이상에서는 딕셔너리 순서가 유지됩니다.     temp_sentences = {}     for sentence in sentences:                 # 문장 앞뒤에 있는 공백을 제거합니다.         sentence = sentence.strip()         # 딕셔너리의 키에 이미 없는 경우에만 문장을 딕셔너리에 키로 집어넣습니다.         if not sentence in temp_sentences.keys():             temp_sentences[sentence] = True     # 리스트로 변환한 후, 하나의 문자열로 연결하여 반환합니다.     unique_sentences = temp_sentences.keys()     return '. '.join(unique_sentences) # 입력으로 사용할 텍스트를 사용하여 테스트해봅니다. text = "이것은 예시 문장입니다. 또 다른 예시 문장입니다. 이것은 예시 문장입니다. 마지막 예시 문장입니다." result = remove_duplicate_sentences(text) print(result)

실행결과입니다. 중복 문장이었던 “이것은 예시 문장입니다.”가 하나 제거되었습니다.

 

이것은 예시 문장입니다. 또 다른 예시 문장입니다. 마지막 예시 문장입니다.