~/labor-policy-assistant │ main !12 ?61  python scripts/pdf_parser.py data/policies/labor.pdf
PDF 처리 시작: data/policies/labor.pdf
PDF 페이지 처리 중: 100%|███████████████████████| 319/319 [01:24<00:00,  3.78it/s]
PDF에서 총 319 페이지 추출 완료
텍스트를 0 청크로 분할 완료
청크 임베딩 및 저장 중: 0it [00:00, ?it/s]
모든 청크 임베딩 및 저장 완료
PDF 처리 완료

def perform_ocr_on_images(image_folder, output_folder, num_pages):
    import easyocr
    import os
    
    # 출력 폴더가 없으면 생성
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)
    
    # EasyOCR 리더 초기화 (한국어 + 영어)
    reader = easyocr.Reader(['ko', 'en'])
    
    for page_num in range(1, num_pages + 1):
        image_path = os.path.join(image_folder, f"page_{page_num}.png")
        output_file = os.path.join(output_folder, f"page_{page_num}.txt")
        
        # OCR 실행
        results = reader.readtext(image_path)
        
        # 결과를 텍스트 파일로 저장
        with open(output_file, 'w', encoding='utf-8') as f:
            for (_, text, _) in results:
                f.write(text + '\n')
        
        print(f"Processed page {page_num}/{num_pages}")

Cantents
01
취업 취약계층 고용안정 및 취업지원
청년
(7) 청년일자리도악장려금 사업
(2) 청년미래플러스 사업
3
(3) 청년도전지원사업
청년성장프로적트
5
(5) 직장적응 지원
(6) 일학습병행
청년일경험지원
(8) 대학일자리플러스센터 운영
70
(9) 해외취업지원
(70) 능력중심의 투명한 공정채용문화 확산
14
(77) 채용절차의 공정성 제고
75
(12) 대학 재학생 맞춤형 고용서비스
76
(13) 미래유망분야 고졸인력양성
7
(14) 고교 재학생 맞춤형 고용서비스
79
(75) 졸업생 특화프로그램
20
(76) 플리택 하이테크과정
27
고렇자(신중년)
(17) 고렇자 계속고용장려금
22
(78) 고렇자 고용지원금
23
(79) 중장년 경력지원제
24
(20) 중장년내일센터
25

# upload_vectors.py
import os
import re
from tqdm import tqdm
from pinecone import Pinecone
from dotenv import load_dotenv

# .env 파일 로드
load_dotenv()

# 환경 변수 가져오기
PINECONE_API_KEY = os.getenv("PINECONE_API_KEY")
INDEX_NAME = os.getenv("PINECONE_INDEX_NAME", "labor-policy")

# 작업 디렉토리 설정
work_dir = "work_labor_sample"
merged_file = os.path.join(work_dir, "labor_sample_text.txt")

# 텍스트 파일 다시 읽기
with open(merged_file, 'r', encoding='utf-8') as f:
    text = f.read()

# 텍스트 청킹 함수 - 페이지 메타데이터 포함
def create_chunks_with_metadata(text, chunk_size=1000, chunk_overlap=200):
    from langchain.text_splitter import RecursiveCharacterTextSplitter
    
    # 페이지 정보 추출을 위한 준비
    chunks = []
    metadatas = []
    
    # 페이지 구분자로 텍스트 분리
    page_pattern = "\n--- Page (\d+) ---\n"
    page_splits = re.split(page_pattern, text)
    
    # 첫 요소는 빈 문자열일 수 있으므로 제거
    if page_splits[0] == '':
        page_splits = page_splits[1:]
    
    # 페이지 번호와 내용 쌍으로 재구성
    pages = []
    for i in range(0, len(page_splits), 2):
        if i+1 < len(page_splits):
            page_num = page_splits[i]
            content = page_splits[i+1]
            pages.append((page_num, content))
    
    # 텍스트 스플리터 설정
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=chunk_size,
        chunk_overlap=chunk_overlap,
        length_function=len,
        separators=["\n\n", "\n", " ", ""]
    )
    
    # 각 페이지별로 청크 생성 및 메타데이터 추가
    for page_num, content in pages:
        page_chunks = text_splitter.split_text(content)
        for chunk in page_chunks:
            chunks.append(chunk)
            metadatas.append({"page": page_num})
    
    return chunks, metadatas

# 임베딩 생성 함수
def get_embeddings(chunks):
    from openai import OpenAI
    import time
    
    OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
    client = OpenAI(api_key=OPENAI_API_KEY)
    embeddings = []
    
    for chunk in tqdm(chunks, desc="임베딩 생성 중"):
        response = client.embeddings.create(
            input=chunk,
            model="text-embedding-3-small"
        )
        embeddings.append(response.data[0].embedding)
        time.sleep(0.1)  # API 속도 제한 방지
    
    return embeddings

# Pinecone에 업로드 - 메타데이터 포함
def upload_to_pinecone(chunks, embeddings, metadatas):
    print("Pinecone에 업로드 중...")
    
    # Pinecone 초기화
    pc = Pinecone(api_key=PINECONE_API_KEY)
    
    # 인덱스 존재 확인
    existing_indexes = [index.name for index in pc.list_indexes()]
    
    if INDEX_NAME not in existing_indexes:
        print(f"인덱스 '{INDEX_NAME}' 생성 중...")
        pc.create_index(
            name=INDEX_NAME,
            dimension=1536,  # text-embedding-3-small 차원
            metric="cosine"
        )
    
    # 인덱스 연결
    index = pc.Index(INDEX_NAME)
    
    # 데이터 업로드
    batch_size = 100
    for i in tqdm(range(0, len(chunks), batch_size), desc="벡터 업로드 중"):
        i_end = min(i + batch_size, len(chunks))
        
        vectors = []
        for j in range(i, i_end):
            vectors.append({
                "id": f"chunk_{j}",
                "values": embeddings[j],
                "metadata": {
                    "text": chunks[j],
                    "page": metadatas[j]["page"]
                }
            })
        
        # 벡터 업로드
        index.upsert(vectors=vectors)
    
    print("Pinecone 업로드 완료!")

# 메인 실행 코드
def main():
    print(f"텍스트 파일 '{merged_file}' 처리 중...")
    
    # 텍스트 청킹 (메타데이터 포함)
    chunks, metadatas = create_chunks_with_metadata(text)
    print(f"{len(chunks)}개의 청크 생성 완료")
    
    # 임베딩 생성
    embeddings = get_embeddings(chunks)
    
    # Pinecone에 업로드 (메타데이터 포함)
    upload_to_pinecone(chunks, embeddings, metadatas)

if __name__ == "__main__":
    main()