OCR 채택
저번포스팅 에서의 문제
easyocr 을 사용하면 95% 이상 잘 텍스트가 추출되지만 5%가 아쉽긴하다.
이 5%를 어케 처리해야할까?
- 다른 OCR기법들을 테스트해서 더 좋은 OCR 사용
- 텍스트 후처리
아마 둘 다 해봐야할듯..? 아마 다음 포스팅은 1번으로 여러개 해보고 어느게 성능이 좋은지 시각화도 해서 비교할 듯.
4개 OCR 비교하기
기존 pdf_ocr_processor.py가 easyocr 라이브러리를 사용한 모델이다.
Tesseract 라이브러리, Naver Cloud API, Upstage API를 사용해서 4개의 성능을 비교해보고 가장 좋은 모델을 채택, 그 후에도 후처리가 필요하면 후처리하려고 한다.
EasyOCR(원래) 결과 - 1~5page 샘플링
--- Page 1 ---
발 간 등 록 번 호
Ministry of
11-1494914-100002-10
Employment and Labor
2025.02
캐리
2025
한 권으로
통(m)하는
고용노동 정책
고용노동부 사업 및 제도
고용노동부
--- Page 2 ---
Cantents
01
취업 취약계층 고용안정 및 취업지원
청년
(7) 청년일자리도악장려금 사업
(2) 청년미래플러스 사업
3
(3) 청년도전지원사업
청년성장프로적트
5
(5) 직장적응 지원
(6) 일학습병행
청년일경험지원
(8) 대학일자리플러스센터 운영
70
(9) 해외취업지원
(70) 능력중심의 투명한 공정채용문화 확산
14
(77) 채용절차의 공정성 제고
75
(12) 대학 재학생 맞춤형 고용서비스
76
(13) 미래유망분야 고졸인력양성
7
(14) 고교 재학생 맞춤형 고용서비스
79
(75) 졸업생 특화프로그램
20
(76) 플리택 하이테크과정
27
고렇자(신중년)
(17) 고렇자 계속고용장려금
22
(78) 고렇자 고용지원금
23
(79) 중장년 경력지원제
24
(20) 중장년내일센터
25
--- Page 3 ---
233
l린@ 록미a늄
고용노동장책
(27) 플리택 신중년 특화과정
29
(22) 생애경력설계서비스
30
(23) 재취업지원서비스 시행지원
32
3
장애인
(24) 장애인 고용장려금
33
(25) 장애인 신규고용장려금
34
(26) 장애인 표준사업장 설립 지원
35
(27) 자회사형 표준사업장 설립 지원
37
(28) 장애인 보조공학기기 지원
38
(29) 근로지원비용 지원
39
(30) 장애인 근로지원인 제도
40
(37) 장애인고용시설자금 움자
41
(32) 장애인고용시설 장비 무상지원
42
(33) 중증장애인지원고용
43
(34) 장애인 직업능력개발 지원
44
(35) 장애인 인터제
47
(36) 장애인 취업성공때키지
48
(37) 중증장애인근로자 출 퇴근비용 지원
49
(38) 근로장애인 전환지원
50
(39) 고용지원 필요도 결정
57
여성(육아지원)
(40) 출산 육아 지원
52
(47) 출산육아기 고용안정 지원
5
(42) 대체인력 채용지원서비스
59
(43) 고용보험 미적용자 출산급여 지원
60
--- Page 4 ---
Cantents
(44) 직장어린이집 지원
67
(45) 경력단절여성취업지원
63
(46) 플리택 여성재취업과정
64
02
외국인력 제도 운영 및 지원
(47) 고용하가제도
(48) 외국인근로자 사업장 변경제도
68
(49) 재입국 특레 외국인근로자 취업 제도
70
(50) 특별한국어시험 재취업 제도
72
(57) 외국인근로자 체류 지원
73
(52) 외국인력 상담센터 운영
74
(53) 외국인근로자 지역정칙 지원
75
03
맛출o 취업 및 채용지원 서비스
(54) 고용복지+센터
78
(55) 구직자 취업지원 서비스
8
(56) 구직자: 기업 도악보장 때키지
82
(57) 심리안정지원 프로그램
84
(58) 구직자 취업역량강화 프로그램
85
(59) 국민취업지원제도
87
--- Page 5 ---
233
l린@ 록미a늄
고용노동장책
04
사업주 지원 장려금
고용장려금
(60) 고용춧진장려금
90
2
고용안정 및 일생활 균형 장려금
(67) 고용유지지원금
(62) 고용안정장려금(총관)
(63) 위라벌일자리 장려금(소정근로시간단축제)
(64) 위라벌일자리 장려금(실근로시간단축제)
(65) 일: 가정 양립 환경개선 지원
100
(66) 출산육아기 고용안정 지원
104
3
사회적기업
(67) 사회적기업 육성
106
지역고용
(68) 지역산업맛춤형 일자리 창출 지원
109
(69) 지역고용추진 지원금
10
(70) 지역일자리 공시제
77
(71) 고용위기지역 지정
712
(72) 특별고용지원업종 지정
714
(73) 산업 일자리전환 지원금
776
기타
(74) 고용영향평가제도
117
(75) 고용형태공시제도
778
(76) 고용노동통계조사
120
(77) 인력수급전망
122
한 눈으로 흝어봤을때 95%정도 성능인거같다.
무료 라이브러리치고 좋은듯?
Tesseract OCR 결과
--- Page 1 ---
Fil Emoloyment and Lebor
2025.02
iA O
= 2025 eH
of 권으로
AV A
wr AS
fil QL MAH |
그응노종 성색
개] 고용노동부 사업 및 제도 (=
tf &
OG Ore
--- Page 2 ---
1 1111111111111111111 111 |
-ㅡ-0000030@+-ㅜ-ㅜㅡㅜㅜ ---ㅜ+-
~ 4010허001 1 [1 | [1 | [ | 11 | |
_ ㅣ
—] Qasr)
_
— oe
|] (1) 청년일자리도약장려금 사업 eee D
|] (A) 청년성장프로젝트 ……………아…아아에에아에에아세세에사에에아아에아어- B
|] (6) 월학습병행 ………아아아아에나에아아에아겨아에에아애아세에에게아에가아세아 7
| ] (7) 청년일경험지원 ……… 아아어아아어아아세여아사세아세세아사세에사어9 Q
| ㅣ (8) 대학일자리플러스센터 운영 ……………여어에……10
| | (9) 해외취업지원 ………… 아아아에아아에아아에아사에에사에에아에에아아나 11
|] (10) 능력중심의 투명한 공정채용문화 확산 …………………ㄴ14
| ㅣ] (11) 채용절차의 공정성 제끄 …… ……아아아아아099190815
| (12) 대학 재학생 맞춤형 고용서비스 …………………………-16
| ㅣ] (13) 미래유망분야 고졸인력양성 …………………아09097
7 (14) 고교 재학생 맞춤형 고용서비스 ………………………………………19
(15) 졸업생 특화프로그램 eerste: OQ
| | (16) 폴리텍 하이테크과정 …ㅇ아아아 21
~ TEKH)
4 (18) 고령자 고용지원금 Sie ee teen ents entree eneeensasenaseetteesctatenetens DQ
- (20) 중장년내일센터 ………여…아어어아아에에아에에에사세아사애애어어 25
_ 1
|
=A
--- Page 3 ---
| | tT | | 1] | | | | | | | 8308 | |
CACC ete ee
니니니디디디디디디디디디이디 기이 그 오우 오저어 | | ㅣ
VAY |
002
(23) 재취업지원서비스 시행지원 sete 32 ㅣ ]|
장애인 Lt |
(24) 장애인 고용장려금 eee eet teeters BY
(25) 장애인 신규고용장려금 ……………아아아아아아아아아아에아01818 34 | |
(26) 장애인 표준사업장 설립 지원 ………………………………… 35 |
(27) 자회사형 표준사업장 설립 지원 ………………………………………%…37 |
(28) 장애인 보조공학기기 지원 verre eects teeter ete 38 TT
(30) 장애인 근로지원인 제도 verve eee teeter 40 ㅣ |
(31) 장애인고용시설자금 용자 ………아에아에아아아아아아에다 AY | |
(32) 장애인고용시설-장비 무상지원 ceeecreeesestreeeeeeeeeeeee AD ㅣ |
(33) 중증장애인지원고용 ……………아아아아아아아아아아아아아아아아아 AQ [|
(34) 장애인 직업능력개발 지원 eercreeeereeeeeereeeeeeeeee Ad ㅣ |
(35) 장애인 인턴제 veer eee eee esse seers tsetse AT | |
(36) 장애인 취업성공패키지 eevee eee eee 4g ㅣ |
(37) 중증장애인근로자 출ㆍ퇴근비용 지원 …………………………………49 ㅣ ]
(38) 근로장애인 전환지원 eee ee eee eee 50 ㅠㅠ
(39) 고용지원 필요도 결정 eee ees BY ㅣ |
여성(육아지원) | ㅣ
(41) 출산육아기 고용안정 지원 everett etree BF ㅣ ㅣ
(42) 대체인력 채용지원서비스 cee eee eee BQ ㅣ
(43) 고용보험 미적용자 출산급여 지원 …………………………………………60 +
4 ㅣ |
가까 나나
--- Page 4 ---
11111 1111111111) EEE
=] ] ]]]]]]]11111]11]1]]]]]]] |]
| | 겹그02020 | | | | | | | | |] | | |] | | ] |
— 00000007111111111111111
— G8) SERRA
ㅣ]
프미0(0고그
satis
뜨개 개가
a = 은이 wig en
Gham ques eg
- [| (53) 외국인근로자 지역정착 지원 …………………어아…………… 75
ㅣ]
| | (@paeeseanene we)
—H & IERIE on
Hct
|] (57) 심리안정지원 프로그램 …………………………………………84
ㅣ (58) 구직자 취업역량강화 프로그램 ……………………………………85
ㅣ]
ㅣ]
A eee
PTTL 때
--- Page 5 ---
| | tT | | 1] | | | | | | | 8308 | |
COCO COCO eee er
니니니디디디디디디디디디이디 기이 그 오우 오저어 | |
oo
(4) 사업주 지뭔 장려금 TO
고등장려금 ㄴㄴ
고용안정 및 일생활 균형 장려금 ff]
(62) 고용안정장려금(총괄) eee ssceeseeenesseessseensseeees 94 | ㅣ |
(63) 워라밸일자리 장려금(소정근로시간던축제) ……………………96 ㅣ ㅣ
(64) 워라밸일자리 장려금(실근로시간단축제) ………………………98 [| |
(65) 일ㆍ가정 양립 환경개선 지원 …………………………………………%……100 ㅣ ]
(66) 출산육아기 고용안정 지원 ………아아아아아00888 104 ㅣ]
사회적기업 ㅣ ㅣ
noms ㄴㄴ
(68) 지역산업맞춤형 일자리 창출 지원 …………………………………………ㄴ… 109 ry
(69) 지역고용촉진 지원금 이아아아아기사어이아사아아아아아아세아 1 0 |
(71) 고용위기지역 지정 ………여아아어어사아어서사아애사가사에에에 112
(72) 특별고용지원업종 지정 …………아아아아아아아아아아1181 14 ㅣ
(73) 산업ㆍ일자리전환 지원금 ………………아아에아09090998… 116 -}+—
(5) 기타 ㅣ |
(74) 고용영향평가제도 ………아아아아아아아아아아아아아아아아아 117 ㅣ |
(75) 고용형태공시제도 ……………아아아아아아바아아아사마아아10881 18 rT
4 ㅣ ㅣ
개판이다. 넘어가자.
Naver Cloud OCR API
--- Page 1 ---
발간등록번호
Ministry of
11-1494914-100002-10 Employment and Labor
2025.02
2025
한 권으로
통(im)하는
고용노동 정책
고용노동부 사업 및 제도
고용노동부
--- Page 2 ---
Contents
01 취업 취약계층 고용안정 및 취업지원
1 청년
(1) 청년일자리도약장려금 사업 2
(2) 청년미래플러스 사업 3
(3) 청년도전지원사업 4
(4) 청년성장프로젝트 5
(5) 직장적응 지원 6
(6) 일학습병행 7
(7) 청년일경험지원 9
(8) 대학일자리플러스센터 운영 10
(9) 해외취업지원 11
(10) 능력중심의 투명한 공정채용문화 확산 14
(11) 채용절차의 공정성 제고 15
(12) 대학 재학생 맞춤형 고용서비스 16
(13) 미래유망분야 고졸인력양성 17
(14) 고교 재학생 맞춤형 고용서비스 19
(15) 졸업생 특화프로그램 20
(16) 폴리텍 하이테크과정 21
2 고령자(신중년)
(17) 고령자 계속고용장려금 22
(18) 고령자 고용지원금 23
(19) 중장년 경력지원제 24
(20) 중장년내일센터 25
--- Page 3 ---
한권으로 통(배)하는
고용노동정책
(21) 폴리텍 신중년 특화과정 29
(22) 생애경력설계서비스 30
(23) 재취업지원서비스 시행지원 32
3 장애인
(24) 장애인 고용장려금 33
(25) 장애인 신규고용장려금 34
(26) 장애인 표준사업장 설립 지원 35
(27) 자회사형 표준사업장 설립 지원 37
(28) 장애인 보조공학기기 지원 38
(29) 근로지원비용 지원 39
(30) 장애인 근로지원인 제도 40
(31) 장애인고용시설자금 융자 41
(32) 장애인고용시설·장비 무상지원 42
(33) 중증장애인지원고용 43
(34) 장애인 직업능력개발 지원 44
(35) 장애인 인턴제 47
(36) 장애인 취업성공패키지 48
(37) 중증장애인근로자 출·퇴근비용 지원 49
(38) 근로장애인 전환지원 50
(39) 고용지원 필요도 결정 51
4 여성(육아지원)
(40) 출산 육아 지원 52
(41) 출산육아기 고용안정 지원 57
(42) 대체인력 채용지원서비스 59
(43) 고용보험 미적용자 출산급여 지원 60
--- Page 4 ---
Contents
(44) 직장어린이집 지원 61
(45) 경력단절여성취업지원 63
(46) 폴리텍 여성재취업과정 64
02 외국인력 제도 운영 및 지원
(47) 고용허가제도 66
(48) 외국인근로자 사업장 변경제도 68
(49) 재입국 특례 외국인근로자 취업 제도 70
(50) 특별한국어시험 재취업 제도 72
(51) 외국인근로자 체류 지원 73
(52) 외국인력 상담센터 운영 74
(53) 외국인근로자 지역정착 지원 75
03 맞춤형 취업 및 채용지원 서비스
(54) 고용복지+센터 78
(55) 구직자 취업지원 서비스 81
(56) 구직자. 기업 도약보장 패키지 82
(57) 심리안정지원 프로그램 84
(58) 구직자 취업역량강화 프로그램 85
(59) 국민취업지원제도 87
--- Page 5 ---
한권으로 통(배)하는
고용노동정책
04 사업주 지원 장려금
1 고용장려금
(60) 고용촉진장려금 90
2 고용안정 및 일생활 균형 장려금
(61) 고용유지지원금 92
(62) 고용안정장려금(총괄) 94
(63) 워라밸일자리 장려금(소정근로시간단축제) 96
(64) 워라밸일자리 장려금(실근로시간단축제) 98
(65) 일·가정 양립 환경개선 지원 100
(66) 출산육아기 고용안정 지원 104
3 사회적기업
(67) 사회적기업 육성 106
4 지역고용
(68) 지역산업맞춤형 일자리 창출 지원 109
(69) 지역고용촉진 지원금 110
(70) 지역일자리 공시제 111
(71) 고용위기지역 지정 112
(72) 특별고용지원업종 지정 114
(73) 산업·일자리전환 지원금 116
5 기타
(74) 고용영향평가제도 117
(75) 고용형태공시제도 118
(76) 고용노동통계조사 120
(77) 인력수급전망 122
이야. 사실 easyocr만 해도 굉장히 잘 인식하는 줄 알았는데 돈의 힘이 이런건가? 눈으로 오타를 찾으려해봐도 찾을 수 없었다. page1의 한자 하나 영어로 인식한 정도? 그냥 완벽하다.
Upstage OCR API
발 간 등 록 번 호
Ministry of
11-1494914-100002-10 Employment and Labor
2025. 02
2025
한 권으로
통 (通) 하는
고용노동 정책
고용노동부 사업 및 제도
7
고용노동부
01 취업 취약계층 고용안정 및 취업지원
1 청년
(1) 청년일자리도약장려금 사업 ··· 2
(2) 청년미래플러스 사업 ・・・・・・ 3
(3) 청년도전지원사업 4
(4) 청년성장프로젝트 ・・・・・・・ 5
(5) 직장적응 지원 ・・・・・ 6
(6) 일학습병행 7
(7) 청년일경험지원 ・・・・・・ 9
(8) 대학일자리플러스센터 운영 ·· 10
(9) 해외취업지원 ······ 11
(10) 능력중심의 투명한 공정채용문화 확산 ・・・・・・ 14
(11) 채용절차의 공정성 제고 ・・・・・・・ 15
(12) 대학 재학생 맞춤형 고용서비스 ・・・・ 16
(13) 미래유망분야 고졸인력양성 ···· 17
(14) 고교 재학생 맞춤형 고용서비스 ・・・・ 19
(15) 졸업생 특화프로그램 ・・・・・・ 20
(16) 폴리텍 하이테크과정 .... 21
2 고령자(신중년)
(17) 고령자 계속고용장려금 22
(18) 고령자 고용지원금 ------------------------- 23
(19) 중장년 경력지원제 ··· 24
(20) 중장년내일센터 25
2025
한권으로 동(通)하는
고용노동정책
(21) 폴리텍 신중년 특화과정 29
(22) 생애경력설계서비스 ・・・・・ 30
(23) 재취업지원서비스 시행지원 .... 32
3 장애인
(24) 장애인 고용장려금 33
(25) 장애인 신규고용장려금 34
(26) 장애인 표준사업장 설립 지원 ・・・・・ 35
(27) 자회사형 표준사업장 설립 지원 ・・・・・ 37
(28) 장애인 보조공학기기 지원 38
(29) 근로지원비용 지원 " 39
(30) 장애인 근로지원인 제도 40
(31) 장애인고용시설자금 융자 41
(32) 장애인고용시설·장비 무상지원 42
(33) 중증장애인지원고용 ... 43
(34) 장애인 직업능력개발 지원 44
(35) 장애인 인턴제 47
(36) 장애인 취업성공패키지 48
(37) 중증장애인근로자 출·퇴근비용 지원 ・・・・・・ 49
(38) 근로장애인 전환지원 ... 50
(39) 고용지원 필요도 결정 51
4 여성(육아지원)
(40) 출산 육아 지원 ... 52
(41) 출산육아기 고용안정 지원 ・・・・・ 57
(42) 대체인력 채용지원서비스 " 59
(43) 고용보험 미적용자 출산급여 지원 60
Contents
(44) 직장어린이집 지원 .... 61
(45) 경력단절여성취업지원 = = = = ================= 63
(46) 폴리텍 여성재취업과정 =================================================== 64
02 외국인력 제도 운영 및 지원
(47) 고용허가제도 ・・・・・・・・ 66
(48) 외국인근로자 사업장 변경제도 ・・・・・・ 68
(49) 재입국 특례 외국인근로자 취업 제도 ・・・・・・・・ 70
(50) 특별한국어시험 재취업 제도 ···· 72
(51) 외국인근로자 체류 지원 ··· 73
(52) 외국인력 상담센터 운영 74
(53) 외국인근로자 지역정착 지원 ・・・・・・・・・・・・・・・・・・・・・・ ・・・・・ 75
03 맞춤형 취업 및 채용지원 서비스
(54) 고용복지*센터 78
(55) 구직자 취업지원 서비스 .... 81
(56) 구직자·기업 도약보장 패키지 " 82
(57) 심리안정지원 프로그램 ・・・・・・・ 84
(58) 구직자 취업역량강화 프로그램 ・・・・・・・ 85
(59) 국민취업지원제도 87
2025
한권으로 동(通)하는
고용노동정책
04 사업주 지원 장려금
① 고용장려금
(60) 고용촉진장려금 90
2 고용안정 및 일생활 균형 장려금
(61) 고용유지지원금 ...... 92
(62) 고용안정장려금(총괄) ・・・・・・・・ 94
(63) 워라밸일자리 장려금(소정근로시간단축제) ・・・・・・・ 96
(64) 워라밸일자리 장려금(실근로시간단축제) ・・・・・ 98
(65) 일·가정 양립 환경개선 지원 ... 100
(66) 출산육아기 고용안정 지원 .... 104
3 사회적기업
(67) 사회적기업 육성 106
4 지역고용
(68) 지역산업맞춤형 일자리 창출 지원 ・・・・・・・・ 109
(69) 지역고용촉진 지원금 ・・・・・・ 110
(70) 지역일자리 공시제 ・・・・ 111
(71) 고용위기지역 지정 112
(72) 특별고용지원업종 지정 ... 114
(73) 산업 ·일자리전환 지원금 ・・・・・・ 116
5 기타
(74) 고용영향평가제도 ..... 117
(75) 고용형태공시제도 ・・・・・・ 118
(76) 고용노동통계조사 ..... 120
(77) 인력수급전망 = = = ==⌀================ ・・・・・・ 122
얘도 글자는 거의 완벽하긴한데 좀 더럽게 나온다.
이렇게 되어있어서 점들을 글자로 다 읽어버리는 것 같다. 그래도 오타는 없는 것 같고 한자도 잘 보긴하는데 결국 저거다시 다 임베딩해서 저장해야 되는데 좀 더럽긴하다. 아마 이걸 쓴다면 … _ _ 이런 기호들을 후처리해주면 네이버클라우드랑 비슷할듯.
Naver OCR API를 아마 사용할 것 같다. 후처리하기도 귀찮고 해서.
그러면 다음 포스팅에는 Naver Cloud OCR API를 이용해서 전체 페이지를 넣으려다가 우선 1~5페이지를 임베딩해서 벡터 DB에 넣고 그걸로 전체 파이프라인을 구성을 먼저 해서 테스트하는게 나을 것 같다.
그 다음에 그게 잘되면 DB에 전체 PDF를 넣는 방식으로 하면 바로 끝날테니까. 너무 데이터가 커지면 테스트하기도 불편하다.
- Pinecone에 OCR로 바뀐 샘플링된 텍스트 넣기 - python scripts/upload_vectors_langchain.py
- 백엔드 API 구성하고 샘플링된 텍스트데이터로 잘 되나 테스트
- LLM 만들기
- 추천시스템 만들기