R&D 프로젝트5

• 

  [R&D] MongoDB 해킹 방지 랜섬웨어를 당하여 데이터베이스(컬렉션 상위 개념) 목록을 전부 날렸다. 이상한 DB를 만들어서 남겨놨음. 원인은 계정 인증이 안되어 있었기 때문이다. MongoDB의 경우 설치시 디폴트로 계정 설정이 안되고 그에 따라 계정 없이 MongoDB admin 권한에 접근할 수 있다. 네트워크 망이 public이기 때문에 결국 누구나 접근해서 로그인 없이 admin 권한으로 데이터를 날릴 수 있다. (=계정 인증 없이 노출된 서버인 꼴) 따라서 해결책은 계정 인증 설정(MongoDB Authorization)을 해놓는 것이다. 브루트포스 암호 해독 공격 방식에 대비하여 복잡한 암호를 사용하였다. mongodump라는 명령어로 데이터를 백업해둠. (https://coding-start.tistory.com/377.. R&D 프로젝트 2022. 12. 17.

• [R&D] 프로듀서 라이브러리 목록 (json dumps = https://www.daleseo.com/python-json/) 카프카 프로듀서로 보낼 때 result set의 row를 json으로 직렬화 해서 보냄. json으로 변환하면 이종 시스템 간 통신이 가능하다. import cx_Oracle import os from json import dumps from kafka import KafkaProducer cx_Oracle로 오라클DB 연결하고 SQL 실행을 위한 cursor를 선언. Cursor는 result set으로부터 fetch rows 하기 위한 pointer이다. 아래처럼 cursor 객체로 쿼리문을 실행하고 결과를 받아온다. Cursor 별로 다른 query 결과를 담아두고 필요데 따라 fetch하면.. R&D 프로젝트 2022. 12. 17.

• 

  [R&D] 프로젝트 개요 * 프로젝트 요구 사항 성능 요구 -> 성능 결과 (소스 코드를 국제공인시험기관 '와이즈스톤'에서 검증) Precision = 70% -> 73.3% Recall = 65% -> 88% F-Measure = 70% -> 80% ​ * 참고 자료 https://materialize.com/blog/kafka-is-not-a-database/ mapValues(_.length)는 각 원소 별로 occurence 횟수임. https://kwonkai.tistory.com/63#:~:text='%ED%98%91%EC%97%85%20%ED%95%84%ED%84%B0%EB%A7%81'%EC%9D%B4%EB%9E%80%20%ED%8A%B9%EC%A0%95%20%EC%A7%91%EB%8B%A8,%EA%B0%80%EC%.. R&D 프로젝트 2022. 12. 17.

• [R&D] 테이블 의미 comRatingUri = "CPS_RATING" //별점 sjobSrhUri = "CPS_EMPLOY_SEARCH_HIS" //검색 기록 replyUri = "CPS_BOARD_REPLY" //댓글 codeUri = "CPS_CODE_MNG" //통합 코드관리 테이블 gradCorpUri = "CPS_GRADUATE_CORP_INFO" //졸업 기업 ncrInfoUri = "CPS_NCR_PROGRAM_INFO" //비교과 정보 ncrStdInfoUri = "CPS_NCR_PROGRAM_STD" //비교과 신청학생 outActUri = "CPS_OUT_ACTIVITY_MNG" //교외활동 jobInfoUri = "CPS_SCHOOL_EMPLOY_INFO" //채용정보-관리자 등록 sjobInfoUri .. R&D 프로젝트 2022. 12. 17.

• [R&D] 컨슈머 * 참고 자료 https://towardsdatascience.com/how-to-build-a-simple-kafka-producer-and-consumer-with-python-a967769c4742 ​ https://engkimbs.tistory.com/691#:~:text=%2D%20%ED%86%A0%ED%94%BD(Topic)%20%3A%20%EC%B9%B4%ED%94%84%EC%B9%B4,%EA%B7%B8%EB%A3%B9%EC%9D%B4%EB%9D%BC%20%EC%83%9D%EA%B0%81%ED%95%98%EC%8B%9C%EB%A9%B4%20%EB%90%A9%EB%8B%88%EB%8B%A4. ​ https://jhleed.tistory.com/180 카프카는 실시간 스트림 데이터 처리를 위해 .. R&D 프로젝트 2022. 12. 17.