biosvos/interactive
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
docs/rcts-centos6-build-deploy
interactive/fhs/fimngd/Changelog.txt
T
biosvos 873193a243 base
2026-08-07 17:38:18 +09:00

588 lines
18 KiB
Plaintext
Raw Permalink Blame History

Revision 1501
-------------------
수정일 : 2020-07-20
수정자 : 유희곤
- CHG: fimngd 의 internal cache 생성을 위한 fd 감시 On/Off 항목 개선 (#33112)
- EXTRACT_FD_COUNT 설정에 따라 fd count 정보 추출 기능을 on/off 처리
- CHotContentInfoMap() 함수의 잘못된 변수 맵핑 버그 수정
Revision 1382
-------------------
수정일 : 2016-5-31
수정자 : 노경민
- CHG : 서비스 트래픽 통계 응답 기능 추가
- 통계 수신 서버 종료 시 일부 통계 누락 발생 경우를 방어하기 위해 추가됨
Revision 1342
-------------------
수정일 : 2016-4-5
수정자 : 노경민
- BUG : 네크워트 통계 프로세스 CPU 점유 문제
- 전송할 통계 없을 시 sleep 로직 누락으로 CPU 점유 상승함
Revision 1340
-------------------
수정일 : 2016-4-4
수정자 : 노경민
- BUG : 메세지큐 관련 비정상 종료
- thread safe 하지 못한 구조 때문임
- BUG : 설정한 메세지큐 개수만큼 생성되지 않음
- 시스템 한계 500이지만 130개만 생성됨
- 시스템 한계 만큼 생성될 수 있도록 생성함(프로세스 한계는 5000임)
- BUG : 비정상 종료 후 재생성 시 메세지큐 무한 생성
- 관련 클래스 clear되지 않는 객체 참조 때문임
- CHG : Hot Content 처리 로직 개선
- SystemV message queue pop 속도보다 Hot Content 처리 속도가 늦어 발생하는
메모리닉 같은 현상을 개선함
- BUG : 서비스 정보 갱신 프로세스 메모리 닉
- 서비스 별 수행 쿼리에 대한 clear 없이 쿼리 수행으로 메모리닉 발생함
- BUG : 네트워크 통계 누락 발생
- 타임 구간 체크 로직에서 누락 발생할 수 이는 구조였음
- BUG : 서비스 정보 갱신 누락 발생
- 타임 구간 체크 로직에서 누락 발생할 수 이는 구조였음
Revision 1331
-------------------
수정일 : 2016-1-21
수정자 : 노경민
- CHG : 정상 종료 시 자신의 상태를 OUT으로 설정함
- 서비스 모듈(HTTPD) 구동 시 종료 될 경우 이전 상태를 계속 사용하기 때문
이를 방지하기 위해서 추가함
- 비정상 종료(kill -9 or -KILL)에 대해서는 이 기능이 수행되지 않음
- 운영자의한 종료 방법은 매뉴얼로 절차화
- CHG : 불필요한 컬럼 참조 수정
- delete_yn 컬럼은 사용하지 않음
- CHG : 로그 수정
- 정확하지 않는 로그에 대해서 수정함
Revision 1328
-------------------
수정일 : 2016-1-19
수정자 : 노경민
- CHG : 다른 서비스에 대한 동일한 디렉토리 설정 시 무인증 설정되지 않음
- 내부 자료 구조에서 사용하는 key 중복으로 발생한 문제임
Revision 1257
-------------------
수정일 : 2015-10-06
수정자 : 김오종
- MOD : 로그 내용 정리
- 로그에 주요정보 포함되어 있어 조정 처리
- 로그에 소스 위치 정보 제외하여 로그용량을 줄임
- Account 상태정보 로깅 조정
Revision 1254, 1255
-------------------
수정일 : 2015-10-05
수정자 : 김오종
- BUG: RCDB와 비정상 연결종료 현상에 대한 예외처리
- Account, Anony 정보 갱신시 예외처리 버그 수정
- AccountUpdateThread.cpp, AnonyUpdateThread.cpp 소스 일부 수정처리
- ADD: 기존 서비스 중 삭제된 서비스에 대한 로깅 처리 추가
- Accout 정보 갱신시에 삭제된 서비스에 대한 로그 추가
Revision 1217
-------------------
수정일 : 2015-09-09
수정자 : 김오종
- CHG: Version 3.5 변경
- fimngd의 역할이 아래와 같이 크게 조정됨에 따라 버전을 변경한다.
- 기존 openda-listener의 shared memory 관련기능 통합
- rcts의 rc_mond 데몬과 연계하여 타FHS의 상태 정보를 sared memory에 갱신처리한다.
- rcts의 rc_sscd 데몬으로 트래픽 및 스토리지 통계 데이터를 전달 한다.
- account, 무인증 폴더 정보등을 RCDB로부터 가져와 shared memory에 업데이트 한다.
- 기존 fimngd의 기능인 internal cache 기능은 그대로 포함한다.
- 기존 fimngd의 기능인 log 정리 기능은 logmngd로 대체 하도록 한다.
- *주의* fdcnt.sh가 같이 배포되어야 한다.
Revision 1118
-------------------
수정일 : 2014-11-11
수정자 : 김오종
- CHG: RCDB 연결을 필요시마다 수행 하도록 처리
- 서비스 폴더 생성시 RCDB 조회 할 때 필요시마다 connect 처리
- CHG: log 오타 수정
- "Caceh Replication Request Queue" --> "Internal Cache Request Queue" 로 변경
Revision 1068
-------------------
수정일 : 2014-08-27
수정자 : 김오종
- BUG: rcdb 접속시 password 정보 누락
- password 정보 추가
Revision 1014
-------------------
수정일 : 2014-07-24
수정자 : 김오종
- DEL: 테스트 소스 제거
- 서비스 폴더 생성 테스트 소스 제거
Revision 1011
-------------------
수정일 : 2014-07-23
수정자 : 김오종
- CHG: revision 변경
Revision 1009
-------------------
수정일 : 2014-07-23
수정자 : 김오종
- CHG: 구동 주기 및 로그 메세지 변경
- ServicePathCreaterThread.cpp 내의 로그 메세지 조정
- 구동 주기를 3min 으로 조정
Revision 1007
-------------------
수정일 : 2014-07-22
수정자 : 김오종
- DEL: UDP 통신을 통한 Internal Cache 제거
- MsgCacheRequest.h MsgCacheRequest.cpp 제거
- DEL: Transfer Log 전송 기능 제거
- ServiceInfoUpdaterThread.h ServiceInfoUpdaterThread.cpp 제거
- TransferLogSender.h - TransferLogSender.cpp 제거
- 해당 기능과 연관된 config 파일의 관련항목 제거
- ADD: 서비스 개퉁 후 서비스 디렉토리 생성 기능 추가
- ServicePathCreaterThread.h ServicePathCreaterThread.cpp 추가
- CHG: TCP/IP 통신을 통한 Internal Cache 추가
- ./coponent/BaseSocket.h ./coponent/BaseSocket.cpp 추가
- CacheGeneratorTrhead 클래스 수정
- rc_rmcd에 소켓연결을 위한 host,port 정보 추가
- CHG: 아파치 로그 추가 전송 및 로그파일 삭제 기능 변경
- 기존 아파치 로그전송은 작업일 하루 전만 전송 후 제거
- 작업일 최근 열흘을 대상으로 미전송 로그 전송 처리
- 아파치 로그 최근 열흘이전의 로그파일에 대한 삭제 처리
- LogFileCleaner, ApacheLogSender 클래스 변경
- CHG: 버전 변경에 따른 버전 정보 조정
- Makefile 상의 버전 정보를 3.3.0.x -> 3.4.0.x 로 변경
Revision 0963
-------------------
수정일 : 2014-03-10
수정자 : 김오종
- DEL: Internal Cache 발현 조건 중 Disk Busy 상황을 사용하지 않기로 결정됨에 따라 관련기능을 제거 처리 함
- geom, devstat 라이브러리 제거
- DiskIOstatCollector.h DiskIOstatCollector.cpp 파일 삭제
- work.cpp, HotContentDetectorThread.cpp 및 ProcessStatus class 부분 수정
- CHG: FreeBSD 10.X까지 지원하기 위해서 컴파일러 optimizer 옵션 조절
- Makefile 상에서 -o option 레벨을 3에서 0(zero)로 변경 처리함
Revision 0839
-------------------
수정일 : 2012-11-15
수정자 : 노경민
- BUG: 메모리 급증 현상 완화
- FHS 부하가 발생 시 fstat 응답 지연 확인되었으며, 이로 인해서 메모리 증가 확인됨
- 기존 불필요한 로직 제거 및 fstat 실행 최적화
- BUG: 아파치 로그 전송 중 비정상 종료 현상
- 구동 시간 대에서 구동을 위한 sleep 시간을 구하는 로직에서 제로 나누는 경우 때문임
- CHG: 로그 객체 가변 인자 체크 기능 추가
- 일부 로그 중 인자 누락으로 해당 부분을 체크하기 위해서 추가됨
- CHG: 로그 관련 컴파일 warning 제거
- 변경된 로그 객체로 검파일 시 발생한 warning 제거
- CHG: 브로드 캐스트 주소 획득 변경
- 주소 획득 시 NULL 리턴되는 경우 존재함(소켓 사용 후 close 호출하지 않아서 발생)
- 주소 획득 실패에 대한 로직 미흡했던 부분 변경함
- CHG: unlink() 함수에 대한 오류 처리 부분 수정
- unlink() 함수 리턴 값에 -1 일때 해당 에러가 출력되도록 수정함
- CHG: Hot Content 감지 디폴트 설정 변경
- FD_COUNT : 3 -> 10
- MIN_DISKIO_PERCENT : 50 -> 5
- CHG: 시스템 큐 Pop 로직 변경
- 시스템 큐에서 꺼낸 값을 바로 다운로드 큐에서 사용하던 구조를 변경함
- NEW: 주요 큐 사이즈 출력 기능 추가
- 다운로드 큐, 캐쉬 요청 큐, 로그 전성 큐를 매 2초마다 출력
- DEL: 코어 시그널 처리 로직 삭제
- 서비스 1팀 시그널 정책에 따른 로직 삭제
Revision 0755
-------------------
수정일 : 2012-05-03
수정자 : 김오종
- BUG: GTL 로 전송정보 전달시 tran_id 누락 현상
- TransferLogData.cpp 의 SetTranId() 수정
Revision 0731
-------------------
수정일 : 2012-04-05
수정자 : 김오종
- CHG: src/main.cpp 의 Daemon 생성 관련 코드 수정
- MakeDaemon() 함수상에 Daemon 생성 관련 stdin, stdout, stderr Close 처리 코드 추가 ( 원격 기동시 CTRL+C 처리 불편에 따른 수정)
Revision 0704
-------------------
수정일 : 2012-03-06
수정자 : 김오종
CHG: transfer_log_send_yn 정보 확인 주기 조정 6sec=>300sec 로 조정
- 신속성을 요하는 정보가 아니므로 RCDB의 부하를 줄이기 위한 조치.
CHG: ServiceInfoUpdaterThread 클래스 내의 RCDB 세션 관리방법 변경
- 본 클래스에서 RCDB 세션을 정상적일경우 재사용 할 수 있도록 변경 처리
- ServiceInfoUpdaterThread.cpp, ServiceInfoUpdaterThread.h 수정
Revision 0677
-------------------
수정일 : 2012-02-09
수정자 : 김오종
BUG: fimngd의 main.cpp 에 log객채 생성 파라메터 중 log path에 대한 인자값이 하드코딩되어있는 것이 확인 됨.
- main.cpp 의 소스 수정
추가 : 디버그 메세지 추가
- ProcessStatus.cpp 에 디버그 메세지 보강
Revision 0643
-------------------
수정일 : 2011-12-29
수정자 : 김오종
ADD: 신규 fimngd 소스를 등록한다. 아래 기능을 포함하고 있다.
fimngd : Hot Content 감지 및 복제처리 기능
rctl : opendav를 통한 외부 요청내역을 gtl로 실시간 전송하는 기능
log_rotator : httpd 의 access 로그와 error 로그를 로그백업 서버로 전송하는 기능.
데몬 형태가 아님 /etc/crontab 에 등록되어 구동.
FHS 내의 각 Application 의 로그 정리 기능을 신규로 포함 한다.
Revision 0641
-------------------
수정일 : 2011-12-29
수정자 : 김오종
DEL: 신규 fimngd를 등록하기 위한 사전작업으로 기존 fimngd 소스를 삭제 처리 함.
Revision 0556
-------------------
수정일 : 2011-05-30
수정자 : 장희준
CHG: fimngd.conf의 [COMMON] 섹션의 LOG_LEVEL 값만 사용하던 것을
[fimngd] 섹션의 LOG_LEVEL 값이 없는 경우에만 [COMMON] 세견의
LOG_LEVEL을 사용하도록 수정.
Revision 478
BUG : 메모리 누수 수정
아래 코드 중 root->firstChild->path = (char*) malloc( pathSize + 1 ); 에서 메모리 누수 발생.
root->firstChild->path != NULL 인 경우 root->firstChild->path의 메모리를 해제하도록 수정.
수정 전 :
OpenFileTreeNode*
COpenFileTree::GetHotContentTree( std::string path, unsigned int count )
{
.
.
/// 루트 노드의 child가 1이라는 말은 컨텐츠가 /user2/dav_storage 파티션에 있다는 말이다.
/// 이 경우 root->firstChild->path에는 /user2/dav_stroage 디렉토리내의
/// 어느 한 디렉토리의 이름만 가지게 되는데 이렇게 되면
/// /user2/dav_stroage 내의 모든 디렉토리에 대한 검색을 할 수 없게 된다.
/// 그래서, 이 경우는 root->firstChild->path = root->path로 설정함으로
/// /user2/dav_stroage 내의 모든 디렉토리에 대한 검색을 하도록 한다.
if( GetChildCount( root ) == 1 )
{
if( root->path != NULL )
{
int pathSize = strlen( root->path );
root->firstChild->path = (char*) malloc( pathSize + 1 ); --> 메모리 누수 발생
memset( root->firstChild->path, 0, pathSize + 1 );
strncpy( root->firstChild->path, root->path, pathSize );
}
}
return root;
}
수정 후 :
OpenFileTreeNode*
COpenFileTree::GetHotContentTree( std::string path, unsigned int count )
{
.
.
/// 루트 노드의 child가 1이라는 말은 컨텐츠가 /user2/dav_storage 파티션에 있다는 말이다.
/// 이 경우 root->firstChild->path에는 /user2/dav_stroage 디렉토리내의
/// 어느 한 디렉토리의 이름만 가지게 되는데 이렇게 되면
/// /user2/dav_stroage 내의 모든 디렉토리에 대한 검색을 할 수 없게 된다.
/// 그래서, 이 경우는 root->firstChild->path = root->path로 설정함으로
/// /user2/dav_stroage 내의 모든 디렉토리에 대한 검색을 하도록 한다.
if( GetChildCount( root ) == 1 )
{
if( root->firstChild == NULL )
{
TRACE( LOG_DEBUG, "end" );
return root;
}
if( root->path == NULL )
{
TRACE( LOG_DEBUG, "end" );
return root;
}
if( root->firstChild->path != NULL )
{
free( root->firstChild->path );
root->firstChild->path = NULL;
}
int pathSize = strlen( root->path );
root->firstChild->path = (char*) malloc( pathSize + 1 );
memset( root->firstChild->path, 0, pathSize + 1 );
strncpy( root->firstChild->path, root->path, pathSize );
}
return root;
}
Revision 476
CHG : fstat 결과에서 프로세스가 httpd인 것만 cache 요청 대상이 되게 하고
pid, fd, inode가 동일한 경우는 카운트를 증가 시키지 않도록 수정.
내부 테스트용으로 프로세스 httpd 외에 명령 인자로 특정 프로세스를 지정할 수 있게 수정.
: 변경 코드
- OpenFileTree.c
AddToOpenFileTree(), IsAllowedProcessName(), AddLeafNode()
typedef struct OPEN_FILE_TREE_NODE
BUG : 메모리 누수 수정
fstat.c의 free_devs()을 아래와 같이 수정
------- 기존 코드 ---------------------
free_devs()
{
if( devs == NULL )
{
return;
}
DEVS* d = devs;;
if( d != NULL )
{
free( d );
devs = NULL;
}
}
------- 수정 코드 ---------------------
free_devs()
{
if( devs == NULL )
{
return;
}
DEVS* next;
DEVS* d = devs;;
while( d != NULL )
{
next = d->next;
free( d );
d = next;
}
devs = NULL;
}
Revision 0462
-----------------------------
수정일 : 2010-12-28
수정자 : 장희준
Revision 461에서 수정일 및 수정자 정보가 빠져서 462로 다시 Revision 함.
Revision 0461
-------------------
수정일 : 2010-12-28
수정자 : 장희준
CHG: fhs.conf의 [fimngd] 섹션에 RCID 필드 추가
- rc_rmcd로 캐시 요청시 RCID 값을 전달하기 위해 추가 함.
CHG: fhs.conf의 [fimngd] 섹션에 FD_COUNT 필드 추가
- 기존에 소스 코드에 fix 되어 있던 값을 설정 파일에서 설정 하도록 하기 위함.
- fhs.conf FD_COUNT가 설정되지 않으면 소스 코드에서 기본 값으로 5를 사용 함.
CHG: fstat.h fstat.c에 대한 FreeBSD 32bit, 64bit 통합 작업.
- FreeBSD 64bit에서 fstat.c을 컴파일 하기 위해서는 Makefile에 __FREEBSD_64__을 define 해야 함.
CHG: fstat.h에 정의되어 있고 fstat.c에 구현되어 있던 리스트 자료구조 fs_list 제거
ADD: C++ 코드에서 OpenFileTreeNode을 사용하기 위한 래퍼 클래스 COpenFileTree 추가
ADD: 제거된 fs_list을 대체하는 트리 자료구조 OpenFileTreeNode을 TreeForFstat.h에 정의하고
TreeForFstat.c에 구현함으로 fstat.c와 자료구조를 분리 시킴.
CHG: 로깅 코드 변경
- 기존에는 로깅을 하는 모든 클래스는 생성자에서 Logger 객체의 포인터를 인자로 받아야 하고
.cpp 파일에 아래와 같은 로그 처리를 위한 매크로를 정의 해야 함.
예) #define CLASS_NAME "CCacheRequestManager"
#define DEBUG_LOG( format, ...) \
if(m_pLogger != NULL ) \
m_pLogger->Write( LOG_DEBUG,"[%s::%s()] " format, CLASS_NAME,__func__, ##__VA_ARGS__ )
- 변경된 로깅 코드에는 생성자에서 Logger 객체를 받지 않아도 되고 .cpp 파일에 매크로를 정의대신 Trace.h 추가 해야 함.
예) #include "Trace.h"
- 로깅 코드와 로그 형식 변경
: 기존
DEBUG_LOG("log string") ---> [2010-12-23 16:00:48] [DBG] [Parent_Process::main()] log string
: 변경
TRACE( LOG_DEBUG, "log string") ---> [2010-12-28 02:25:42] [DBG] log string [Parent_Process::main()]
_TRACE( LOG_DEBUG, "log string") ---> [2010-12-28 02:25:42] [DBG] log string
CHG: 설정 파일 처리 로직 변경
- 기존에는 설정 파일에 매핑되는 구조체 st_config를 fimngd.h에 정의하고 GetConfg.cpp에 C 코드 형태로
설정 파일의 값을 로딩하는 구조로 데이터와 구현이 분리되어 있음.
- C 코드 형태의 g_envConfig를 main.cpp에 정의해서 사용함.
- 변경 후에는 싱글톤 클래스 CFhsConfig를 추가함으로 전역 변수를 사용하는 불편함을 제거했음.
ADD: 로깅을 편리하게 하기 위해서 Logger 래퍼 싱글톤 클래스 Trace.h 추가
- Trace.h 추가로 전역 변수 g_Logger을 삭제하고 모든 클래스에서 멤버 변수 m_pLogger를 삭제하고 생성자에서 인자 Logger*도 삭제함.
CHG: 캐시 요청에 필요한 데이터 맵 관리를 기존에는 CCacheRequestManager가 담당했는데 이 역할을 CDataRequestMap 클래스로 이관하고
CCacheRequestManager가 수행하던 데이터 비교 역할을 CDataRequestInfo 클래스로 이관함.
ADD: CDataRequestMap 추가.
CCacheRequestManager가 직접 관리하던 CDataRequestInfo 맵의 역할을 분리하기 위해 추가된 클래스.
ADD: 캐시 요청 메시지 인코딩/디코딩 역할을 하는 CMsgCacheRequest 추가
Revision 0458
-------------------
수정일 : 2010-12-13
수정자 : 장희준
- BUG: array overflow 버그 수정
- CCacheRequestManager::SendRequest()에서 아래 코드 수정
//cm.hostname[HOSTNAME_LEN] = '\0';
cm.hostname[ HOSTNAME_LEN - 1 ] = '\0';
- CHG: gcc 4.4.5에서 컴파일 오류 수정
- Config.h에서 아래 수정
//void SetDelimiter( string& key, string& value = CONFIG_DEFAULT_VALUE_DELIMITER )
void SetDelimiter( string& key, string value = CONFIG_DEFAULT_VALUE_DELIMITER )
- Logger.cpp에 #include <string.h> 추가
- CHG: fhs.conf 관련 수정
- fhs.conf에 INTERNAL_NIC_NAME이 [COMMON] 섹션과 [fimngd] 섹션에서 중복 사용되고 있는데
[COMMON] 섹션에서만 사용하도록 변경.
- [fimngd] 섹션의 CACHE_CHECK_INTERVAL 필드명을 CACHE_CHECK_MAX_INTERVAL로 변경하고 이에 따른
소스 코드 수정
Revision 0327
-------------------
수정일 : 2010-08-03
수정자 : 김오종
- DEL: lib내의 Makefile 수정
- CBasesocket.o 제거
Revision 0326
-------------------
수정일 : 2010-08-03
수정자 : 김오종
- DEL: CBasesocket class 제거
- 사용하지 않는 부분이 포함되어 있어 제거 함.
Revision 0325
-------------------
수정일 : 2010-08-03
수정자 : 김오종
- BUG: 멤버 변수 속성 변경.
- 변수를 private에서 public으로 변경.
CCacheTargetFinder.h 의 m_nCachedContentCnt.
Revision 0324
-------------------
수정일 : 2010-08-03
수정자 : 김오종
- ADD: 캐시 대상파일 추출 주기 로직 변경
- 기존에 설정한 주가 값만 사용 했으나, 상황에 따라 아래처럼 조정한다.
: 대상파일의 개수가 2개 이하일때는 설정한 주기 값 사용.
: 대상파일의 수가 10개를 초과했을 경우에는 2sec의 주기 값 사용.
: 대상파일의 수가 2개 초과 10개 미만일때는 15sec의 주기 값 사용.
Revision 0323
-------------------
수정일 : 2010-08-02
수정자 : 김오종
- NEW: SVN 신규 등록
- 기존 svn://211.38.137.33/work/trunk/fimngd 에 존재하는 개발 완료 소스를 SVN 에 정식버전으로 등록함.
- 본 버전은 개발 및 성능 테스트를 완료한 버전으로 기존 cma의 기능을 보완한 것이다. 기본 기능은 아래와 같다.
: fhs의 mount경로 내의 file discription 수(5개이상)를 기반으로 cache Type(is_cached = 'Y')의 복제본을 증가 할지를 판단
후 증가 하는 기능을 포함하고 있다.(기존 cma의 기능)
: file discription 수가 5개이상을 유지 할 경우 확인주가때 마다 반복적으로 복제본수가 증가하는 현상을 개선.
- 단 현재 버전은 FreeBSD 5.4, 6.2 버전상에서만 테스트되었으며 다른 OS 로 포팅 처리시 코드를 재확인해야 함.
- NEW: History 저장을 위한 Changelog.txt 파일 추가
- 앞으로 각 작업에 대한 로그를 확인하도록 Changelog.txt 파일을 추가
Reference in New Issue View Git Blame Copy Permalink