#include "Main.h"
#include "ProcessConfig.h"
#include "Logger.h"
#include "ShmDefine.h"
#include "ShmControl.h"
#include "FhsShm.h"
#include "WorkerSystemCollect.h"
#include "WorkerServiceCheck.h"
#include "WorkerStorageCheck.h"
#include "WorkerSend.h"
#include "WorkerMonitoringPortControl.h"
#include "WorkerTelegrafControl.h"

#include <unistd.h>
#include <stdio.h>
#include <string.h>
#include <errno.h>
#include <signal.h>
#include <sys/wait.h>
#include <sys/types.h>
#include <sys/ipc.h>
#include <time.h>


#include <iostream>


// Shared memory key 생성용 임시 파일.
// 2018-01-29 CHG huibong 
// - /tmp 폴더에 대한 clean 모듈이 동작할 경우 자동 삭제되므로.. 경로 변경 처리 (#31701)
//#define FHS_SHARED_MEMORY_FILE    "/tmp/"PROG_NAME".shm"
#define FHS_SHARED_MEMORY_FILE    "/user/service/" PROG_NAME ".shm"


// 공유메모리 생성, 삭제 등의 Manager 객체에 대한 포인터.
CShmControl< struct FhsInfo > * g_pShmManager = NULL;

// 공유메모리에 Data Set, Get 을 담당할 객체에 대한 포인터.
CFhsShm * g_pFhsShm = NULL;


// Worker 프로세스 중 SystemCollect Worker 프로세스의 PID 정보.
// 시그널 처리에 의해 재생성 처리 단순화를 위해 전역 변수로 처리.
pid_t g_pidWorkerSystemCollect = -1;

// Worker 프로세스 중 ServiceCheck Worker 프로세스의 PID 정보.
// 시그널 처리에 의해 재생성 처리 단순화를 위해 전역 변수로 처리.
pid_t g_pidWorkerServiceCheck = -1;

// Worker 프로세스 중 StorageCheck Worker 프로세스의 PID 정보.
// 시그널 처리에 의해 재생성 처리 단순화를 위해 전역 변수로 처리.
pid_t g_pidWorkerStorageCheck = -1;

// Worker 프로세스 중 Send Worker 프로세스의 PID 정보.
// 시그널 처리에 의해 재생성 처리 단순화를 위해 전역 변수로 처리.
pid_t g_pidWorkerSend = -1;

// Wokrker 프로세스 중 서비스 상태에 따른 Monitoring TCP Port Control 관련 Worker 프로세스 PID
pid_t g_pidWorkerMonitoringPortControl = -1;

// 2021-05-07 NEW huibong telegraf control 기능 추가 (#33542)
// Worker 프로세스 중 telegraf 모니터링, 재기동 처리를 담당하는 프로세스의 PID 정보
pid_t g_pidWorkerTelegrafControl = -1;



int main( int argc, char * argv[] )
{
	// 설정 파일을 저장할 변수.
	std::string strConfigFileName = DEFAULT_CONFIG_FILE;
	
	// 전달 받은 옵션 여부 확인 및 처리
	if( argc >= 2 )
	{
		int opt;
		while( ( opt = getopt( argc, argv, "hvc:" ) ) != -1 )	// 옵션 끝까지 파싱처리
		{
			switch( opt )
			{
				case 'h':
				case '?':	// 정의되지 않은 문자가 나타날 경우 getopt 에 자동반환. 도움말 표시 처리. 
					PrintUsage();
					return EXIT_SUCCESS;

				case 'v':
					PrintVersion();
					return EXIT_SUCCESS;

				case 'c':
					strConfigFileName = optarg;
					fprintf( stderr, PROG_NAME " start with user define conf[%s]\n", strConfigFileName.c_str() );
					break;

				default:	// 본 조건절은 getopt 특성상 동작하지 않지만...업무 Flow 이해(?)를 위해 유지한다.
					fprintf( stderr, "Unkonwn options[%c] used. program terminated.\n", opt );
					return EXIT_FAILURE;
			}
		}
	}

	// 프로세스 중복 실행 여부 검사 
	if( IsCurrentProcessRun() == true )
	{
		fprintf( stderr, "[warning] Process [" PROG_NAME "] is already running....\n" );
		return EXIT_FAILURE;
	}
	
	std::string szErrorMessage;

	// conf 로딩 및 검사 
	if( CProcessConfig::Init( PROG_NAME, strConfigFileName, szErrorMessage ) == false )
	{
		fprintf( stderr, "[ERR] %s\n\n", szErrorMessage.c_str() );
		return EXIT_FAILURE;
	}

	// Log 객체 생성 및 초기화
	if( CLogger::Init( PROG_NAME, CProcessConfig::GetInstance()->GetLogPath(), LINF ) == false )
	{
		fprintf( stderr, "[ERR] Log module initialize failed.[%s]\n\n", CProcessConfig::GetInstance()->GetLogPath() );
		return EXIT_FAILURE;
	}
	
	// Daemonize...
	if( daemon( 1, 0 ) == -1 ) // nochdir: true(작업 디렉토리 변경 안함), noclose: false (표준 입출력, 에러를 /dev/null 로 리디렉트 처리)
	{
		fprintf( stderr, "[ERR] Process daemonize failed.[%s]\n\n", strerror( errno ) );
		return EXIT_FAILURE;
	}
	
	// 공유메모리 생성 후 daemonize 처리시 문제
	// - ipcs -ma 에 표시되는 CPID, LPID 에 daemonize 수행으로 인해 종료된 이전 process id 가 기록됨.
	// - 이로 인해 정확한 상태를 판단하기 어려우므로.....
	// - daemonzie 수행 후 공유메모리 생성, 접근을 수행하도록 한다.
	// - 이로 인해 daemonizs 이후에는 fprintf 처리가 안되므로.. fprintf 구문은 주석 처리.
	
	// 공유메모리 key 
	// - 다른 프로세스에서 사용하지 않으므로.. 고정키 값을 사용할 필요는 없다.
	// - opendav 의 경우.. /tmp 상의 파일 생성 후 ftok() 함수를 이용하여 공유메모리 key 를 생성.
	// - 따라서.. 고정 key 를 사용할 경우.. opendav 와 key 충돌 발생 우려가 있으므로...
	// - opendav 와 동일한 방식으로 key 값을 생성하도록 처리한다.

	// 공유메모리 key 생성 관련 기존 임시 파일 존재시 삭제 처리.
	unlink( FHS_SHARED_MEMORY_FILE );
	
	key_t iShmKey;
	// 공유메모리 key 생성을 위한 임시 파일 생성 처리.
	FILE * pShmFile = fopen( FHS_SHARED_MEMORY_FILE, "a+" );
	if( pShmFile != NULL )
	{
		// Key file 생성이 성공한 경우... 파일만 있으면 되니까.. close 처리한다.
		fclose( pShmFile );
		pShmFile = NULL;
	}
	else
	{
		// Key file 생성에 실패한 경우...		
		int errorNum = errno;
		LOG( LERR, "[Main] Shared memory key file create failed.[%s][%d][%s] => Process exit.", FHS_SHARED_MEMORY_FILE, errorNum, strerror( errorNum ) );

		return EXIT_FAILURE;
	}

	// 임시 파일로 부터 key 값 추출
	iShmKey = ftok( FHS_SHARED_MEMORY_FILE, 1 );
	if( iShmKey == (key_t) -1 ) 
	{
		// 공유메모리 Key 생성 실패시
		//fprintf( stderr, "[ERR] Shared memory key create failed. temp file[%s]\n\n", FHS_SHARED_MEMORY_FILE );

		LOG( LERR, "[Main] Shared memory key create failed. key file[%s] => Process exit.", FHS_SHARED_MEMORY_FILE );

		ReadyToExit();
		return EXIT_FAILURE;
	}
	
	// 공유메모리에 생성 담당 class 객체를 생성 및 공유메모리 생성 or attach
	CShmControl< struct FhsInfo > fhsShmManager;	              
	if( fhsShmManager.Create( iShmKey, sizeof( struct FhsInfo ) ) == false )
	{
		//fprintf( stderr, "[ERR] Shared memory create failed. key[%ld] size[%lu]\n\n", iShmKey, sizeof( struct FhsInfo ) );
		LOG( LERR, "[Main] Shared memory create failed. key[%ld] size[%lu] => Process exit.", iShmKey, sizeof( struct FhsInfo ) );

		ReadyToExit();
		return EXIT_FAILURE;
	}
	g_pShmManager = &fhsShmManager; // 전역 포인터에 대한 포인터 지정.	
	
	// 공유메모리에 데이터 입출력 처리를 담당할 class 객체 생성	
	CFhsShm fhsShm( fhsShmManager.GetShmPtr() );
	if( fhsShm.IsValid() == false )
	{
		fhsShmManager.Remove();

		//fprintf( stderr, "[ERR] Shared memory address not valid.\n\n" );
		LOG( LERR, "[Main] Shared memory address not valid. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}
	
	g_pFhsShm = &fhsShm;  // 전역 포인터에 대한 포인터 지정.	
	fhsShm.ClearAll();    // 공유메모리를 우선 초기화	
	fhsShm.SetServiceStat( SERVICE_STAT_OUT ); // 최초 기동시 서비스 상태는 수동 중지(1) 상태로 설정한다.
	
	// signal 처리 설정
	SetSignalMain();
	
	// Process 기동 관련 정보 기록 -> Log
	std::vector<std::string> vecTemp;
	std::vector< std::string >::const_iterator it;
	_LOG( LINF, "***********************************************************" );
	_LOG( LINF, " %s Start. Version: %s", PROG_NAME, PROG_VERSION );
	_LOG( LINF, "***********************************************************" );
	_LOG( LINF, "Config                        : %s", strConfigFileName.c_str() );
	_LOG( LINF, "Log                           : %s/%s", CProcessConfig::GetInstance()->GetLogPath(), PROG_NAME );
	_LOG( LINF, "Log level                     : %d", CProcessConfig::GetInstance()->GetLogLevel() );
	_LOG( LINF, "RC ID                         : %s", CProcessConfig::GetInstance()->GetRcId() );
	_LOG( LINF, "Storage root                  : %s", CProcessConfig::GetInstance()->GetStorageRoot() );	
	_LOG( LINF, "Fimngd alive tcp port         : %u", CProcessConfig::GetInstance()->GetFimngdCheckPort() );
	_LOG( LINF, "Alive control listen tcp port : %u", CProcessConfig::GetInstance()->GetListenPortForStatusMonitoring() );

	_LOG( LINF, "Service NIC" );
	vecTemp = CProcessConfig::GetInstance()->GetSvcNic();
	for( it = vecTemp.begin(); it != vecTemp.end(); it++ )
	{
		_LOG( LINF, "    : %s", it->c_str() );
	}

	_LOG( LINF, "Check DNS List" );
	vecTemp = CProcessConfig::GetInstance()->GetCheckDns();
	for( it = vecTemp.begin(); it != vecTemp.end(); it++ )
	{
		_LOG( LINF, "    : %s", it->c_str() );
	}

	_LOG( LINF, "RCTS");
	_LOG( LINF, "  Server address          : %s", CProcessConfig::GetInstance()->GetRctsServer() );
	_LOG( LINF, "  System send tcp port    : %u", CProcessConfig::GetInstance()->GetRctsSystemInfoPort() );
	_LOG( LINF, "  Service send tcp port   : %u", CProcessConfig::GetInstance()->GetRctsServiceInfoPort() );
		
	_LOG( LINF, "Shared Memory" );	
	_LOG( LINF, "  Key                     : %ld", iShmKey );
	_LOG( LINF, "  Size                    : %lu", sizeof( struct FhsInfo ) );
	
	_LOG( LINF, "***********************************************************" );
	
	// Log Level 재설정. -> conf 설정대로 변경 처리.
#ifdef _DEBUG_
	CLogger::GetInstance()->SetLogLevel( LDBG );
#else
	CLogger::GetInstance()->SetLogLevel( CProcessConfig::GetInstance()->GetLogLevel() );
#endif


	// Worker Process 생성
	// FHS status 에 따른 GMS, Neocast 의 모니터링을 위한 TCP Port Control Worker 프로세스 생성
	if( MakeWorkerMonitoringPortControl() == false )
	{
		LOG( LERR, "[Main] MonPortControl process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}

	// Worker Process 생성
	// System 정보 Collect 처리를 담당할 SystemCollect Worker 프로세스 생성
	if( MakeWorkerSystemCollect() == false )
	{
		LOG( LERR, "[Main] SystemCollect process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}

	// Storage 상태 Check 를 담당할 StorageCheck Worker 프로세스 생성
	if( MakeWorkerStorageCheck() == false )
	{
		LOG( LERR, "[Main] StorageCheck process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}
		
	// Service 상태 Check 를 담당할 ServiceCheck Worker 프로세스 생성
	if( MakeWorkerServiceCheck() == false )
	{
		LOG( LERR, "[Main] ServiceCheck process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}
	
	// RCTS 로 System, Service 상태 정보를 전송할 Send Worker 프로세스 생성
	if( MakeWorkerSend() == false )
	{
		LOG( LERR, "[Main] Send process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}

	// telegraf control 을 담당할 worker 프로세스 생성
	if( MakeWorkerTelegrafControl() == false )
	{
		LOG( LERR, "[Main] TelegrafControl process create failed. => Process exit." );

		ReadyToExit();
		return EXIT_FAILURE;
	}


	// Process Name 처리
	setproctitle( "Main" );
	
	// Main Process : 그냥 대기
	while( 1 )
	{
		// Main Process 는 할 일이 없다. 
		// => Worker 프로세스 종료시 SIGCHLD 신호로 인해 신호처리기에서 Worker Process 재성성 수행함.
		// => 따라서 그냥 시그널 대기
		pause();
	}

	// 다음의 코드는 Daemon 으로 동작하기 때문에 수행되지 않는다.	
	ReadyToExit();
	return EXIT_SUCCESS;

}


// 프로세스 종료 전 처리할 종료 관련 각 작업을 일괄로 처리하기 위한 함수.
void ReadyToExit()
{
	// 공유메모리 key 생성에 사용된 임시 파일 삭제
	unlink( FHS_SHARED_MEMORY_FILE );

	// 공유메모리 제거
	// - 다른 프로세스에서 사용할 것이 아니므로.. 종료시 삭제 처리한다.
	if( g_pShmManager != NULL )
		g_pShmManager->Remove();
	
	// Logger 객체 종료 처리.
	CLogger::Exit();

	return;
}


// 사용방법 표시
void PrintUsage()
{
	fprintf( stderr, "\n" );
	fprintf( stderr, "Usage: " PROG_NAME " [-h] [-v] [-c {file}]            \n" );
	fprintf( stderr, "Options:                                              \n" );
	fprintf( stderr, "  -h                       Display help information   \n" );
	fprintf( stderr, "  -v                       Display version            \n" );
	fprintf( stderr, "  -c {file}                Use {file} as config file  \n" );

	fprintf( stderr, "\n" );
	fprintf( stderr, PROG_NAME " is Solbox Cloud Storage module.\n" );
	fprintf( stderr, "    - System status collect periodically and transfer to RCTS.\n" );
	fprintf( stderr, "    - Service status check periodically and transfer to RCTS.\n" );
	fprintf( stderr, "    - Storage status check periodically.\n" );
	fprintf( stderr, "    - TCP port listen and control for FHS status monitoring.\n" );
	fprintf( stderr, "    - Telegraf hang check and auto restart.\n\n" );

	return;
}


// 버전 정보 표시
void PrintVersion()
{
	fprintf( stderr, "\n" );
	fprintf( stderr, PROG_NAME " version: " PROG_VERSION "\n\n" );

	return;
}


/// @brief 현재 Process가 기동중인지 여부를 판단하기 위한 함수( 프로세스 중복 실행 체크)
/// @return 이미 해당 프로세스가 기동 중인 경우 true 반환, 그렇지 않으면 false 반환.
bool IsCurrentProcessRun( )
{
	char tempBuffer[512];
	FILE * fd = NULL;
	bool bRun = false;

	snprintf( tempBuffer, sizeof( tempBuffer ), "pgrep -x %s | sort", PROG_NAME );

	fd = popen( tempBuffer, "r" );
	if( fd == NULL )
	{
		std::cerr << "[error] Process duplication check failed.[popen error][" << strerror( errno ) << "]" << std::endl;

		// 오류 발생시 true 반환하여 프로세스 실행 방지처리
		return true;
	}
	else
	{
		memset( tempBuffer, 0x00, sizeof( tempBuffer ) );
		while( fgets( tempBuffer, sizeof( tempBuffer ) - 1, fd ) != NULL )
		{
			std::string tempPid( tempBuffer );
			Trim( tempPid );

			if( atoi( tempPid.c_str() ) != getpid() )
			{
				std::cout << "[info] Process duplication found. pid[" << atoi( tempPid.c_str() ) << "]" << std::endl;

				bRun = true;
				break;
			}
		}

		pclose( fd );
		return bRun;
	}
}

/// @brief std 상에 trim 함수가 없어서 직접 구현. 아니면 boost/algorithm/string.hpp 상의 boost::trim 함수 사용
/// @return void
void Trim( std::string & str )
{
	if( str.length() == 0 )
		return;

	// 문자열 뒤의 공백, TAB, CR 등의 문자 제거처리.
	std::string::size_type pos = str.find_last_not_of( " \a\b\f\n\r\t\v" );
	if( pos != std::string::npos )
		str.erase( pos + 1 );

	// 문자열 앞의 공백, TAB, CR 등의 문자 제거처리.
	pos = str.find_first_not_of( " \a\b\f\n\r\t\v" );
	if( pos != std::string::npos )
		str.erase( 0, pos );
}

// Worker 프로세스 종료 신호 수신시
static void SignalWorkerDead( int nSignalNumber )
{
	pid_t deadPid;
	int nDeadStatus;

	while( ( deadPid = waitpid( -1, &nDeadStatus, WNOHANG ) ) > 0 )
	{
		// Worker 프로세스가 signal 에 의해 종료되었는지 검사.
		// - 종료 사유 로깅 및
		// - Worker 의 초기화 실패로 인한 종료시... Main 프로세스가 종료되도록 처리.
		if( WIFSIGNALED( nDeadStatus ) )
		{
			// signal 에 의해 종료된 경우...
			// - 관련 내역 로깅
			if( deadPid == g_pidWorkerSystemCollect )
			{
				_LOG( LWAR, "[Main] SystemCollect process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else if( deadPid == g_pidWorkerStorageCheck )
			{
				_LOG( LWAR, "[Main] StorageCheck process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else if( deadPid == g_pidWorkerServiceCheck )
			{
				_LOG( LWAR, "[Main] ServiceCheck process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else if( deadPid == g_pidWorkerSend )
			{
				_LOG( LWAR, "[Main] Send process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else if( deadPid == g_pidWorkerMonitoringPortControl )
			{
				_LOG( LWAR, "[Main] MonPortControl process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else if( deadPid == g_pidWorkerTelegrafControl )
			{
				_LOG( LWAR, "[Main] TelegrafControl process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
			else
			{
				_LOG( LWAR, "[Main] Unknown child process[%d] killed by signal[%d]", deadPid, WTERMSIG( nDeadStatus ) );
			}
		}
		else
		{
			// signal 에 종료된 상황이 아닌 경우...
			// - 각 Worker 의 초기화 실패 발생시... return 구문에 의해 종료됨.
			// - 기타 등등.

			// 관련 내역 로깅.
			if( deadPid == g_pidWorkerSystemCollect )
			{
				_LOG( LWAR, "[Main] SystemCollect process[%d] killed. Not signal.", deadPid );
			}
			else if( deadPid == g_pidWorkerStorageCheck )
			{
				_LOG( LWAR, "[Main] StorageCheck process[%d] killed. Not signal.", deadPid );
			}
			else if( deadPid == g_pidWorkerServiceCheck )
			{
				_LOG( LWAR, "[Main] ServiceCheck process[%d] killed. Not signal.", deadPid );
			}
			else if( deadPid == g_pidWorkerSend )
			{
				_LOG( LWAR, "[Main] Send process[%d] killed. Not signal", deadPid );
			}
			else if( deadPid == g_pidWorkerMonitoringPortControl )
			{
				_LOG( LWAR, "[Main] MonPortControl process[%d] killed. Not signal", deadPid );
			}
			else if( deadPid == g_pidWorkerTelegrafControl )
			{
				_LOG( LWAR, "[Main] TelegrafControl process[%d] killed. Not signal", deadPid );
			}
			else
			{
				_LOG( LWAR, "[Main] Unknown child process[%d] killed. Not signal", deadPid );
			}

			// 만약 Worker 프로세스들이 초기화 실패로 인해 EXIT_FAILURE 반환되는 상황이라면...
			// 자식 프로세스를 재생성하지 않고.. 프로세스를 종료 처리한다.
			if( WIFEXITED( nDeadStatus ) )
			{
				if( WEXITSTATUS( nDeadStatus ) == EXIT_FAILURE )
				{
					if( deadPid == g_pidWorkerSystemCollect )
					{
						_LOG( LWAR, "[Main] SystemCollect process[%d] initialize failed.", deadPid );
					}
					else if( deadPid == g_pidWorkerStorageCheck )
					{
						_LOG( LWAR, "[Main] StorageCheck process[%d] initialize failed.", deadPid );
					}
					else if( deadPid == g_pidWorkerServiceCheck )
					{
						_LOG( LWAR, "[Main] ServiceCheck process[%d] initialize failed.", deadPid );
					}
					else if( deadPid == g_pidWorkerSend )
					{
						_LOG( LWAR, "[Main] Send process[%d] initialize failed.", deadPid );
					}
					else if( deadPid == g_pidWorkerMonitoringPortControl )
					{
						_LOG( LWAR, "[Main] MonPortControl process[%d] initialize failed.", deadPid );
					}
					else if( deadPid == g_pidWorkerTelegrafControl )
					{
						_LOG( LWAR, "[Main] TelegrafControl process[%d] initialize failed.", deadPid );
					}
					else
					{
						_LOG( LWAR, "[Main] Unknown child process[%d] exit with fail.", deadPid );
					}
					
					_LOG( LERR, "[Main] Program abnormally exited because Worker initialize faild.." );

					// Main 종료 시그널 발생
					raise( SIGTERM );
					continue;
				}
			}			
		}

		// 위에서 로깅 및 초기화 실패로 인한 Main 종료 처리 작업을 수행했으므로...
		// 죽은 Worker 프로세스를 재생성 처리한다.
		if( deadPid == g_pidWorkerSystemCollect )
		{
			if( MakeWorkerSystemCollect() == false )
			{
				_LOG( LERR, "[Main] SystemCollect process recreate failed.=> Main process exit.");
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] SystemCollect process recreate success." );
			}			
		}
		else if( deadPid == g_pidWorkerStorageCheck )
		{
			if( MakeWorkerStorageCheck() == false )
			{
				_LOG( LERR, "[Main] StorageCheck process recreate failed.=> Main process exit." );
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] StorageCheck process recreate success." );
			}
		}
		else if( deadPid == g_pidWorkerServiceCheck )
		{
			if( MakeWorkerServiceCheck() == false )
			{
				_LOG( LERR, "[Main] ServiceCheck process recreate failed.=> Main process exit." );
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] ServiceCheck process recreate success." );
			}
		}
		else if( deadPid == g_pidWorkerSend )
		{
			if( MakeWorkerSend() == false )
			{
				_LOG( LERR, "[Main] Send process recreate failed.=> Main process exit." );
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] Send process recreate success." );
			}
		}
		else if( deadPid == g_pidWorkerMonitoringPortControl )
		{
			if( MakeWorkerMonitoringPortControl() == false )
			{
				_LOG( LERR, "[Main] MonPortControl process recreate failed.=> Main process exit." );
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] MonPortControl process recreate success." );
			}
		}
		else if( deadPid == g_pidWorkerTelegrafControl )
		{
			if( MakeWorkerTelegrafControl() == false )
			{
				_LOG( LERR, "[Main] TelegrafControl process recreate failed.=> Main process exit." );
				raise( SIGTERM );
			}
			else
			{
				_LOG( LWAR, "[Main] TelegrafControl process recreate success." );
			}
		}
	}

	// 오류 발생시 해당 내역 로깅
	if( deadPid < 0 )
	{
		int errorNum = errno;
		LOG( LERR, "[Main] SIG_CHLD receive but waitpid return error[%d][%s]", errorNum, strerror( errorNum ) );
	}
	
	return;
}


// Main 프로세스에 대한 종료 처리 수신시
static void SignalMainTerminate( int nSignalNumber )
{
	// 자식 프로세스를 종료 처리한다.	
	if( g_pidWorkerMonitoringPortControl != -1 )
	{
		kill( g_pidWorkerMonitoringPortControl, SIGTERM );
	}
	if( g_pidWorkerSystemCollect != -1 )
	{
		kill( g_pidWorkerSystemCollect, SIGTERM );
	}
	if( g_pidWorkerStorageCheck != -1 )
	{
		kill( g_pidWorkerStorageCheck, SIGTERM );
	}
	if( g_pidWorkerServiceCheck != -1 )
	{
		kill( g_pidWorkerServiceCheck, SIGTERM );
	}
	if( g_pidWorkerSend != -1 )
	{
		kill( g_pidWorkerSend, SIGTERM );
	}
	if( g_pidWorkerTelegrafControl != -1 )
	{
		kill( g_pidWorkerTelegrafControl, SIGTERM );
	}

	// Signal Number 에 따른 로깅처리.
	if( nSignalNumber == SIGTERM )
	{
		_LOG( LINF, "[Main:%d] Process exit by SIGTERM signal. Good Bye..", getpid() );
	}
	else
	{
		_LOG( LWAR, "[Main:%d] Process exit by abnormal signal[%d]. Good Bye..", getpid(), nSignalNumber );
	}
	
	// 기타 모듈들의 종료 처리 수행
	ReadyToExit();
	
	// 종료전 잠시 대기
	struct timespec sleep;
	sleep.tv_sec = 0;
	sleep.tv_nsec = 500000000;  // 0.5 sec
	nanosleep( &sleep, NULL );

	exit( EXIT_SUCCESS );
}


// Main Process 의 signal 처리기...
// fork 된 worker 프로세스 역시 기본적으로 본 signal 처리 action 을 상속받는다.
void SetSignalMain()
{
	sigset_t set;
	struct sigaction act;

	memset( &act, 0x00, sizeof( act ) );
	sigfillset( &set );
	sigprocmask( SIG_SETMASK, &set, NULL );
	sigfillset( &act.sa_mask );

	// 무시 처리 signal
	act.sa_handler = SIG_IGN;
	sigaction( SIGPIPE, &act, NULL );	/* desciptor 오류 발생시 Process가 죽는 것은 방지하기 위하여 설정 */
	sigaction( SIGHUP, &act, NULL );	/* process를 기동시킨 관리자의 로그아웃시, 또는 config reload 등의 처리 signal*/
	sigaction( SIGINT, &act, NULL );	/* ^C 키를 누른 경우 받는 신호 => demon 으로 기동되기 땜시 이 신호 못받음 */
	sigaction( SIGQUIT, &act, NULL );	/* 키보드에 의한  Abort 신호 처리 => ? */
	
	// Worker child process 종료에 대한 처리기 설정.
	act.sa_handler = SignalWorkerDead;
	sigaction( SIGCHLD, &act, NULL );
	
	// 사용자의 종료 또는 에러 관련 신호 처리.
	act.sa_handler = SignalMainTerminate;
	sigaction( SIGTERM, &act, NULL );	/* kill -TERM 에 의한 프로세스 종료시 */

	// 나머지 신호는 default 처리.
	
	sigemptyset( &set );					/* 신호 처리기 처리 설정 위한 블록 해제 */
	sigprocmask( SIG_SETMASK, &set, NULL );
}


// System 정보 Collect 처리를 담당할 SystemCollect Worker 프로세스 생성
bool MakeWorkerSystemCollect()
{
	// fork() 결과를 SystemCollect Worker 프로세스의 PID 정보 저장 목적 전역 변수에 저장	
	g_pidWorkerSystemCollect = fork();

	if( g_pidWorkerSystemCollect == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker SystemCollect 프로세스의 Main 함수 호출
		iResult = WorkerSystemCollectMain();

		// Worker SystemCollect 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] SystemCollect process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerSystemCollect < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] SystemCollect process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] SystemCollect process created.. PID[%d]", g_pidWorkerSystemCollect );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}

	return true;
}

// Service 상태 Check 를 담당할 ServiceCheck Worker 프로세스 생성
bool MakeWorkerServiceCheck()
{
	// fork() 결과를 ServiceCheck Worker 프로세스의 PID 정보 저장 목적 전역 변수에 저장.	
	g_pidWorkerServiceCheck = fork();
	
	if( g_pidWorkerServiceCheck == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker ServiceCheck 프로세스의 Main 함수 호출
		iResult = WorkerServiceCheckMain();

		// Worker ServiceCheck 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] ServiceCheck process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerServiceCheck < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] ServiceCheck process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] ServiceCheck process created.. PID[%d]", g_pidWorkerServiceCheck );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}
	
	return true;	
}


// RCTS 로 System, Service 상태 정보를 전송할 Send Worker 프로세스 생성
bool MakeWorkerSend()
{
	// fork() 결과를 Send Worker 프로세스의 PID 정보 저장 목적 전역변수에 저장.
	g_pidWorkerSend = fork();

	if( g_pidWorkerSend == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker Send 프로세스의 Main 함수 호출
		iResult = WorkerSendMain();

		// Worker Send 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] Send process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerSend < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] Send process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] Send process created.. PID[%d]", g_pidWorkerSend );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}
	
	return true;
}

// Storage 상태 Check 를 담당할 StorageCheck Worker 프로세스 생성
bool MakeWorkerStorageCheck()
{
	// fork() 결과를 StorageCheck Worker 프로세스의 PID 정보 저장 목적 전역 변수에 저장.	
	g_pidWorkerStorageCheck = fork();

	if( g_pidWorkerStorageCheck == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker StorageCheck 프로세스의 Main 함수 호출
		iResult = WorkerStorageCheckMain();

		// Worker StorageCheck 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] StorageCheck process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerStorageCheck < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] StorageCheck process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] StorageCheck process created.. PID[%d]", g_pidWorkerStorageCheck );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}

	return true;
}

// TCP Port 를 Listen 상태로 Open 후 서비스 상태에 따른 Port 상태 제어를 담당할 Worker 프로세스 생성
bool MakeWorkerMonitoringPortControl()
{
	// fork() 결과를 MonPortControl Worker 프로세스의 PID 정보 저장 목적 전역 변수에 저장.	
	g_pidWorkerMonitoringPortControl = fork();

	if( g_pidWorkerMonitoringPortControl == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker MonPortControl 프로세스의 Main 함수 호출
		iResult = WorkerMonPortControlMain();

		// Worker MonPortControl 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] MonPortControl process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerMonitoringPortControl < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] MonPortControl process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] MonPortControl process created.. PID[%d]", g_pidWorkerMonitoringPortControl );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}

	return true;
}


// Telegarf control 을 담당할 worker 프로세스 생성
bool MakeWorkerTelegrafControl()
{
	// fork() 결과를 TelegrafControl Worker 프로세스의 PID 정보 저장 목적 전역 변수에 저장.	
	g_pidWorkerTelegrafControl = fork();

	if( g_pidWorkerTelegrafControl == 0 )
	{
		// 생성된 Worker 프로세스인 경우...
		int iResult;

		// Worker TelegrafControl 프로세스의 Main 함수 호출
		iResult = WorkerTelegrafControlMain();

		// Worker TelegrafControl 프로세스의 Main 함수 종료시 종료 처리
		_LOG( LINF, "[Main] TelegrafControl process exit. PID[%d] return[%d]", getpid(), iResult );

		ReadyToExit();
		exit( iResult );
	}
	else if( g_pidWorkerTelegrafControl < 0 )
	{
		// fork 실패시
		int errorNum = errno;
		LOG( LERR, "[Main] TelegrafControl process create failed. [%d][%s]", errorNum, strerror( errorNum ) );

		return false;
	}
	else
	{
		// 현재의 Main 프로세스
		_LOG( LINF, "[Main] TelegrafControl process created.. PID[%d]", g_pidWorkerTelegrafControl );

		// 잠시 대기
		struct timespec sleep;
		sleep.tv_sec = 0;
		sleep.tv_nsec = 200000000;  // 0.2 sec
		nanosleep( &sleep, NULL );
	}

	return true;
}

