[Book] 게임 서버 프로그래밍 교과서 - 9장 분산 서버 구조 (2)

9장 분산 서버 구조

 

5. 데이터 분산 (수평 분산) vs 기능적 분산 (수직 분산)

데이터 분산이란 한 머신이 처리해야 하는 데이터를 같은 역할을 하는 여러 머신이 나누어 처리하는 것이다.

즉, 각 서버는 모두 똑같은 종류의 일을 한다.

 

데이터 분산

 

기능적 분산은 한 머신이 처리해야 하는 데이터의 처리 단계를 세분화해서 여러 머신이 나누어 처리하는 것이다.

 

기능적 분산

 

이러한 분산 처리 원리는 게임 서버뿐만 아니라 데이터베이스에서도 비슷하다. 데이터베이스에서 데이터 단위 분산(수평 파티셔닝)이란 테이블 1개를 테이블 안의 키 필드 단위로 분배하는 것을 의미한다. 그리고 기능 단위 분산(수직 파티셔닝)이란 서로 다른 테이블을 서로 다른 서버에 배치하는 것을 의미한다. 게임 서버가 분산 처리되어 있다고 하더라도 데이터베이스를 분산 처리하지 않으면 결국 서비스 가용성은 떨어진다.

 

6. 로직 처리의 분산 방식들

어떤 로직이 있으면 되도록 서로 다른 머신 간에 분산 처리를 할 일이 없게 하는 것이 가장 좋다. 그러나 어쩔 수 없이 로직 처리를 분산 처리해야 한다면 세 가지 방식 중 상황에 따라 하나를 선택해야 한다.

• 동기 분산 처리
• 비동기 분산 처리
• 데이터 복제 및 로컬 처리

 

분산 처리할 상호 작용 시나리오는 몬스터 사냥이다.

• 플레이어가 가진 총알 1개를 소모한다.
• 몬스터의 체력을 깎는다.
• 몬스터의 체력이 바닥난다.
• 몬스터가 사망한다. (10초 후 소멸)
• 플레이어는 아이템을 획득한다.

Player_Attack(player, monster)
{
    player.bullet--;
    monster.hitPoint -= 10;
    if (monster.hitPoint < 0)
    {
        player.item.Add(gold, 30);
        DeleteEntity(monster, 10sec);
    }
}

 

몬스터 사냥 로직은 아직 분산 처리되지 않았으므로 서버 1개에서만 이 로직이 실행될 것이다. 아래 그림과 같이 서버 1에서만 실행되기 때문에 플레이어 캐릭터 정보와 몬스터 캐릭터 정보도 서버 1에서 가지고 있다. 이제 이 처리를 분산하는 방법을 각각 순서대로 살펴보자.

 

서버 1에서만 로직 처리

 

1) 동기 분산 처리

동기 분산 처리에서는 어떤 연산을 다른 서버에 던져 놓고 그 결과가 올 때까지 대기한다. 대기할 뿐만 아니라 그 연산과 관계된 데이터가 도중에 변경되지 않게 잠금을 해야 한다.

 

동기 분산 처리

 

동기식 명령 처리법

• 서버 1에서는 플레이어 캐릭터 정보를 가지고 있고 서버 2에서는 몬스터 캐릭터 정보를 가지고 있다.
• 플레이어 캐릭터가 몬스터를 때리면 몬스터 사냥 로직은 플레이어 캐릭터 정보를 잠그는 것부터 시행한다.
• 플레이어 캐릭터 정보를 업데이트한다.
• 몬스터 캐릭터 서버에 몬스터에게 대미지를 주라는 명령을 전송한다.
• 명령을 전송한 후 서버 1은 서버 2의 응답이 올 때까지 기다린다.
• 한편 몬스터 정보를 가진 서버 2에서는 이 명령을 받아 몬스터 정보를 업데이트한다.
• 업데이트 결과를 서버 1에 알려준다.
• 서버 1은 이 응답을 받으면 기다림을 멈추고 나머지 처리를 한다.

Player_Attack(player, monster)
{
    lock(player)
    {
        player.bullet--;
        e = otherServer.DamageCharacter(
            player.id, monster.id, 10);
        waitForResult(e);
        if (e.hitPoint < 0)
        {
            player.item.Add(gold, 30);
        }
    }
 
    DamageCharacter(attacker, character, damage)
    {
        character.hitPoint -= damage;
        result.hitPoint = character.hitPoint;
        Reply(result);
    }
}

 

다른 처리 방법도 있다. 일관성을 지키면서 다른 서버에 있는 데이터에 액세스 하는 방식이다. 이 과정에서는 분산 락 기법이 동반된다.

 

동기식 데이터 변경법

• 몬스터 정보를 가진 서버 2에 몬스터 정보를 액세스 하기 위해 분산 락을 걸겠다는 요청을 하고 응답을 받는다.
• 서버 2에서 몬스터 정보를 얻어 오고 업데이트한다.
• 서버 2에 분산 락 해제를 요청하고 응답을 받는다.

Player_Attack(player, monster)
{
    lock(player)
    {
        player.bullet--;
        otherServer.RemoteLock(monster);
        m = otherServer.RemoteGet(monster.id);
        m.hitPoint -= damage;
        if (m.hitPoint < 0)
        {
            player.item.Add(gold, 30);
            otherServer.RemoteDelete(monster.id);
        }
        else
        {
            otherServer.RemoteSet(m);
        }
        otherServer.RemoteUnlock(m);
    }
}

 

동기 분산 처리 방식에는 문제가 있다. 서버 1에서는 서버 2에 명령을 보낸 후 이에 대한 응답이 올 때까지 대기해야 한다. 서버 1과 서버 2 사이에 데이터를 주고받는 데 걸리는 시간을 20 마이크로초라고 가정해보자. 동기식 명령 처리법을 사용하면 서버 1에서 최소 40 마이크로초가 걸릴 것이다. 동기식 데이터 변경법에서는 메시지 왕복이 총 3번이므로 최소 120 마이크로초가 걸린다.

 

이때 서버 1에서 플레이어 정보를 보호하는 임계 영역이나 뮤텍스가 지나치게 광범위하면, 서버 1에서 처리해야 할 다른 일이 40~120 마이크로초만큼 시간이 지연될 가능성이 높아진다. 이 문제를 개선하려면 서버 1은 멀티 스레드 혹은 멀티 프로세스로 작동하거나 뮤텍스 잠금 범위를 좁혀야 한다.

 

암달의 법칙

 

이처럼 병렬 처리할 수 있는 장치에서 병렬로 처리하지 못하는 시간에 비례하여 병렬 효과가 급감하는 현상을 암달의 법칙이라 한다. 따라서 동기 분산 처리의 잘못된 사용은 분산 서버의 효과를 떨어뜨릴 수 있다.

 

2) 비동기 분산 처리

비동기 분산 처리에서는 서버 1은 어떤 연산 명령을 다른 서버 2에 송신하고 서버 1은 응답 결과를 기다리지 않는다. 그리고 일방적으로 자기가 해야 하는 다음 일을 시작한다.

 

비동기 분산 처리

 

• 서버 1에서는 플레이어 캐릭터 정보를 가지고 있고 서버 2에서는 몬스터 캐릭터 정보를 가지고 있다
• 서버 1은 서버 2에 몬스터에 대미지를 주었다고 통보한다.
• 서버 2는 서버 1에 플레이어에게 아이템을 주었다고 통보한다.

Player_Attack(player, monster)
{
    player.bullet--;
    otherServer.DamageCharacter(player.id, monster.id, 10);
}
 
DamageCharacter(callerServer, attacker, character, damage)
{
    character.hitPoint -= damage;
    if (character.hitPoint < 0)
    {
        callerServer.GiveItem(attacker.id, gold, 30);
        DeleteEntity(character, 10sec);
    }
}
 
GiveItem(character, item, amount)
{
    character.item.Add(item, amount);
}

 

 

비동기 분산 처리 방식의 가장 큰 장점은 잠금으로 인한 병목이 없다는 것이다. 따라서 각 서버가 가진 성능을 최대한으로 활용할 수 있다. 그러나 단점은 모든 로직을 이 방식으로 구현하기 어렵거나 불가능하다는 것이다. 요청에 대한 응답을 기다리는 과정이 없기 때문에 반환 값을 주고받을 수 없기 때문이다. 그 대신 서로 일방적인 통보를 또 주고받아야 한다.

 

3) 데이터 복제에 기반을 둔 로컬 처리

데이터 복제에 기반을 둔 로컬 처리는 분산 처리에 관여하는 데이터들이 원본 서버에만 있는 것이 아닌 다른 서버에 복제된 상태로도 있는 것이다. 결과적으로 게임 플레이를 위한 로직 처리는 두 서버에 분산되지만, 어떤 처리가 다른 서버와 맞물려 돌아가지 않고 각 서버가 알아서 처리한다.

 

데이터 복제에 기반을 둔 로컬 처리

 

• 플레이어를 담당하는 서버 1은 몬스터를 담당하는 서버 2의 몬스터 정보를 갖고 있다.
• 마찬가지로 서버 2는 몬스터뿐만 아니라 플레이어 정보도 가지고 있다.
• 서버 1과 서버 2는 자기가 가진 데이터 변경이 일어나면, 변경되었다는 사실을 상대방에게 알려준다.

Player_Attack(player, monster)
{
    player.bullet--;
    monster.hitPoint -= 10;
    if (monster.hitPoint < 0)
    {
        player.item.Add(gold, 30);
        DeleteEntity(monster, 10sec);
    }
}

 

앞서 살펴본 분산 처리의 공통된 문제가 있다.

 

다른 서버로 메시지를 보낼 때

 

바로 우리는 그저 소켓의 송신 함수를 호출하지만 운영체제는 많은 일을 한다는 것이다. 몬스터 사냥 로직은 비교 연산, 산술 연산, 메모리 데이터 읽기, 쓰기 연산 몇 개로 구성된 간단한 로직이다. 그러나 분산된 서버 간 대화에 사용되는 연산은 이 로직의 몇 배, 몇 십배가 될 수 있다. 이처럼 과도하게 서버 간 분산 처리를 하면 쓸데없이 비효율적인 상황이 발생할 수 있다.

 

7. 데이터 응집도

세 가지 분산 처리 방식 모두 장점과 단점이 있다. 따라서 분산 처리가 가장 적게 일어나는 방법을 찾으면 좋다.

 

한 방법은 응집도가 높은 데이터끼리는 가급적 분산 처리를 하지 않고 응집도가 낮은 데이터에 대해 분산처리를 하는 것이다. 여기서 응집도는 특정 영역 안에 얼마나 많은 데이터가 관련되고 뭉쳐 있는지를 의미한다. 다시 말해서 어떤 데이터가 있을 때 그 데이터와 자주 상관되는 다른 데이터가 얼마나 많은지를 의미한다.

 

예를 들어 평면으로 구성된 월드가 있을 때, 지리적 위치를 응집도 기준으로 하여 가까운 거리에 있는 캐릭터끼리는 같은 서버에 두게 할 수 있다.

 

지리적 위치

 

또 다른 예로 매치메이킹 게임 서버를 만들 때, 플레이어 실력을 응집도 기준으로 하면 실력이 비슷한 플레이어끼리 서버를 분산시킬 수 있다.

 

8. 기능적 분산 처리

지금까지 분산 처리에서 서버가 둘 이상 관여하는 것을 알아보았다. 그런데 가끔은 이러한 수평 분산 처리를 하지 못하는 경우도 발생한다. 이때 생각해 볼 수 있는 것이 기능적 분산 처리이다. 데이터 단위 분산 처리, 즉 수평 분산 처리를 할 수 없을 때 선택할 수 있는 대안이다.

 

기능적 분산 처리 - 게임 서버(경매장 서버), 채팅 서버

 

기능적 분산 처리는 기능 단위로 무제한으로 쪼갤 수 없기 때문에 분산 처리를 할 수 있는 범위가 제한되어 있다. 따라서 기능적 분산 처리는 최후 수단이다. 데이터 기반 분산 처리, 즉 수평 분산 처리를 할 수 있는 방법을 최대한 찾아본 후 도저히 안되면 기능적 분산 처리를 해야 한다.

 

9. 분산 처리 정리

이제 전체적인 내용을 정리해보자.

• 성능 분석을 하여 분산 처리가 필요한 지점을 정한다.
• 데이터 응집력을 확인한다.
• 분산 처리 방식을 선택한다. (로직 분산 처리 방식)

 

분산 처리는 확장성뿐만 아니라 안정성에도 효과를 준다. 서비스 장애 영역이 전체에서 국소로 줄어들기 때문이다. 그러나 지나친 분산 처리는 피하는 것이 좋다. 네트워크 장비에 부하 몰림, 네트워크 장비 과부하로 서비스 장애를 일으킬 수 있기 때문이다. 게다가 분산 처리는 디버깅이 까다롭다.

 

10. 고가용성

고가용성이란 사용자가 항상 서비스를 이용할 수 있게 하는 것이다. 서버가 고장 나거나 껐다 켜는 상황이 발생함에도 서버 역할을 지속하는 것을 고가용성이라 한다.

 

고가용성 서버는 사용자 입장에서는 논리적으로 서버 한 대처럼 보이지만, 사실 컴퓨터 여러 대로 구성된 서버 클러스터이다. 이 서버 중에서 몇몇 서버가 과부하에 걸리거나 오작동으로 정지하더라도 나머지 서버가 계속해서 사용자 요청을 처리할 수 있다.