[Book] 게임 서버 프로그래밍 교과서 - 1장 멀티 스레딩 (2)

1장 멀티 스레딩

6. 임계 영역과 뮤텍스

경쟁 상태를 해결하는 여러 방법 중 하나는

다른 스레드는 X를 건드리려고 하면 현재 스레드가 X를 다 사용할 때까지 기다리는 것이다.

이때 사용하는 것이 뮤텍스(mutex)이다.

뮤텍스는 상호 배제(mutual exclusion)의 줄임말이다.
뮤텍스는 다른 말로 임계 영역(critical section)이라고도 한다.

C++에서 뮤텍스를 사용하는 방법은 다음과 같다.

스레드 1이 ②에서 뮤텍스 사용권을 얻는 데 성공하면 ③으로 넘어간다.
그러나 다른 스레드 2가 이미 뮤텍스 사용권을 얻은 상태면 스레드 1은 더 이상 진행하지 못하고 정지된다.
한편 스레드 2는 ③을 실행 후 ④를 통과하게 되는데 그제야 스레드 1은 뮤텍스 사용권을 얻어 실행 지점이 ③으로 넘어간다.

그런데, 매번 lock()과 unlock()을 호출하는 것은 번거로울 뿐만 아니라 예외 처리 코드 작성도 어렵다.

③에서 read()을 실행하다 예외를 던지면 다음 ③~④ 과정은 실행되지 못한다. 이를 해결하려면 예외가 발생하더라도 unlock()을 실행할 수 있게 해야 한다.

C++은 뮤텍스 잠금 상태를 로컬 변수로 저장하고 그 변수가 사라질 때 자동으로 잠금 해제가 되게 하는 lock_guard 클래스를 제공한다. 이 클래스를 사용하면 lock 객체가 사라질 때 자동으로 unlock()이 실행된다.

C#에서는 보호하려는 변수 자체를 뮤텍스처럼 사용하여 잠그고 다 쓰고 나면 잠금을 해제한다.

C# lock 사용 예

lock 구문 블록을 이용하면 별도의 unlock()을 호출하지 않아도 구문 블록을 나갈 때 자동으로 잠금 해제가 된다.

C++ 멀티스레드 구현 코드 예제 (소수 구하기)

#include "stdafx.h"
#include <vector>
#include <iostream>
#include <chrono>
#include <thread>
#include <memory>
#include <mutex>

using namespace std;

const int MaxCount = 15000000;
const int ThreadCount = 4;

bool IsPrimeNumber(int number)
{
    if (number == 1)
        return false;
    if (number == 2 || number == 3)
        return true;
    for (int i = 2; i < number - 1; i++)
    {
        if ((number % i) == 0)
            return false;
    }
    return true;
}

void PrintNumbers(const vector<int>& primes)
{
    for (int v : primes)
    {
        cout << v << endl;
    }
}

int main()
{
    // 각 스레드는 여기서 값을 꺼내온다.
    int num = 1;
    recursive_mutex num_mutex;

    vector<int> primes;
    recursive_mutex primes_mutex;

    auto t0 = chrono::system_clock::now();

    // 작동할 워커 스레드
    vector<shared_ptr<thread> > threads;

    for (int i = 0; i < ThreadCount; i++)
    {
        shared_ptr<thread> thread1(new thread([&]() {
            // 각 스레드의 메인 함수.
            // 값을 가져올 수 있으면 루프를 돈다.
            while (true)
            {
                int n;
                {
                    lock_guard<recursive_mutex> num_lock(num_mutex);
                    n = num;
                    num++;
                }
                if (n >= MaxCount)
                    break;

                if (IsPrimeNumber(n))
                {
                    lock_guard<recursive_mutex> primes_lock(primes_mutex);
                    primes.push_back(n);
                }
            }
        }));
        // 스레드 객체를 일단 갖고 있는다.
        threads.push_back(thread1);
    }

    // 모든 스레드가 일을 마칠 때까지 기다린다.
    for (auto thread : threads)
    {
        thread->join();
    }
    // 끝

    auto t1 = chrono::system_clock::now();

    auto duration = chrono::duration_cast<chrono::milliseconds>(t1 - t0).count();
    cout << "Took " << duration << " milliseconds." << endl;

    //PrintNumbers(primes);
    return 0;
}

위 멀티스레드 구현 예제를 실행해보면 스레드가 하나일 경우 실행 시간이 3900밀리 초 정도인데, 스레드가 4개일 때는 1300밀리 초가 나온다. 이론적으론 4배가 빨라져야 할 것 같은데 왜 3배 밖에 빨라지지 않았을까?

lock에 걸려 다른 스레드가 대기 상태로 전환하는 상황이 발생했다.
CPU는 메모리 액세스 시간이 길다. 멀티스레드가 작동한다 하더라도 메모리에 접근하는 동안에는 CPU 개수보다 더 적은 수의 CPU를 처리하게 된다.

위와 같은 상황을 해결하기 위해 뮤텍스를 최대한 나누면 어떻게 될까?

뮤텍스를 액세스 하는 과정이 무겁기 때문에 오히려 프로그램 성능이 떨어지게 된다.
교착 상태가 쉽게 발생한다.

특히 두 번째 문제는 심각하기 때문에 뮤텍스는 어느 정도 굵직하게 잠금 범위를 잡아야 한다.

반대로 뮤텍스가 보호하는 영역이 너무 넓으면 스레드가 여럿이라 하더라도 하나일 때와 별반 차이가 없어진다.

따라서 동시에 연산하면 유리한 부분을 잠금 단위로 나누고 병렬로 하지 않아도 성능에 영향을 주지 않는 부분들은 잠금 단위를 나누지 않는 것이 좋다.

7. 교착 상태

멀티스레드 프로그래밍에서 교착 상태란 두 스레드가 서로를 기다리는 상황을 의미한다.

이러한 경우 두 스레드는 영원히 멈춰 있게 된다.

뮤텍스가 여럿일 때 교착 상태를 일으키지 않도록 하기 위해 잠금 순서의 규칙을 만들어야 한다.

8. 잠금 순서의 규칙

교착 상태를 예방하려면

각 뮤텍스의 잠금 순서를 먼저 그래프로 그린다.
잠금을 할 때는 잠금 순서 그래프를 보면서 거꾸로 잠근 것이 없는지 체크해야 한다.
잠금을 해제하는 순서는 교착 상태에 영향을 주지 않는다.

예를 들어 뮤텍스 A, B, C가 있다고 가정했을 때, 이들의 잠금 순서는 A->B->C이다.

아래 상황은 동일한 순서로 잠갔기 때문에 교착 상태를 일으키지 않는다.

B > C

뮤텍스 하나만 잠그는 것도 안전하다.

반대 순서로 잠그면 그제야 교착 상태를 일으킨다.

이때 뮤텍스는 재귀성을 가지는 것과 가지지 않는 것이 있다.

재귀 뮤텍스는 한 스레드가 뮤텍스를 여러 번 반복해서 잠그는 것을 허락한다.

여러 번 잠글수록 그만큼 잠금 해제가 필요하다.

첫 잠금에서 순서를 어긴다면 교착 상태를 일으킨다.
이미 잠근 것에 대한 재귀 잠금은 잠금 순서 그래프와 상관없다.

9. 병렬성과 시리얼 병목

여러 CPU가 각 스레드의 연산을 실행하여 동시 처리량을 올리는 것을 병렬성이라 한다.
병렬성이 제대로 나오지 않는 것, 즉 병렬로 실행되게 프로그램을 만들었는데 정작 한 CPU만 연산을 수행하는 현상을 시리얼 병목이라 한다.

뮤텍스로 잠근 구간을 다른 스레드가 실행하려 하면 그 스레드는 일시 정지가 된다. 따라서 극단적인 경우 여러 CPU가 병렬 처리를 하더라도 실제로는 CPU 1개를 제외하고 나머지 CPU에는 노는 구간이 생기게 된다.

CPU 개수가 많아질수록 빈 공간은 넓어진다. 병렬로 처리할 수 없는 구간, 즉 시리얼 병목이 존재하는 시간이 길어질수록 총 처리량은 줄어들게 된다. 이처럼 시리얼 병목이 있을 때, CPU가 많을수록 총 처리 효율성이 떨어지는 현상을 암달의 법칙 혹은 암달의 저주라고 한다.

암달의 저주를 줄이려면 시리얼 병목이 발생하는 구간을 최소로 줄여야 한다.

VS의 Concurrency Visualizer는 멀티스레드 프로그램이 여러 가지 일을 정말로 잘 수행하는지 분석하여 이를 시각화해서 보여주는 도구이다. 이 도구를 활용하면 성능의 병목을 쉽게 찾아낼 수 있다.

디버거 없이 프로그램 실행 후 Analyze > Concurrency Visualizer > Attach to Process 로 분석을 시작한다.
분석을 시작하고 몇 초 후 중지 버튼을 누르고 새로운 창이 뜨면 ①을 누른다.
②는 각 스레드가 무슨 일을 했는지 그래프로 보여준다.
③은 해당 구간 동안 각 스레드가 한 일의 통계를 보여준다.
- 94%가 Execution이란 의미는 일한 시간의 94%가 CPU 연산을 하고 있다는 것으로 매우 양호한 상태이다.
- Synchronization이란 뮤텍스를 이미 다른 스레드로 잠근 상태라 기다리는 동안의 시간을 의미한다.
④는 스레드 4개가 각각 무엇을 했는지 보여준다.

다음으로 병렬 병목이 발생하는 흔한 경우를 알아보자.

먼저 디바이스 타임과 CPU 타임을 알아야 하는데, 디바이스 타임은 기기에 있는 장치에 뭔가를 요청해서 결과가 올 때까지 기다리는 시간을 의미한다. 이때 스레드는 잠자는 상태이므로 디바이스 타임 동안에는 CPU가 연산을 하지 않고 자기 때문에 시간이 낭비된다. 따라서 다른 스레드를 위한 CPU 연산을 하는 것이 효율적이다.