Encode/Decode

Base64

Base64 인코딩은 이진 데이터를 안전하게 텍스트로 변환하여 다양한 시스템과 프로토콜에서 사용할 수 있게 해주는 기술입니다.

• Base64 인코딩이 필요한 주요 이유

  • 이진 데이터의 텍스트화 많은 네트워크 프로토콜과 시스템은 텍스트 데이터만 안전하게 처리할 수 있습니다. 이진 데이터를 이러한 시스템에 직접 전달하려고 하면 데이터가 손상되거나 잘못 해석될 위험이 있습니다. Base64는 이진 데이터를 텍스트 문자열로 변환하여 이러한 문제를 방지합니다.

  • 데이터 전송의 안전성

    이메일 전송 프로토콜(예: SMTP)과 같은 일부 프로토콜은 7비트 텍스트 데이터만 안전하게 전송할 수 있습니다. Base64는 8비트 바이너리 데이터를 7비트 텍스트 데이터로 변환하여 이러한 프로토콜을 통해 안전하게 데이터를 전송할 수 있게 합니다.

  • 특수 문자 처리

    텍스트 기반 시스템에서 특정 이진 값(특수 문자)은 문제가 될 수 있습니다. 예를 들어, 제어 문자나 시스템에서 예약된 문자는 데이터 전송이나 저장 중에 예기치 않은 동작을 일으킬 수 있습니다. Base64는 모든 데이터를 ASCII 범위의 문자로 인코딩하여 이러한 문제를 피합니다.

  • 데이터 무결성

    Base64는 인코딩 과정에서 패딩을 추가하여 데이터의 길이를 일정하게 유지하고, 데이터가 손상되었는지 쉽게 확인할 수 있게 합니다. 이는 데이터 무결성을 보장하는 데 도움이 됩니다.

다음은 "Hello"라는 문자열을 Base64로 인코딩하는 과정입니다.

1. 이진 데이터로 변환:

   • "Hello"의 ASCII 값: H = 72, e = 101, l = 108, l = 108, o = 111

   • 이진 데이터: 01001000 01100101 01101100 01101100 01101111

2. 6비트씩 나누기:

   • 010010 000110 010101 101100 011011 000110 111100

3. 10진수로 변환:

   • 18 6 21 44 27 6 60

4. Base64 문자로 매핑:

   • S G V s b G 8

NIO

java.nio.charset 패키지

문자 인코딩과 디코딩을 처리하는 클래스를 제공합니다.

주요 클래스와 인터페이스는 다음과 같습니다:

• Charset: 특정 문자 인코딩을 나타내는 클래스입니다.

  • Charset.forName(String charsetName): 주어진 인코딩 이름에 해당하는 Charset 객체를 반환합니다.

  • Charset.defaultCharset(): 시스템의 기본 문자 인코딩을 반환합니다.

• CharsetEncoder: 바이트 버퍼에 문자를 인코딩하는 클래스입니다.

  • Charset.newEncoder(): CharsetEncoder 객체를 생성합니다.

  • CharsetEncoder.encode(CharBuffer cb): CharBuffer를 바이트 버퍼로 인코딩합니다.

• CharsetDecoder: 바이트 버퍼에서 문자를 디코딩하는 클래스입니다.

  • Charset.newDecoder(): CharsetDecoder 객체를 생성합니다.

  • CharsetDecoder.decode(ByteBuffer bb): ByteBuffer를 문자 버퍼로 디코딩합니다.

ByteBuffer를 CharBuffer로 변환하기

변경 흐름: String -> Byte -> Char

import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
​
public class ByteBufferToCharBufferExample {
    public static void main(String[] args) {
        // 예제 문자열
        String text = "Hello, World!";
        
        // String -> Byte 
        byte[] byteArray = text.getBytes(StandardCharsets.UTF_8);
​
        // Byte -> ByteBuffer 랲핑
        ByteBuffer byteBuffer = ByteBuffer.wrap(byteArray);
​
        // Byte -> Char 
        Charset charset = StandardCharsets.UTF_8;
        CharBuffer charBuffer = charset.decode(byteBuffer);
​
        // Hello, World! 출력
        System.out.println(charBuffer.toString());
    }
}

네트워크 프로그래밍에서의 인코딩

Socket 프로그래밍에서의 인코딩 처리

소켓 프로그래밍은 네트워크를 통해 데이터를 송수신하기 위해 사용됩니다. 여기서 인코딩은 데이터를 바이트 스트림으로 변환하는 과정입니다. 소켓 프로그래밍에서 주로 사용되는 인코딩 방식은 문자 인코딩입니다.

아래 예제는 UTF-8 인코딩을 사용하여 문자열을 바이트 배열로 변환한 후 소켓을 통해 전송합니다. 반대로, 수신된 바이트 배열을 UTF-8 인코딩으로 문자열로 변환하여 출력합니다.

import java.io.*;
import java.net.*;
​
public class SocketProgrammingExample {
    public static void main(String[] args) {
        String message = "Hello, World!";
        String encoding = "UTF-8";
​
        try (Socket socket = new Socket("localhost", 12345);
             OutputStream out = socket.getOutputStream();
             InputStream in = socket.getInputStream()) {
​
            // 메시지를 바이트 배열로 인코딩
            byte[] messageBytes = message.getBytes(encoding);
            out.write(messageBytes);
            out.flush();
​
            // 응답 받기
            byte[] responseBytes = new byte[1024];
            int read = in.read(responseBytes);
            String response = new String(responseBytes, 0, read, encoding);
            System.out.println("Response: " + response);
​
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

HTTP 요청 및 응답에서의 인코딩 처리

웹통신 HTTP 프로토콜에서 요청 및 응답 메시지의 인코딩은 중요한 역할을 합니다. HTTP 헤더에서 콘텐츠 타입과 인코딩 정보를 설정할 수 있습니다.

아래 예제에서 HTTP POST 요청을 보내면서 Content-Type 헤더에 인코딩 정보를 설정합니다. 서버로부터 응답을 받을 때도 InputStreamReader에 인코딩을 지정하여 올바르게 문자열을 읽어옵니다.

import java.io.*;
import java.net.*;
​
public class HttpExample {
    public static void main(String[] args) {
        String urlStr = "http://example.com";
        String encoding = "UTF-8";
        String payload = "{\"key\": \"value\"}";
​
        try {
            URL url = new URL(urlStr);
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();
            connection.setRequestMethod("POST");
            connection.setRequestProperty("Content-Type", "application/json; charset=" + encoding);
            connection.setDoOutput(true);
​
            try (OutputStream out = connection.getOutputStream()) {
                byte[] payloadBytes = payload.getBytes(encoding);
                out.write(payloadBytes);
                out.flush();
            }
​
            int responseCode = connection.getResponseCode();
            System.out.println("Response Code: " + responseCode);
​
            try (InputStream in = connection.getInputStream();
                 BufferedReader reader = new BufferedReader(new InputStreamReader(in, encoding))) {
                String line;
                while ((line = reader.readLine()) != null) {
                    System.out.println(line);
                }
            }
​
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

인코딩/디코딩 필요 이유

• 문자열의 표현:

  • 컴퓨터는 문자열을 처리할 때, 이를 이진 데이터로 변환해야 합니다. 각 문자는 특정한 바이트 시퀀스로 인코딩되어야 합니다. 이를 위해 UTF-8, UTF-16, ISO-8859-1 등의 인코딩 방식이 사용됩니다. 인코딩을 통해 사람이 읽을 수 있는 텍스트를 컴퓨터가 처리할 수 있는 이진 데이터로 변환합니다.

• 호환성:

  • 서로 다른 시스템 간의 데이터 교환 시 인코딩 방식이 다를 수 있습니다. 예를 들어, 한 시스템이 UTF-8을 사용하고 다른 시스템이 ISO-8859-1을 사용할 수 있습니다. 이 경우 데이터가 올바르게 전송되고 이해되려면 올바른 인코딩 및 디코딩이 필요합니다.

  • 파일을 저장하거나 네트워크를 통해 전송할 때, 인코딩은 데이터가 손상되지 않고 원본 그대로 유지되도록 합니다. 특히 바이너리 데이터를 텍스트 기반 시스템 (예: 이메일, JSON, XML)으로 전송할 때 Base64와 같은 인코딩을 사용하여 데이터의 무결성을 보장합니다.

• 국제화 및 지역화:

  • 다양한 언어와 문자 세트를 지원하기 위해 인코딩이 필요합니다. 예를 들어, 한글, 일본어, 중국어와 같은 비영어권 언어를 지원하려면 UTF-8 또는 UTF-16과 같은 인코딩이 필수적입니다. 이를 통해 다양한 지역의 사용자들이 자국의 언어로 애플리케이션을 사용할 수 있게 됩니다.

• 보안:

  • 인코딩은 데이터를 암호화하거나 난독화하는 과정의 일환으로 사용될 수 있습니다. 민감한 데이터를 전송할 때 Base64 인코딩 등을 사용하여 데이터를 변환한 뒤 전송하고, 수신 측에서 디코딩하여 원래 데이터를 복원합니다. 이는 보안상의 이유로 데이터를 보호하는 데 도움을 줄 수 있습니다.

• 데이터 압축:

  • 네트워크를 통해 대량의 데이터를 전송하거나 파일을 저장할 때, 데이터를 압축하여 전송/저장하고, 필요할 때 이를 디코딩하여 사용합니다. 이는 효율성을 높이고, 대역폭을 절약하며, 저장 공간을 절감하는 데 유용합니다.

다양한 인코딩 존재 이유

애초에 모두 동일하게 UTF-8을 지정하면 되지 않았을까?

• 언어 최적화: 일부 인코딩 방식은 특정 언어에 최적화되어 있어 해당 언어를 더 효율적으로 인코딩할 수 있습니다. 예를 들어, EUC-KR은 한국어를, Shift_JIS는 일본어를 더 효율적으로 인코딩합니다.

• 레거시 시스템 호환성: 초기 컴퓨터 시스템은 7비트 또는 8비트 인코딩 방식(예: ASCII, ISO-8859-1)을 사용했습니다.

• 상황 대응: 바이너리 데이터를 텍스트로 안전하게 전송하는 Base64.

• 운영 체제와 플랫폼: 다른 운영 체제와 플랫폼이 존재하며, 각기 다른 인코딩 방식을 채택하고 있습니다. Window, Unix, MacOS.

• 응용 프로그램에 따른 선호 인코딩 상이: 특정 응용 프로그램은 특정 인코딩 방식을 요구할 수 있습니다. 예를 들어, 웹 브라우저는 UTF-8을 선호하지만, 다른 프로그램은 다른 인코딩 방식을 사용합니다.