ChatGPT에서 사용하는 하이퍼 파리미터에 대한 간략한 소개입니다.
Top-p (Temperature):
설명: Top-p는 생성된 텍스트의 다양성을 결정하는 하이퍼파라미터입니다. 누적 확률 분포에서 상위 p%의 단어만을 선택하여 다음 단어를 예측하는 방식입니다.
범위: 0과 1 사이의 값을 가집니다. 0에 가까울수록 더 예측 가능한 단어를 선택하고, 1에 가까울수록 더 다양한 단어에서 선택하여 생성합니다. 예를 들어, 무작위성을 증가시키고 싶다면 top_p=0.9와 같이 설정할 수 있습니다.
Temperature:
설명: Temperature는 모델이 생성하는 텍스트의 창의성을 조절합니다. 낮은 값은 더 확실한 단어를 선택하게 하고, 높은 값은 더 다양하고 예측하기 어려운 단어를 선택하게 합니다.
범위: 일반적으로 0과 1 사이에서 설정되며, 1보다 높게 설정할 수도 있습니다. 0에 가까울수록 출력이 더 결정적이고, 1 이상으로 설정하면 출력이 더 창의적이고 다양해집니다. 예를 들어, 더 다양하고 예측하기 어려운 응답을 원한다면 temperature=1.0을 설정할 수 있습니다
Max Tokens:
설명: Max Tokens는 생성될 텍스트의 최대 길이를 결정합니다. 이는 출력의 길이를 제어하는 데 사용됩니다.
범위: 최소 1에서 모델이 지원하는 최대 길이까지 설정할 수 있습니다. 이는 작업에 따라 응답의 길이를 조절할 수 있게 해줍니다. 예를 들어, 응답을 50개 단어로 제한하고 싶다면 max_tokens=50으로 설정합니다.
Length Penalty:
설명: 길이 패널티는 긴 출력을 생성할 때 부과되는 패널티를 조정합니다. 높은 값은 짧은 응답을 선호하게 하고, 낮은 값은 더 긴 응답을 생성할 수 있게 합니다.
범위: 0.5에서 2.0 사이에서 조절할 수 있으며, 값에 따라 출력의 길이가 달라집니다. 예를 들어, 더 길고 상세한 응답을 원한다면 length_penalty=0.5로 설정할 수 있습니다
Repetition Penalty:
설명: 반복 패널티는 생성된 텍스트 내에서 단어의 반복을 줄이는 데 사용됩니다. 높은 값은 중복을 감소시키고, 낮은 값은 반복이 더 가능해집니다.
범위: 일반적으로 1.0에서 설정되며, 1보다 큰 값으로 설정하여 반복을 줄일 수 있습니다. 정확한 범위는 사용하는 시스템에 따라 다를 수 있으며, 일부 시스템은 0에서 2 사이의 값을 사용할 수도 있습니다. 예를 들어, 중복을 줄이고 싶다면 repetition_penalty=1.0으로 설정합니다.
Beam Width:
설명: Beam Width는 생성 과정에서 고려되는 경로의 수를 결정합니다. 높은 값은 더 많은 가능성을 탐색하지만 계산 비용이 높아집니다.
범위: 1에서 10까지 설정할 수 있으며, 더 높은 값은 더 다양한 응답 생성을 가능하게 하지만 응답 시간이 길어질 수 있습니다. 예를 들어, 다양한 응답 옵션을 원한다면 beam_width=3과 같이 설정할 수 있습니다.
Writing Style:
설명: Writing Style은 답변의 문체를 결정합니다.
예시: Academic(학술적인), Analytical(분석적), Argumentative(논쟁적인), Conversational(대화적인), Creative(창의적인), Critical(비판적인), Descriptive(설명적인), Epigrammatic(풍자적인), Epistolary (편지체), Expository(설명적인), Informative(자세한), Instructive(유익한), Journalistic(신문체), Metaphorical(은유적인), Narrative(서술적인), Persuasive(설득적인), Poetic(시적인), Satirical(풍자 적인), Technical(기술적인)
댓글