Large language model
Gen AI 분류

The `max_output_tokens` parameter (range: 1 - 1024, default 128)

컨텐츠 정보

본문

#### The `max_output_tokens` parameter (range: 1 - 1024, default 128) ##### Tokens A single token may be smaller than a word. For example, a token is approximately four characters. So 100 tokens correspond to roughly 60-80 words. It's essential to be aware of the token sizes as models have a limit on input and output tokens. ##### What is _max_output_tokens_? `max_output_tokens` is the maximum number of tokens that can be generated in the response. ##### How does _max_output_tokens_ affect the response? Specify a lower value for shorter responses and a higher value for longer responses. A token may be smaller than a word. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words. For more information on the `max_output_tokens` parameter for text models, please refer to the [documentation on model parameters](https://cloud.google.com/vertex-ai/docs/generative-ai/learn/models#text_model_parameters).

관련자료

댓글 1

Goormit님의 댓글

#### 'max_output_tokens' 파라미터(범위: 1 - 1024, 기본 128)

##### 토큰
하나의 토큰은 단어보다 작을 수 있습니다. 예를 들어, 하나의 토큰은 대략 4자입니다. 따라서 100개의 토큰은 대략 60-80개의 단어에 해당합니다. 모델들은 입력 및 출력 토큰에 제한이 있으므로 토큰 크기에 대한 주의가 필수적입니다.

##### _max_output_tokens_이란 무엇입니까?
'max_output_tokens'는 응답에서 생성할 수 있는 토큰의 최대 개수입니다.

##### _max_output_tokens_가 응답에 어떤 영향을 미칩니까?

응답이 짧으면 낮은 값을 지정하고, 응답이 길면 높은 값을 지정합니다. 토큰은 단어보다 작을 수 있습니다. 토큰은 대략 4자입니다. 토큰 100개는 대략 60-80개의 단어에 해당합니다.

텍스트 모델의 'max_output_tokens' 파라미터에 대한 자세한 내용은 [모델 파라미터에 관한 document](https://cloud.google.com/vertex-ai/docs/generative-ai/learn/models#text_model_parameters) 를 참조하시기 바랍니다.
Gen AI 10 / 1 페이지
RSS
번호
제목
이름