캘리포니아에서 열리는 연례 Meta Connect 이벤트의 메타 플랫폼 제시 인기 앱을 위한 몇 가지 새로운 AI 기능 Facebook, Instagram WhatsApp 등이 있지만 이 거대 기술 기업의 가장 인상적인 혁신은 많은 사람들의 눈에 띄지 않았을 수도 있습니다. 우리는 Llama 2 Long AI 모델에 대해 이야기하고 있습니다.
Meta 회사의 연구원 팀은 긴 사용자 쿼리에 대해 일관되고 관련성 높은 답변을 생성할 수 있는 새로운 인공 지능 모델인 Llama 2 Long을 제시하는 기사를 조용히 발표했습니다. 기껏해야 업계 최고의 경쟁사를 능가한다고 그들은 말합니다.
Llama 2 Long은 확장 기능입니다. 라마 2, 다양한 데이터 소스로부터 학습하고 코딩, 수학, 언어 이해 등과 같은 다양한 작업을 수행할 수 있는 오픈 소스 AI 모델 Meta가 여름에 출시되었습니다. 그러나 Llama 2 Long은 더 긴 텍스트가 포함된 더 많은 데이터에 대해 훈련되었으며 이 알고리즘은 더 긴 정보 시퀀스를 처리하도록 수정되었습니다. 이를 통해 응답을 생성하는 데 사용할 수 있는 컨텍스트의 양에 제한이 있는 OpenAI의 GPT-3.5 Turbo 및 Claude 2보다 성능이 뛰어납니다.
연구원 메타 Llama 2의 다양한 버전을 사용했습니다. 매개변수는 7억에서 70억 개에 달합니다. 즉, AI 모델이 데이터를 학습하여 변경할 수 있는 값입니다. 그들은 원래 모델 데이터세트보다 긴 텍스트를 포함하는 400억 개의 토큰(텍스트 단위)을 추가했습니다. 또한 모델이 다른 방법보다 적은 정보와 메모리를 사용하여 정확하고 유용한 답변을 생성할 수 있도록 RoPE(Rotary Positional Embedding) 기술을 사용하여 AI 모델의 아키텍처를 약간 수정했습니다.
연구팀은 AI 모델이 정답에 대해 보상을 받고 인간 평가자가 수정하고 합성 데이터가 Llama 2 채팅 자체에서 생성되는 방식인 인간 피드백 강화 학습(RLHF)을 사용하여 다양한 작업의 성능을 향상시켰습니다. .
논문에서는 이 모델이 약 200페이지의 텍스트에 해당하는 최대 40자 길이의 사용자 프롬프트에 대해 고품질 응답을 생성할 수 있다고 주장합니다. 연구원들은 Llama 2 Long이 사용자의 복잡하고 다양한 요구를 충족할 수 있는 보다 일반적이고 다재다능한 AI 모델을 만들기 위한 한 단계라고 말합니다. 그들은 또한 그러한 모델의 잠재적인 윤리적, 사회적 영향을 인식하고 이를 책임감 있고 유익하게 사용하는 방법에 대한 추가 연구와 대화를 요구합니다.
또한 읽기: