){kind=link}
연구원 Apple 음성 비서가 명령을 이해하고 응답하는 방식을 근본적으로 개선하는 것을 목표로 하는 ReALM(언어 모델링으로서의 참조 해상도)이라는 인공 지능 시스템을 개발했습니다.
연구 논문에서 Apple 화면상의 개체에 대한 모호한 참조를 해독하고 대화 및 배경 컨텍스트를 이해하는 것을 포함하여 대규모 언어 모델이 참조 해결 문제를 해결하는 방법에 대한 새로운 프레임워크를 설명합니다. 결과적으로 ReALM은 장치와 보다 직관적이고 자연스러운 상호 작용을 가능하게 합니다.
참조 인식은 자연어를 이해하는 데 중요한 부분으로, 사용자가 대화에서 대명사 및 기타 간접 참조를 혼동 없이 사용할 수 있도록 해줍니다. 디지털 보조자의 경우 이 능력은 역사적으로 중요한 과제였으며 광범위한 언어 신호와 시각적 정보를 해석해야 하는 필요성으로 인해 제한되었습니다. ReALM 시스템 Apple 참조 인식의 복잡한 프로세스를 순수한 언어 모델링 작업으로 전환하여 이 문제를 해결하는 것을 목표로 합니다. 이러한 방식으로 그녀는 화면에 표시되는 시각적 요소에 대한 참조를 이해하고 이러한 이해를 대화 흐름에 통합할 수 있습니다.
ReALM은 텍스트 표현을 사용하여 화면의 시각적 구조를 재구성합니다. 여기에는 화면 개체를 구문 분석하고 화면의 내용과 구조를 반영하는 텍스트 형식을 생성하기 위해 배열하는 작업이 포함됩니다. 연구원 Apple 벤치마크 해결 문제를 위한 언어 모델의 특수 조정과 결합된 이 전략은 OpenAI의 GPT-4 기능을 포함한 기존 방법보다 훨씬 뛰어난 성능을 발휘한다는 사실을 발견했습니다.
ReALM을 사용하면 사용자는 정확하고 자세한 지침 없이도 현재 화면에 표시된 내용을 기반으로 디지털 보조 장치와 훨씬 더 효과적으로 상호 작용할 수 있습니다. 이를 통해 운전자가 운전 중에 인포테인먼트 시스템을 탐색하도록 돕거나 더 쉽고 정확한 간접적 상호 작용 수단을 제공하여 장애가 있는 사용자를 돕는 등 다양한 상황에서 음성 도우미를 훨씬 더 유용하게 만들 수 있습니다.
Apple AI 분야에서는 이미 여러 연구 논문을 발표했습니다. 지난 달 회사는 텍스트 정보와 시각적 정보를 완벽하게 통합하는 대규모 언어 모델을 학습하는 새로운 방법을 공개했습니다. 예상되는 것은 Apple 6월 WWDC 컨퍼런스에서 다양한 AI 기능을 소개할 예정입니다.
또한 읽기: