Phi 인공지능 모델 Microsoft - 작고 저렴하며 "환각"을 겪지 않습니다. 이것은 큰 미래를 가질 것으로 예상되는 새로운 언어 모델에 대해 그들이 말하는 것입니다.
GPT는 정말 훌륭하지만 동시에 비용이 너무 많이 들고 모든 사람에게 완벽할 수는 없습니다. 이러한 이유와 기타 여러 가지 이유로 Microsoft 훨씬 더 작은 AI 모델을 실험하고 있습니다. Phi-3-mini는 OpenAI 엔지니어의 작업을 수치스럽게 만들기도 한다고 합니다.
또한 흥미로운: 미래의 트랜지스터: 칩의 새로운 시대가 우리를 기다리고 있습니다
ChatGPT는 만병통치약이 아닙니다
ChatGPT는 자금 지원, 선별 및 개선된 발명품입니다. Microsoft. 실제로는 해당되지 않습니다 Microsoft, 그리고 OpenAI라는 회사가 있습니다. Microsoft 소유하지 않습니다 (그녀는 최대 규모는 아니지만 주요 투자자입니다). GPT 언어 모델은 Microsoft 이는 현재 따라잡기 위해 서두르고 있는 나머지 거대 기술 기업에 비해 엄청난 이점입니다. 그러나 GPT에는 수많은 문제가 있으며 그 중 상당수는 아직 해결되지 않았습니다.
우선, 이것은 자원 집약적인 언어 모델입니다. 웹 지향 Microsoft OpenAI의 Copilot 또는 ChatGPT는 매우 높은 운영 비용을 발생시킵니다. Microsoft. 이는 GPT뿐만 아니라 모든 주요 언어 모델의 기능이기도 합니다. 또한 GPT는 경쟁사와 마찬가지로 '환각'에 취약합니다. 즉, 허위 또는 오해의 소지가 있는 정보가 포함된 쿼리에 대한 응답을 생성할 수 있습니다. 그러한 모델이 더 많은 데이터를 흡수할수록 유사한 콘텐츠를 생성하는 경향이 더 커집니다. 그러므로 환각과 거짓 진술은 디지털 손가락에서 빨려 나온 신화가 아니다. 사용자는 대규모 언어 모델이 종종 실수를 하고, 부정확한 데이터를 제공하고, 존재하지 않는 사실을 기반으로 작동한다는 점을 자주 지적합니다.
두 가지 문제 모두 매우 심각하기 때문에 OpenAI, Microsoft, Meta, Google 등은 Large Language Model 기술뿐만 아니라 실제로 훨씬 더 나은 결과를 얻을 수 있는 Small Language Model 개발에도 노력하고 있습니다.
디지털 회계사의 조수는 양자 물리학에 대해 많이 알 필요가 없습니다. 훨씬 더 작고 덜 복잡할 수 있으므로(따라서 더 저렴할 수 있음), 목적에 필요한 데이터만 훈련함으로써 이론적으로 환각 현상이 덜 발생합니다. 하지만 이것은 말처럼 쉽지 않습니다. GenAI 기술은 여전히 거친 IT 벤처입니다. 그리고 작업이 전례 없는 속도로 진행되고 있지만 근본적인 문제에 대한 실질적인 돌파구를 찾는 것은 여전히 어렵습니다. 하지만 회사는 Microsoft 최근에 그러한 돌파구를 발표했습니다. 우리는 작은 언어 모델에 대해 이야기하고 있습니다. Microsoft 파리.
또한 흥미로운: 대만, 중국, 미국이 기술 우위를 위해 싸우는 방법: 거대한 칩 전쟁
알려진 것 Microsoft 피
우선 이번 실험은 OpenAI 업체의 참여 없이 진행되었다는 점에 유의해야 한다. 즉, 엔지니어의 발전이다. Microsoft.
모델 Microsoft Phi는 다양한 테스트에서 뛰어난 결과를 달성하는 일련의 소규모 언어 모델(SLM)입니다. 첫 번째 모델인 Phi-1은 1,3억 개의 매개변수를 가지며 기존 SLM 중 최고의 Python 코딩 결과를 달성했습니다.
그런 다음 개발자들은 언어 이해와 사고에 중점을 두고 Phi-1.5 모델을 만들었습니다. 이 모델도 1,3억 개의 매개변수를 갖고 있으며 매개변수가 배인 모델에 필적하는 성능을 보여주었습니다.
Phi-2는 2,7억 개의 매개변수 모델로 탁월한 추론 및 언어 이해 능력을 발휘하며, 13억 개의 매개변수로 최고의 기본 모델 수준의 성능을 발휘합니다. Phi-2는 모델 확장 및 데이터 큐레이션 교육의 혁신으로 인해 다른 모델보다 돋보입니다.
이는 언어 모델 분야의 연구 및 개발을 용이하게 하는 Azure AI Studio 모델 카탈로그에서 사용할 수 있습니다. 파이 2호는 2023년 2월 발사됐다. 개발자는 Meta의 Mistral 또는 llama 3와 마찬가지로 작동한다고 확신합니다. 그리고 Phi-은 이전 버전보다 훨씬 더 잘 작동합니다.
그러나 방금 발표된 Phi-3 모델은 품질면에서 완전히 새로운 모델입니다. 적어도 그것은 제공된 정보로 판단할 수 있는 것입니다. Microsoft. 회사에 따르면 알려진 모든 벤치마크의 지표에 따르면 Phi-3는 언어 분석, 프로그래밍 작업 또는 수학 작업을 포함하여 비슷한 규모의 다른 어떤 모델보다 더 나은 성능을 발휘합니다.
이 모델의 가장 작은 버전인 Phi-3-mini가 모든 관심 대상자들에게 공개되었습니다. 즉, 23월 3일부터 사용 가능했습니다. Phi-3,8-mini에는 억 개의 매개변수가 있으며 측정에 따르면 Microsoft, 동일한 크기의 다른 모델보다 두 배 더 효율적입니다. 클라우드 서비스의 AI 모델 카탈로그에서 확인할 수 있습니다. Microsoft Hugging Face 기계 학습 모델 플랫폼인 Azure와 로컬 컴퓨터에서 모델을 실행하기 위한 프레임워크인 Ollama입니다.
그가 주장하듯이 Microsoft, Phi-3-mini에는 강력한 칩이 필요하지 않습니다. Nvidia. 이 모델은 일반 컴퓨터 칩에서 작동할 수 있습니다. 또는 인터넷에 연결되지 않은 휴대폰에도 적합합니다.
또한 전력이 적다는 것은 모델이 정확하지 않다는 것을 의미합니다. Phi-3는 의사나 세무사에게는 적합하지 않지만 간단한 작업에는 도움이 됩니다. 예를 들어 광고를 타겟팅하거나 인터넷 리뷰를 요약하는 경우입니다.
더 작은 모델은 처리가 덜 필요하므로 민간 기업이 사용하는 것이 더 저렴할 것입니다. 즉, Microsoft 업무에 AI를 활용하고 싶지만 너무 비싸다고 생각하는 고객이 더 많아질 것입니다. 그러나 비용이 얼마나 드는지는 아직 명확하지 않습니다.
중소형 모델이 언제 등장할지는 아직 알려지지 않았다. 그러나 후자가 더 강력하고 더 비쌉니다. Phi-3-small은 7억 개의 매개변수를 갖고 Phi-3-medium은 무려 14억 개의 매개변수를 가질 것이라는 것은 이미 알려져 있습니다.
또한 읽기:
Phi-3-mini를 사용하는 방법은 무엇입니까?
GPT-4 Turbo에는 강력한 AI 칩이 필요하지만 여전히 매우 비쌉니다. Phi-3 소형 음성 모델은 휴대폰 칩의 도움을 받아 클라우드 없이도 오프라인으로 작동할 수 있습니다.
Phi-3은 최종 사용자를 위한 제품이 아니라 개발자가 클라우드 기반, 즉 원격 위치와 로컬 및 오프라인에서 작동하는 애플리케이션 모두에서 사용하고 구현할 수 있는 기술입니다. 휴대폰, 자동차, 인포테인먼트 시스템, IoT 센서 등 장치 및 해당 구성 요소와 원활하게 작동할 것으로 예상됩니다. 일부 시나리오에서는 이 기술이 매우 중요할 수 있습니다.
Microsoft 상상력에 부담을 주지 않도록 구체적인 예도 제시합니다. 농부가 농작물을 검사하고 잎, 줄기, 가지에서 질병의 징후를 발견했다고 상상해 보십시오. 통신 마스트에서 멀리 떨어져 있기 때문에 그는 휴대폰을 꺼내 손상 사진을 찍어 Phi-3 기술을 사용하는 애플리케이션에 넣기만 하면 됩니다. 그러면 모델이 신속하게 오프라인으로 사진을 분석하고 이에 대한 조언을 제공합니다. 이 질병과 정확히 싸우는 방법.
그가 설명하는 대로 Microsoft, GPT 성공의 열쇠는 훈련을 위해 엄청난 양의 데이터를 활용하는 것이었습니다. 이러한 대규모 데이터 세트에서는 높은 데이터 품질이 불가능합니다. 한편, Phi 모델을 훈련할 때는 정반대의 OpenAI 접근 방식이 사용되었습니다. 모델에 정보를 주입하는 대신 점진적이고 철저한 학습에 중점을 두었습니다.
연구원들은 원시 인터넷 데이터를 사용하는 대신 Microsoft 수백만 개의 미니어처 "아기" 스토리를 생성하는 TinyStories 데이터세트를 만들었습니다. 이 스토리는 매우 작은 언어 모델을 훈련하는 데 사용되었습니다. 그런 다음 연구원들은 교육적 가치와 콘텐츠 품질을 기준으로 필터링된 공개적으로 이용 가능한 데이터를 신중하게 선택하여 사용하는 CodeTextbook 데이터 세트를 생성했습니다. 그런 다음 이 데이터를 여러 번 필터링하고 추가 합성을 위해 LLM(대형 언어 모델)으로 다시 공급했습니다.
이 모든 것이 더 유능한 SLM을 교육하기에 충분한 데이터 배열을 생성하는 것을 가능하게 했습니다. 또한 평가, 테스트 및 수동 조정을 포함하여 Phi-3 모델 개발에는 위험 관리 및 완화에 대한 다단계 접근 방식이 사용되었습니다. 결과적으로 그의 주장대로 Microsoft, Phi-3 모델 제품군을 사용하는 개발자는 Azure AI에서 사용할 수 있는 도구 세트를 활용하여 보다 안전하고 안정적인 애플리케이션을 구축할 수 있습니다.
또한 읽기: 과학적 관점에서 본 순간이동과 그 미래
Microsoft Phi가 ChatGPT 유형 모델을 대체합니까?
별말씀을요. 소규모 언어 모델(SLM)은 고품질 데이터로 학습하더라도 한계가 있으며 딥 러닝용으로 설계되지 않았습니다. LLM(대형 언어 모델)은 크기와 계산 능력으로 인해 복잡한 추론에서 SLM보다 성능이 뛰어납니다. LLM은 방대한 과학 논문 모음을 검색하고 복잡한 패턴을 분석해야 하는 신약 발견과 같은 분야에서 특히 유용하며 앞으로도 그럴 것입니다. 반면, SLM은 긴 텍스트 문서의 주요 요점을 요약하거나, 콘텐츠를 생성하거나, 고객 서비스 챗봇을 구동하는 등 더 간단한 작업에 사용할 수 있습니다.
Microsoft, 그녀는 이미 내부적으로 하이브리드 모델 세트를 사용하고 있으며 LLM이 주도권을 잡고 컴퓨팅 성능이 덜 필요한 특정 쿼리를 SLM으로 보내는 동시에 더 복잡한 다른 쿼리 자체를 처리한다고 말했습니다. Phi는 클라우드를 사용하지 않고 장치에서 컴퓨팅하는 데 적합합니다. 그러나 소규모 언어 모델과 클라우드의 대규모 모델을 통해 얻을 수 있는 지능 수준 사이에는 여전히 격차가 있습니다. LLM의 지속적인 개발 덕분에 이러한 격차는 조만간 사라지지 않을 것입니다.
Phi-3은 아직 외부 독립 기관에 의해 검증되지 않았습니다. Microsoft 때때로 경쟁사에 비해 효율성이나 극단적인 경우 에너지 효율성이 25배 더 높다고 이야기하는데, 이는 꽤 멋진 것처럼 들립니다. 반면에 세월이 지났다는 사실을 잊을 수는 없습니다. Microsoft IT 혁신의 확실한 리더라는 사실에서 우리를 조금 멀어지게 만들었고 아마도 그것이 우리가 그것을 정말로 믿지 않는 이유일 것입니다. 생성하는 대신 즉시 반응하고 오프라인으로 실행되는 AI 기반 프로그램? 이것은 현재 혁명의 가치있는 정점이 될 것입니다. 불행히도 한 가지 중요한 문제가 있습니다.
또한 읽기: Neuralink Telepathy 칩에 관한 모든 것: 그것이 무엇이며 어떻게 작동하는지
파이-3 Microsoft 영어만 이해한다
Phi-3은 대량의 페타바이트를 한꺼번에 먹어치우지 않았습니다. 조심스럽고 꼼꼼한 모델 훈련에는 사소한 문제가 하나 있습니다. Phi-3는 영어로 정보를 학습했으며 아직 다른 언어에 대한 지식이 없습니다. 우크라이나어뿐만 아니라 독일어, 스페인어, 프랑스어, 중국어도 가능합니다. 물론 이로 인해 전 세계 대부분의 사용자에 대한 매력이 크게 감소합니다.
하지만 에 Microsoft 개발 및 개선 작업이 진행 중임을 확인했습니다. 우크라이나 시장이 대기업의 우선 순위라는 사실로 자신을 속여서는 안됩니다. 따라서 우크라이나어 지원을 위해서는 매우 오랜 시간을 기다려야 합니다. 그러나 이 사실은 열정적인 사람들과 발전을 따라가려는 사람들을 결코 멈추지 않았습니다.
또한 읽기: