10월 18일 Meta FAIR(Fundamental AI Research)가 공개한 새로운 연구 발표입니다.
이 발표는 Meta의 목표인 고급 기계 지능(AMI: Advanced Machine Intelligence)을 달성하기 위한 일환으로, 동시에 오픈 사이언스 및 연구 재현성을 지원하는 의미를 갖고 있습니다.
1. Meta Segment Anything 2.1 (SAM 2.1): 이미지와 비디오를 대상으로 한 Segment Anything Model 2의 최신 업데이트로, 새로운 개발자 도구 모음과 함께 제공됩니다. SAM 2.1에는 모델 훈련 코드 및 웹 데모가 포함되어 있으며, 성능이 향상된 체크포인트를 제공합니다. 특히 시각적으로 유사한 객체와 작은 객체를 잘 처리할 수 있도록 데이터 증강 기법이 추가되었습니다.
2. Meta Spirit LM: 텍스트와 음성의 통합을 자유롭게 처리하는 최초의 오픈 소스 다중 모달 언어 모델입니다. 이 모델은 음성과 텍스트 데이터셋을 함께 학습하며, 음성 인식(ASR), 텍스트 생성 및 텍스트-음성 변환(TTS)을 보다 자연스럽게 통합할 수 있습니다.
3. Layer Skip: 대규모 언어 모델의 성능을 가속화하기 위한 기술로, 모델의 레이어 일부만 실행하여 처리 시간을 최대 1.7배까지 줄일 수 있습니다. 이 기술은 하드웨어 또는 소프트웨어에 대한 추가 요구 없이 효율성을 높여 비용을 절감하는 데 기여합니다.
4. SALSA: 양자 이후 암호화(Post-Quantum Cryptography) 표준의 보안을 검증하기 위한 AI 기반 공격 연구 도구입니다. 이를 통해 연구자들이 새로운 공격을 평가하고 기존 공격과 비교할 수 있도록 도와줍니다.
5. Meta Lingua: 대규모 언어 모델의 효율적인 학습을 위해 설계된 경량화된 코드베이스로, 실험을 쉽게 실행할 수 있도록 간소화된 플랫폼입니다. 연구자들이 더 빠르고 효율적으로 언어 모델을 학습할 수 있도록 지원합니다.
6. Meta Open Materials 2024: 무기 재료 발견을 위한 오픈 소스 데이터 및 모델을 제공하여 AI를 통해 혁신적인 재료 발견이 가능하게 합니다. 1억 개 이상의 훈련 예시를 포함한 대규모 데이터셋을 통해 새로운 재료 발견을 가속화할 수 있습니다.
7. MEXMA: 개선된 문장 표현을 위한 교차 언어 문장 인코더로, 토큰 레벨 및 문장 레벨 학습 목표를 결합한 방법입니다. 80개의 언어를 지원하며, 다양한 언어 간에 문장 표현을 정렬할 수 있습니다.
Self-Taught Evaluator: 인간 주석 없이도 보상 모델을 학습할 수 있도록 인공 데이터를 사용하는 새로운 방법으로, 기존의 모델보다 성능이 우수하며 학습 속도도 빠릅니다.
이러한 연구 결과들은 모두 오픈 소스 커뮤니티에서 자유롭게 사용할 수 있으며, Meta는 이러한 연구들이 AI 발전에 중요한 기여를 할 것으로 기대하고 있습니다.
10월 18일 Meta FAIR(Fundamental AI Research)가 공개한 새로운 연구 발표입니다.
이 발표는 Meta의 목표인 고급 기계 지능(AMI: Advanced Machine Intelligence)을 달성하기 위한 일환으로, 동시에 오픈 사이언스 및 연구 재현성을 지원하는 의미를 갖고 있습니다.
1. Meta Segment Anything 2.1 (SAM 2.1): 이미지와 비디오를 대상으로 한 Segment Anything Model 2의 최신 업데이트로, 새로운 개발자 도구 모음과 함께 제공됩니다. SAM 2.1에는 모델 훈련 코드 및 웹 데모가 포함되어 있으며, 성능이 향상된 체크포인트를 제공합니다. 특히 시각적으로 유사한 객체와 작은 객체를 잘 처리할 수 있도록 데이터 증강 기법이 추가되었습니다.
2. Meta Spirit LM: 텍스트와 음성의 통합을 자유롭게 처리하는 최초의 오픈 소스 다중 모달 언어 모델입니다. 이 모델은 음성과 텍스트 데이터셋을 함께 학습하며, 음성 인식(ASR), 텍스트 생성 및 텍스트-음성 변환(TTS)을 보다 자연스럽게 통합할 수 있습니다.
3. Layer Skip: 대규모 언어 모델의 성능을 가속화하기 위한 기술로, 모델의 레이어 일부만 실행하여 처리 시간을 최대 1.7배까지 줄일 수 있습니다. 이 기술은 하드웨어 또는 소프트웨어에 대한 추가 요구 없이 효율성을 높여 비용을 절감하는 데 기여합니다.
4. SALSA: 양자 이후 암호화(Post-Quantum Cryptography) 표준의 보안을 검증하기 위한 AI 기반 공격 연구 도구입니다. 이를 통해 연구자들이 새로운 공격을 평가하고 기존 공격과 비교할 수 있도록 도와줍니다.
5. Meta Lingua: 대규모 언어 모델의 효율적인 학습을 위해 설계된 경량화된 코드베이스로, 실험을 쉽게 실행할 수 있도록 간소화된 플랫폼입니다. 연구자들이 더 빠르고 효율적으로 언어 모델을 학습할 수 있도록 지원합니다.
6. Meta Open Materials 2024: 무기 재료 발견을 위한 오픈 소스 데이터 및 모델을 제공하여 AI를 통해 혁신적인 재료 발견이 가능하게 합니다. 1억 개 이상의 훈련 예시를 포함한 대규모 데이터셋을 통해 새로운 재료 발견을 가속화할 수 있습니다.
7. MEXMA: 개선된 문장 표현을 위한 교차 언어 문장 인코더로, 토큰 레벨 및 문장 레벨 학습 목표를 결합한 방법입니다. 80개의 언어를 지원하며, 다양한 언어 간에 문장 표현을 정렬할 수 있습니다.
Self-Taught Evaluator: 인간 주석 없이도 보상 모델을 학습할 수 있도록 인공 데이터를 사용하는 새로운 방법으로, 기존의 모델보다 성능이 우수하며 학습 속도도 빠릅니다.
이러한 연구 결과들은 모두 오픈 소스 커뮤니티에서 자유롭게 사용할 수 있으며, Meta는 이러한 연구들이 AI 발전에 중요한 기여를 할 것으로 기대하고 있습니다.