Meta, Kişisel Cihazlar İçin Yeni Yapay Zeka Modeli Muse Glimmer'ı Duyurdu

Meta, tüketici donanımları üzerinde yerel olarak çalışabilen 30 milyar parametreli açık ağırlıklı yapay zeka modeli Muse Glimmer'ı kullanıma sundu. Nisan ayında tanıtılan Muse Spark'ın daha küçük bir versiyonu olan model, Apache 2.0 lisansıyla geliştiricilere sunuldu.

Kişisel Cihazlar İçin Optimize Edilmiş Performans

Meta tarafından geliştirilen Muse Glimmer, tek bir tüketici sınıfı GPU'ya sahip Mac veya PC cihazlarında çalışabilecek şekilde optimize edildi. 30 milyar parametreye sahip olan bu model, bulut altyapısına veya sürekli internet bağlantısına ihtiyaç duymadan, doğrudan kullanıcı cihazlarında yapay zeka uygulamalarının çalıştırılmasına olanak tanıyor. Yaklaşık 17 GB büyüklüğündeki sıkıştırılmış sürümü, yüksek özellikli tüketici cihazlarında yüksek performans sergiliyor. Yapılan testlerde modelin Nvidia RTX 5090 üzerinde saniyede 233,4 token, Apple M5 Max üzerinde ise saniyede 50,2 token hızına ulaştığı belirtiliyor.

Gelişmiş Agent Yetenekleri ve Kullanım Alanları

Metin ve görsel girdilerini destekleyen Muse Glimmer, 100'den fazla dilde eğitilmiş durumda. 128 bin tokenı aşan bağlam penceresi ile özellikle uzun ve çok aşamalı görevleri yerine getiren agent sistemleri için tasarlanan model; kod yazma, hata ayıklama, araç çağırma ve ekran görüntüleriyle çalışma gibi yeteneklere sahip. Kullanıcılar, hız ile yanıt kalitesi arasında tercih yaparak modelin muhakeme seviyesini değiştirebiliyor.

Modelin yerel olarak çalışması, takvim yönetimi veya mesaj taslakları hazırlama gibi kişisel verilerle etkileşim gerektiren görevlerde, verilerin üçüncü taraf sunuculara gönderilmesini azaltarak daha kontrollü bir kullanım deneyimi sunuyor. Apache 2.0 lisansıyla yayımlanan Muse Glimmer; Hugging Face üzerinden indirilebiliyor ve Ollama, LM Studio, llama.cpp ve ExecuTorch gibi araçlarla uyumlu çalışabiliyor.

Kaynak: webrazzi.com