---
comments: true
description: Узнайте больше о MobileSAM, его реализации, сравнении с оригинальным SAM и о том, как его загрузить и протестировать в фреймворке Ultralytics. Улучшите свои мобильные приложения уже сегодня.
keywords: MobileSAM, Ultralytics, SAM, мобильные приложения, Arxiv, GPU, API, кодировщик изображений, декодер масок, загрузка модели, метод тестирования
---
# Mobile Segment Anything (MobileSAM)
Теперь доступна статья MobileSAM в [архиве arXiv](https://arxiv.org/pdf/2306.14289.pdf).
Демонстрацию работы MobileSAM на CPU можно найти по этой [ссылке](https://huggingface.co/spaces/dhkim2810/MobileSAM). Время выполнения на Mac i5 CPU составляет примерно 3 секунды. В демонстрационной версии Hugging Face интерфейс и менее производительные процессоры CPU могут вызывать замедление работы, но она продолжает работать эффективно.
MobileSAM реализован в различных проектах, включая [Grounding-SAM](https://github.com/IDEA-Research/Grounded-Segment-Anything), [AnyLabeling](https://github.com/vietanhdev/anylabeling) и [Segment Anything in 3D](https://github.com/Jumpat/SegmentAnythingin3D).
MobileSAM обучается на одном графическом процессоре (GPU) со 100 тысячами данных (1% от оригинальных изображений) за менее чем день. Код для обучения будет доступен в будущем.
## Доступные модели, поддерживаемые задачи и режимы работы
В таблице представлены доступные модели с соответствующими предварительно обученными весами, поддерживаемыми задачами и их совместимостью с различными режимами работы, такими как [вывод](../modes/predict.md), [валидация](../modes/val.md), [тренировка](../modes/train.md) и [экспорт](../modes/export.md), указанными с помощью эмодзи ✅ для поддерживаемых режимов и эмодзи ❌ для неподдерживаемых.
| Тип модели | Предварительно обученные веса | Поддерживаемые задачи | Вывод | Валидация | Тренировка | Экспорт |
|------------|-------------------------------|------------------------------------------------|-------|-----------|------------|---------|
| MobileSAM | `mobile_sam.pt` | [Сегментация экземпляров](../tasks/segment.md) | ✅ | ❌ | ❌ | ✅ |
## Переход от SAM к MobileSAM
Поскольку MobileSAM сохраняет ту же самую последовательность операций, что и оригинальный SAM, в него интегрированы все интерфейсы для предобработки, постобработки и прочие интерфейсы. В результате, пользователи, уже использующие оригинальный SAM, могут легко перейти на MobileSAM.
MobileSAM работает сравнимо с оригинальным SAM и имеет ту же самую последовательность операций, за исключением изменения кодировщика изображений. В частности, мы заменяем оригинальный "тяжёлый" кодировщик изображений ViT-H (632M) на более компактный Tiny-ViT (5M). На одном графическом процессоре MobileSAM работает примерно за 12 мс на изображение: 8 мс на кодировщик изображений и 4 мс на декодер масок.
В таблице представлено сравнение кодировщиков изображений на базе ViT:
| Кодировщик изображений | Оригинальный SAM | MobileSAM |
|------------------------|------------------|-----------|
| Параметры | 611M | 5M |
| Скорость | 452 мс | 8 мс |
Как оригинальный SAM, так и MobileSAM используют один и тот же декодер масок, управляемый подсказками:
| Декодер масок | Оригинальный SAM | MobileSAM |
|---------------|------------------|-----------|
| Параметры | 3.876M | 3.876M |
| Скорость | 4 мс | 4 мс |
Ниже приведено сравнение всей последовательности операций:
| Полная последовательность операций (Enc+Dec) | Оригинальный SAM | MobileSAM |
|----------------------------------------------|------------------|-----------|
| Параметры | 615M | 9.66M |
| Скорость | 456 мс | 12 мс |
Производительность MobileSAM и оригинального SAM демонстрируется с использованием подсказок в форме точки и прямоугольника.
MobileSAM обеспечивает примерно в 5 раз меньший размер и в 7 раз большую скорость работы по сравнению с текущим FastSAM. Более подробная информация доступна на [странице проекта MobileSAM](https://github.com/ChaoningZhang/MobileSAM).
## Тестирование MobileSAM в Ultralytics
Как и оригинальный SAM, мы предлагаем простой метод тестирования в Ultralytics, включая режимы тестирования с использованием подсказок в форме точки и прямоугольника.
### Загрузка модели
Вы можете загрузить модель [здесь](https://github.com/ChaoningZhang/MobileSAM/blob/master/weights/mobile_sam.pt).
### Подсказка в форме точки
!!! Example "Пример"
=== "Python"
```python
from ultralytics import SAM
# Загрузка модели
model = SAM('mobile_sam.pt')
# Предсказание сегмента на основе подсказки в форме точки
model.predict('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])
```
### Подсказка в форме прямоугольника
!!! Example "Пример"
=== "Python"
```python
from ultralytics import SAM
# Загрузка модели
model = SAM('mobile_sam.pt')
# Предсказание сегмента на основе подсказки в форме прямоугольника
model.predict('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])
```
Мы реализовали `MobileSAM` и `SAM` с использованием одного и того же API. Для получения дополнительной информации о использовании, пожалуйста, см. [страницу SAM](sam.md).
## Цитирование и благодарности
Если вы считаете MobileSAM полезным в своей научно-исследовательской или разработочной работе, пожалуйста, рассмотрите возможность цитирования нашей статьи:
!!! Quote ""
=== "BibTeX"
```bibtex
@article{mobile_sam,
title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
journal={arXiv preprint arXiv:2306.14289},
year={2023}
}