Поиск МНТК и НГУ создали автономного ИИ-помощника для слабовидящих
Совместная разработка Новосибирского филиала МНТК "Микрохирургия глаза" и Новосибирского Государственного Университета была представлена Заместителю Председателя Правительства Российской Федерации Дмитрию Юрьевичу Григоренко — автономный ИИ-помощник для слабовидящих людей.
Вице-премьер ознакомился с ведущими разработками в сфере IT в Центре искусственного интеллекта Новосибирского госуниверситета и технопарке новосибирского Академгородка, а также встретился с представителями региональных IT-компаний.
Базовая модель автономного интеллектуального помощника для слабовидящих и незрячих пациентов была представлена Дмитрию Юрьевичу Григоренко во время его визита в Новосибирский государственный университет. Разработка устройства осуществляется с использованием больших языковых моделей и технологий искусственного интеллекта.
Идея разработки принадлежит Новосибирскому филиалу ФГАУ «НМИЦ «МНТК «Микрохирургия глаза» имени академика С.Н. Федорова» Минздрава России, который совместно с учеными Исследовательского центра в сфере искусственного интеллекта НГУ (Центра ИИ НГУ) создает новое устройство, призванное облегчить слабовидящим и незрячим людям ориентацию в пространстве с помощью современных технологий.
Как отметил директор Новосибирского филиала МНТК «Микрохирургия глаза», профессор, д.м.н. Валерий Вячеславович Черных, на сегодняшний день существуют различные подходы, связанные с возможностью дать незрячему человеку шанс функциональной ориентации в окружающем пространстве, его адаптации и реабилитации с возможностью активно и самостоятельно жить полноценной жизнью.
Прежде всего, это социальные и реабилитационно-обучающие программы, требующие достаточно больших финансовых вложений. Кроме того, на протяжении последних 20 лет учеными различных стран осуществляются попытки вживления дорогостоящих и высокотехнологичных чипов либо в сетчатку глаза, либо непосредственно в затылочную часть коры головного мозга, которая отвечает за функцию зрения. Это очень сложные и дорогостоящие операции с большим риском возникновения осложнений и, к сожалению, с достаточно низким процентом эффективности, поскольку полученные результаты сохраняются непродолжительное время. В нашей стране также было проведено несколько таких операций, результаты которых пока нельзя признать удовлетворительными.
"Учитывая активное развитие технологий, связанных с возможностями искусственного интеллекта, родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах и так далее. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проема, окна, транспортного средства), его размеры — это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде", — рассказал директор Новосибирского филиала МНТК Валерий Вячеславович Черных.
Специалисты Новосибирского филиала МНТК "Микрохирургия глаза" объединили усилия с учеными Исследовательского центра в сфере искусственного интеллекта НГУ, чтобы создать технологию, которая должна быть автономной и не использовать интернет. Сейчас они работают над прототипом прибора и обучают модель. Затем предстоит настройка устройства, установление режимов, сбор базы данных и обучение ИИ.
"Мы используем большие языковые модели, чтобы помочь данной категории пациентов в анализе окружающего пространства — создать им проводника, который мог бы дать концентрированное словесное описание всех объектов, находящихся перед пользователем. Принцип работы данной системы прост: "видеть" вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту. Данное сообщение предоставляет основную информацию, которую пользователю необходимо знать, чтобы ориентироваться в пространстве", — пояснил руководитель проекта в Центре ИИ НГУ Алексей Григорьевич Окунев.
При разработке устройства используется мультимодальная языковая модель, и оно уже выдает вполне качественное словесное описание окружающих предметов. В перспективе у пользователя появится возможность задавать уточняющие вопросы и получать развернутые ответы. Языковая модель также распознает тексты, считывает надписи, указатели, предупреждения о препятствиях и тому подобное.
По предварительным данным, прототип устройства будет готов к концу года. Это компактная система, состоящая из одноплатного 16-ядерного компьютера, который можно носить в наплечной сумке, видеокамеры (например, GoPro) и наушников. Устройство снабдят аккумулятором, а все элементы соединят беспроводными каналами коммуникации. Пользователь будет держать видеокамеру в руке и наводить ее, куда хочет. Общий вес устройства с аккумулятором составит около килограмма.
Фото: Бахарева Инесса
