AI създава картини на база човешки мисли

Представени изображения (червен контур, горен ред) и изображения, реконструирани от fMRI сигнали (сив контур, долен ред) за един участник (subj01). Снимки: Ю Такаги и Шиниджи Нишимото Университет Осака, Япония (Yu Takagi, Shinji Nishimoto, Osaka University, Japan)

Реконструирането на визуални преживявания от дейността на човешкия мозък предлага уникален начин да разберем как мозъкът представя света и да интерпретираме връзката между моделите на компютърно зрение и нашата зрителна система. Въпреки че наскоро за тази задача бяха използвани дълбоки генеративни модели, реконструирането на реалистични изображения с висока семантична прецизност все още е предизвикателен проблем. 

Това пишат в своето проучване Ю Такаги и Шиниджи Нишимото от университета Осака, Япония. Те предлагат нов метод, базиран на дифузионен модел (DM), за реконструиране на изображения от дейността на човешкия мозък, получени чрез функционален магнитен резонанс (fMRI). По-конкретно, те разчитат на модел на латентна дифузия (LDM), наречен Stable Diffusion. Този модел намалява изчислителните разходи на DM, като същевременно запазва неговата висока генеративна производителност. Учените също така характеризират вътрешните механизми на LDM, като изучават как неговите различни компоненти се отнасят към различни мозъчни функции.

Представени изображения (червен контур, горен ред) и изображения, реконструирани от fMRI сигнали (сив контур, долен ред) за един участник (subj01)

Те показват, че предложеният от тях метод може да реконструира изображения с висока разделителна способност и висока прецизност по правилен начин, без необходимост от допълнително обучение и фина настройка на сложни модели за дълбоко обучение. Те също така предоставят количествена интерпретация на различни компоненти на LDM от невронаучна гледна точка. Като цяло проучването предлага обещаващ метод за реконструиране на изображения от дейността на човешкия мозък и предоставя нова рамка за разбиране на DM. 

Алгоритъмът за изкуствен интелект използва информация, събрана от различни региони на мозъка, участващи във възприемането на изображението, като тилната и темпоралната част, обяснява Ю Такаги, системен невролог в университета в Осака, за Science. Системата интерпретира информация от мозъчни сканирания с функционален магнитен резонанс (fMRI), които откриват промени в притока на кръв към активните области на мозъка. Когато хората гледат снимка, темпоралните лобове регистрират предимно информация за съдържанието на изображението (хора, обекти или пейзаж), докато тилният лоб регистрира предимно информация за оформлението и перспективата, като мащаба и позицията на съдържанието. Цялата тази информация се записва от fMRI, докато улавя пикове в мозъчната активност, и тези модели след това могат да бъдат преобразувани в имитация на изображение с помощта на AI.

В новото проучване изследователите добавят допълнително обучение към алгоритъма Stable Diffusion, използвайки онлайн набор от данни, предоставен от Университета на Минесота, който се състои от мозъчни сканирания от четирима участници, като всеки от тях е изгледал набор от 10 000 снимки. Част от тези мозъчни сканирания от същите четирима участници не са използвани в обучението и са използвани за тестване на AI системата по-късно.

Примерни резултати и за четиримата участници

Всяко изображение, генерирано от изкуствен интелект, започва като шум, напомнящ статичен шум от телевизора, и замества шума с отличителни характеристики, тъй като Stable Diffusion сравнява моделите на мозъчна активност на човек от гледане на снимка с моделите в неговия набор от данни за обучение. Системата ефективно генерира изображение, изобразяващо съдържанието, оформлението и перспективата на разглежданата снимка. 

Мозъчната активност, предимно в тилния лоб, предоставя достатъчно информация, за да пресъздаде оформлението и перспективата на разглежданите снимки, но алгоритъмът се затруднява да резюмира обекти, като например часовникова кула, от истинската снимка и вместо това създава абстрактни фигури. Един подход за справяне с този проблем би бил да се използват по-големи набори от данни за обучение, които биха могли да обучат алгоритъма да предвижда повече подробности, но наборът от данни от fMRI е твърде ограничен за това, казва японският екип.

Вместо това, изследователите заобикалят този проблем, като извличат ключови думи от надписи към изображенията, които придружават снимките в набора от fMRI данни. Ако, например, една от тренировъчните снимки съдържа часовникова кула, моделът на мозъчната активност от сканирането ще бъде свързан с този обект. Това означава, че ако същият мозъчен модел е изложен още веднъж от участника в изследването по време на етапа на тестване, системата ще захрани ключовата дума на обекта в нормалния генератор на текст към изображение на Stable Diffusion и часовникова кула ще бъде включена в пресъздаденото изображение, следвайки оформлението и перспективата, посочени от мозъчния шаблон, което води до убедителна имитация на истинската снимка.

Важно е да се отбележи, че алгоритъмът за стабилна дифузия не получава текстова подкана директно от данните от теста - той може само да заключи, че даден обект присъства, ако мозъчният модел съвпада с този, наблюдаван в данните за обучение. Това ограничава обектите, които може да пресъздаде, до присъстващите на снимките, използвани по време на обучението.

Изследователите тестват системата си върху допълнителни мозъчни сканирания от същите участници, когато те гледат отделен набор от снимки, включително мече играчка, самолет, часовник и влак. Чрез сравняване на мозъчните модели от тези изображения с тези, произведени от снимките в обучителния набор от данни, системата AI успява да произведе убедителни имитации на новите снимки. 

Въпреки това, AI системата е тествана само върху мозъчни сканирания от едни и същи четирима души, които предоставят обучителните мозъчни сканирания, и разширяването към други индивиди би изисквало повторно обучение на системата върху техните мозъчни сканирания. Така че може да отнеме известно време тази технология да стане широко достъпна. 

Шинджи Нишимото, друг системен невролог от университета в Осака, който е работил по изследването, се надява, че с по-нататъшни усъвършенствания технологията може да се използва за прихващане на въображаеми мисли и сънища или да позволи на учените да разберат колко различно възприемат реалността животните.