ChatGPT се сдобива със зрение, слух и говор

Снимка: OpenAI

OpenAI, компанията, която стои зад чатбота ChatGPT, съобщи, че започва да пуска нови функционалности – той ще може да вижда, чува и да отговаря вербално на запитвания. Потребителите ще могат да разговарят с чатбота или да му покажат за какво говорят.

Гласът и изображението дават на потребителите повече начини да използват ChatGPT в ежедневието си. Може да направите снимка на забележителност, докато пътувате, и да разговаряте на живо за това, което е интересно за нея. Когато сте вкъщи, можете да направите снимки на хладилника и килера си, за да разберете какво има за вечеря (и да зададете допълнителни въпроси за рецепта, изпълнена стъпка по стъпка). След вечеря можете да помогнете на детето си с математическа задача, като направите снимка, оградите задачата и накарате ChatGPT да сподели съвети и с двама ви, пишат от компанията.

Потребители на Plus и Enterprise пакетите ще получат достъп до глас и изображения през следващите две седмици. Гласовите възможности идват на iOS и Android (трябва да се включи от настройките), а изображенията ще бъдат налични на всички платформи. Новите функционалности ще бъдат пускани постепенно за различни групи потребители, включително разработчици.

Гласовите възможности на изкуствения интелект позволяват водене на разговор в реално време – можете да разговаряте с него докато сте в движение, да поискате приказка за лека нощ или нещо друго.

Новата гласова възможност се захранва от нов модел текст-към-говор, способен да генерира звук, подобен на човешки, само от текст и няколко секунди примерна реч. OpenAI си сътрудничи с професионални гласови актьори, за да създаде всеки от гласовете. Компанията също така използва Whisper, своята система за разпознаване на реч с отворен код, за да транскрибира изговорените думи в текст.

По отношение на използването на изображения потребителите могат да покажат на ChatGPT едно или повече такива, както и да оградят конкретна част на снимката, за да попитат чатбота за нея.

От компанията предупреждават и за някои ограничения на модела. Така например той може да транскрибира много добре от английски език, но се представя лошо с някои други езици, особено ако не са от групата на романските езици. Съветът е потребителите, които не са англоезични да не използват модела за транскрибиране реч-текст.

„Ние също така предприехме технически мерки, за да ограничим значително способността на ChatGPT да анализира и прави директни изявления за хората, тъй като ChatGPT не винаги е точен и тези системи трябва да зачитат поверителността на хората. Използването в реалния свят и обратната връзка ще ни помогнат да направим тези предпазни мерки още по-добри, като същевременно запазим инструмента полезен.“, казват още от компанията.