Бодрая или спокойная: управляем эмоциями Алисы
Когда вы включаете или запускаете лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом. Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской. Мы обучили этому навыку Алису с помощью той же разметки подсказок, которую применили для стилей.
У языка есть интересное свойство — , или набор элементов, которые не выражаются словами. Это особенности произношения, интенсивность, придыхание и так далее. Один текст можно произнести со множеством смыслов. Как и в случае со стилями речи, можно, например, выделить кластеры «веселая Алиса», «злая Алиса» и так далее.
Поскольку стилевой механизм отделяет просодию («как говорим») от артикуляции («что говорим»), то новую эмоцию можно получить буквально из пары часов данных. По сути, нейросети нужно только выучить стиль, а информацию о том, как читать сочетания фонем, она возьмёт из остального корпуса.
Прямо сейчас доступны три эмоции. Например, часть пользователей утреннего шоу Алисы слышат бодрую эмоцию. Кроме того, её можно услышать, спросив Алису «Кем ты работаешь?» или «Какую музыку ты любишь?». Флегматичная эмоция пригодилась для перевода видео — оказалось, что голос по умолчанию слишком игривый для этой задачи. Наконец, радостная эмоция нужна для ответов Алисы на специфические запросы вроде «Давай дружить» и «Орёл или решка?». Ещё есть негативная эмоция, которую пока не знаем, как использовать — сложно представить ситуацию, когда людям понравится, что на них ругается робот.
Первый корпус эмоций мы записали ещё при WaveGlow, но результат нас не устроил и выкатывать его не стали. С переходом на HiFi-GAN стало понятно, что он хорошо работает с эмоциями, это позволило запустить полноценный эмоциональный синтез.
Наконец, мы решили внедрить шёпот. Когда люди обращаются к Алисе шёпотом, она должна и отвечать шёпотом — это делает её человечнее. При этом шёпот — не просто тихая речь, там слова произносятся без использования голосовых связок. Спектр звука получается совсем другим.
С одной стороны, это упрощает детекцию шёпота: по «картинке» мел-спектрограммы можно понять, где заканчивается обычная речь и начинается шепот. С другой стороны, это усложняет синтез шёпота: привычные механизмы обработки и подготовки речи перестают работать. Поэтому шёпотный синтез нельзя получить детерминированным преобразованием сигнала из речи.
Так выглядят мел-спектрограммы обычной речи и шёпота при произнесении одной и той же фразы:
Так звучит обычная речь:
А так — шёпот:
Сначала мы научили Алису понимать шёпот. Для этого обучили нейросеть различать спектры звука для обычного голоса и шёпота. Система смотрит на спектр звука и решает, когда говорят шёпотом, а когда — голосом.
В процессе обучения оказалось, что спектры шёпота и речи курильщиков похожи, так что пришлось научить нейросеть их различать. Для этого собрали больше пограничных данных с речью курильщиков и простуженных людей и донастроили нейросеть на них.
Чтобы научить Алису говорить шёпотом, мы записали несколько часов шёпота речи в исполнении Татьяны Шитовой. Сложности начались уже на предобработке данных: наш VAD (детектор тишины в речи) сломался на шёпотных гласных — трудно отличить сказанное шёпотом «а!» от обычного громкого вздоха. Починить его удалось, только совместив признаки энергии сигнала и данные от распознавания речи, при этом под шёпот конструкцию пришлось калибровать отдельно.
Затем записанные данные добавили в обучающий корпус акустической модели. Мы решили рассматривать шёпот как еще один «стиль» речи или, в терминах нашего синтеза, «эмоцию». Добавив данные в трейнсет, мы дали акустической модели на вход дополнительную информацию — шёпот или эмоцию она сейчас проигрывает. По этому входу модель научилась по команде пользователя переключаться между генерацией речи и шёпота.
Сгенерированный шёпот по качеству не отличался от обычной речи. По нашей метрике PSER (Pronunciation Sentence Error Rate — средняя доля ошибок произношения в предложении) он оказался даже лучше. Оказалось, что ряд ошибок интонации в шёпотной речи были значительно менее ярко выражены.
Этот голос будет полезен при общении с Алисой ночью, чтобы не мешать близким. Можно задавать вопросы тихим голосом и Алиса будет отвечать шёпотом. Кроме того, такой стиль ещё и звучит очень приятно — поклонники ASMR оценят.
Послушайте, как шепчет Алиса:
На этом мы не останавливаемся — в планах дальнейшее развитие голосового синтеза, добавление новых стилей и эмоций. Обязательно продолжим рассказывать о том, как Алиса учится говорить по-человечески.
iOS (айфон)
Аналогичное приложение для айфонов носит название Reversee. С его помощью есть возможность загрузить картинки теми же способами, что и для поисковых систем. При этом можно изменять размеры, разрешение изображений. Выводимые результаты поиска можно хранить в буфере памяти, отправлять по почте, обрабатывать доступными способами.
Поиск картинок на агрегаторах изображений и фотобанках. Какие фото с таких банков не нарушают права на интеллектуальную собственность
Постоянно возникающие споры об интеллектуальной собственности не обошли и собственность на изображения. Использование картинок с развитием интернета приобрело колоссальный размах. Часто загружаемые фото не проходят проверки на авторство и лицензионную чистоту, что порождает конфликты и судебные разбирательства.
Чтобы избежать неприятностей, осуществлять поиск картинок лучше с учетом их лицензионной чистоты. Она может быть платной и бесплатной. К лицензионно чистым относятся картинки, авторы которых не претендуют на свое авторское право. Для подбора бесплатных рисунков создаются сайты агрегаторы с подборками стоковых бесплатных картинок, где можно подобрать необходимое изображение. К наиболее популярным фотостокам можно отнести: Free Stock Images, Depositphotos, Pixabuy. Для желающих получить авторское фото, не имеющее хождение в интернете, имеются в фотобанки. На этих сайтах авторы выставляют на продажу свои работы. Использование надежных сайтов позволяет получить изображения без посягательств на авторские права и интеллектуальную собственность.
Яндекс-продукты
Самый простой поиск по картинке с телефона – это использование приложений от Яндекса. Это может быть фирменный Браузер или приложение, объединяющее внутри себя несколько многофункциональных сервисов (погода, Алиса, браузер и другие). При его использовании для поиска следует выполнить следующие действия:
Если приложение еще не установлено, то первое, что нужно сделать – скачать приложение «Яндекс» на свой телефон. Для этого достаточно открыть магазин с приложениями и вписать в строчку «Яндекс». Среди всех вариаций можно выбрать приложение Yandex с Алисой или Yandex Бета
При этом не особо важно, каким будет устанавливаемое приложение, потому как разница между этими программами будет незначительной. Следующий шаг – запуск программы
Сверху рабочего экрана приложения будет поисковая строка, возле которого будет иконка, изображающая фотоаппарат, совмещенный с лупой. Нажать необходимо именно на нее. После нажатия приложение Яндекс запросит у владельца смартфона разрешение на неограниченный доступ к камере, а также к фотографиям и галерее гаджета. Необходимо дать свое разрешение. После этого пользователь сможет сфотографировать любой приглянувшийся ему объект, просто нажат на круг желтого цвета, расположенный в нижней части рабочей области. Если же нужно найти ту картинку или фотографию, которая уже есть на телефоне, следует выполнить поиск по фотографии, находящейся в Галерее. Для этого нужно нажать на иконку, выполненную в виде 4-ех квадратов. Эта иконка находится в левой нижней части рабочего экрана.
В том случае, если пользователь захочет найти фотографию из телефона, программа предложит ему несколько разных вариантов того, откуда стоит выгружать фотографию. К примеру, это может быть Гугл.Диск, память устройства или какое-либо другое место. Можно выбрать самый приемлемый вариант.
После этого останется лишь дождаться того момента, когда поиск будет завершен. Потом приложение самостоятельно подберет все похожие или аналогичные фотографии. Также поисковая система подберет похожие на искомую картинки, сайты и теги, если вдруг обнаружит, что что-то похожее есть на каких-нибудь сайтах.
В каких случаях нужен поиск по картинке в Гугл (Google) и Яндекс
Этот вопрос частично рассматривался во вступлении, но из-за своей масштабности требует более тщательного изучения. Итак, почему же люди осуществляют поиск по картинке в Гугл, Яндекс и других поисковых системах? Причин несколько:
- Поиск оригиналов изображений. Иногда пользователи находят на любимых сайтах картинки в плохом качестве, поэтому начинают искать по картинкам их оригиналы, чтобы получить в личное пользование изображения в наилучшем качестве и наибольшем разрешении. А еще оригиналы иногда ищут, чтобы узнать имена авторов или названия правообладателей понравившихся фотографий.
- Уточнение информации об объектах на картинках. Иногда пользователи находят фотографии и интересуются, что конкретно там изображено. К примеру, поиск по изображению актуален при попытках определения вида или названия какого-либо инструмента, марки автомобиля, названия организации (по ее логотипу). В этих случаях поиск по картинке в Гугл помогает найти желаемую информацию практически мгновенно – без необходимости выполнения альтернативного поиска с помощью ввода текстового описания объектов, представленных на изображении.
- Поиск похожих изображений. Часто бывает, что пользователю нравится картинка и он хочет найти фото в интернете с похожим содержанием. При таком раскладе поиск Гугл картинки по фото становится самым простым и быстрым решением. На практике поиск по изображению почти всегда занимает считанные секунды, а результаты в подавляющем большинстве случаев соответствуют запросам пользователя.
Во всех этих ситуациях поиск по картинке в Google и Яндекс позволяет людям экономить немало времени, а главное, находить требуемую информацию почти со 100%-ной вероятностью. Главное – знать, как искать по картинке в интернете. Впрочем, именно об этом мы в следующих разделах и расскажем.
Поиск с телефона в Яндексе по поисковым словам
Для поиска фото в Яндексе с мобильного не обязательно иметь фотографию нужного вам объекта. Яндекс также позволяет искать фото по ключевым словам с телефона. Например, «белый пушистый кот», «маленький пудель», «волны океана» и другое.
Для выполнения такого поиска необходимо сделать следующее:
- Перейдите на сервис Яндекс.Картинки;
- В поисковой строке наберите ключевые слова для поиска, например «белый персидский кот», после чего нажмите на кнопку «Найти»;
-
Просмотрите найденные результаты;
- Чтобы открыть какое-либо понравившееся изображение на весь экран, дважды тапните на него;
- Для сохранения изображения выполните продолжительное нажатие на него, и нажмите на пункт «Сохранить изображение».
Возможности сервиса поиска изображений
Открыть изображение в большом размере. Чтобы открыть снимок в увеличенном размере, просто нажмите на него.
А если хотите загрузить его в отдельном окне, нажмите еще раз.
Открыть источник. Чтобы перейти на сайт, где было опубликовано изображение, нажмите на название картинки или адрес под ней.
В новой вкладке откроется сайт-источник.
Скачать на телефон. Сохранить снимок можно двумя способами:
- Через Яндекс
- С оригинального сайта (источника)
В первом случае изображение не всегда закачивается в хорошем качестве. А во втором зачастую можно выбрать размер.
Для загрузки через Яндекс нажимаем на кнопку «Скачать» под снимком.
Изображение откроется в новом окне. Нажимаем на него и удерживаем палец, пока не появится меню. Из списка выбираем пункт «Скачать изображение». После этого картинка запишется в галерею телефона.
Для загрузки с оригинального сайта нужно сначала на него перейти. Для этого нажать по названию снимка или по адресу сайта, написанного под ним.
В моем случае открылся сайт бесплатных картинок. Здесь есть возможность скачать снимок в разных размерах. Для этого нажимаю на кнопку «Бесплатная Загрузка». Затем выбираю размер и нажимаю «Скачать».
Снимок запишется в галерею телефона.
Изменить изображение. У сервиса есть встроенный редактор, при помощи которого можно внести небольшие правки.
1. Нажмите на кнопку «Редактор» под снимком.
2. Откроется увеличенное изображение, а под ним инструменты для редактирования.
3. Обработайте картинку и нажмите на кнопку «Готово».
4. Выберите пункт «Скачать» и изображение загрузится в галерею.
Появится меню с иконками социальных сетей. Через них можно опубликовать снимок на своей странице или отправить личным сообщением другу.
Добавить в коллекцию. Кнопка «В коллекцию» позволяет добавить изображение в папку «Мои коллекции/Мои картинки» в главном меню. Это что-то вроде закладок.
Найти похожие изображения. Кнопка «Похожие» загрузит подобные снимки (копии).
Фильтры
Фильтры помогают уточнить поиск, отсортировать результаты. Чтобы это сделать, нажмите на пункт «Фильтры» вверху.
Откроется панель, через которую можно выбрать параметры.
Например, если нажать на «Рисунки» загрузятся только рисованные картинки.
А кнопка «Белый фон» показывает только изображения на белом фоне.
Расширенные фильтры. Если настроек недостаточно, то можно открыть полную версию фильтров. Для этого нужно переключить мобильный браузер в компьютерный вид.
1. Нажмите на значок «три точки» в верхнем углу программы.
2. В окошке выберите «Версия для ПК».
3. Для отображения настроек нажмите на пункт «Показать фильтры» в правом углу.
Размер. Сортирует картинки по размеру. Можно выбрать большой, средний, маленький, или указать определенное значение.
Ориентация. Настраивает вид страницы: горизонтальный, вертикальный или квадратный.
Тип. Здесь можно выбрать, какие именно картинки будут показаны: с белым фоном, лица, рисунки и чертежи и др.
Цвет. Можно выбрать цветные, черно-белые или изображения в определенных тонах.
Файл. Задает фильтр по расширению (формату файла):
- JPEG — использует сжатие с потерями и не поддерживает прозрачность.
- PNG — поддерживает полноцветные изображения с сохранением прозрачности.
- GIF — это живые анимированные картинки.
Ещё. Через этот пункт можно указать дополнительные настройки: товары, свежие, обои.
Сбросить. Удаление всех назначенных фильтров.
Как найти человека по фотографии онлайн
4. TinEye
Обратный поиск изображений TinEye работает практически как Google. Сайт добавляет миллионы новых картинок с сети ежедневно, предоставляя довольно обширные результаты.
Вы можете загрузить фотографию или вставить адрес картинки и начать поиск. TinEye не поддерживает других операторов поиска, делая его более простым.
Как и в случае с другими системами, TinEye выдает все сайты, где было обнаружено изображение.
-
Зайдите на
-
Нажмите на значок стрелки слева в строке поиска, чтобы загрузить фотографию с компьютера или мобильного устройства.
-
Для поиска по адресу страницы, скопируйте и вставьте его в строку поиска.
-
Также вы можете перетащить картинку в строку поиска TinEye
В результатах вы получите, сколько раз изображение встречается в сети, а также ссылки на сайты, где оно было обнаружено.
5. PimEyes
Так же, как в обратном поиске изображений Google, PimEyes использует фотографии и распознавание лиц для поиска похожих лиц в более, чем 10 миллионах сайтов.
Например, вы можете искать лицо Джениффер Анистон, используя 4 разные фотографии сразу. PimEyes найдет исходные фотографии, а также другие снимки Анистон.
Интересно, что хотя приложение находит исходную фотографию, используемую для поиска, похожесть не всегда бывает приближенной к 100 процентам.
Сервис является платным, но учитывая сомнительные результаты, лучше воспользоваться другими программами.
6. Betaface
Betaface предлагает поисковую систему распознавания лиц похожую на ту, что есть на PicTriev. Вы загружаете изображение или отправляете URL изображения, и поисковик выделяет все лица, которые он может обнаружить на фотографии.
Затем вы сравниваете лица ( с другими загруженными изображениями), можете искать знаменитостей или Wikipedia для каждого обнаруженного лица. Результаты появятся в таблице совпадений.
Этот инструмент очень полезен для загрузки и сравнивания фотографий в большом объеме.
Кроме классификации лиц на основе более 100 лицевых характеристик, вы также можете включить расширенные геометрические и цветовые измерения, а также функцию “только лучшее лицо”. Оба из них замедляют обработку, но улучшат качество ваших совпадений.
7. FindFace
Новый сервис поиска людей по фотографии в социальной сети был запущен в 2016 году. Он позволял находить страницу человека, сравнивая фотографии со снимками на странице социальной сети и выясняя его личность с точностью до 60-70 процентов.
Вы могли сфотографировать случайного человека на улице, загрузить его в приложение и найти его страницу в Вконтакте.
Однако с сентября 2018 года этот сервис перестал работать.
8. Find Clone
Этот сервис, аналогичный FindFace, был открыт в 2019 году и помогает искать людей по фотографии в социальной сети ВКонтакте.
Вам нужен номер телефона, чтобы зарегистрироваться и создать аккаунт в FindClone, который предоставляет около 30 бесплатных запросов за определенное количество дней.
После этого вы можете загрузить фотографию и начать поиск. В результате вы получите страницу человека с фотографии, а также похожих на него людей.
Как улучшить нейросеть
Каждый следующий слой сети — результат математических операций с наборами предыдущего слоя. В определённый момент числа из наборов перемножаются. Умножение — более ресурсоёмкая операция, чем, например, сложение. Понятно, что решить задачу вида «2 x 2 = ?» несложно ни для человека, ни для простейшего калькулятора. Но когда каждую секунду нужно перемножать тысячи чисел, справится не всякий процессор. Напомним, что мы не хотим отправлять данные для обработки на мощные серверы через интернет: сотовая сеть доступна не всегда, скорость часто оставляет желать лучшего, а устройство с Алисой должно реагировать на голос одинаково быстро, вне зависимости от каких-либо факторов
Важно, чтобы процессор самого девайса (возможно, недорогого смартфона) справился с алгоритмом и не потратил на обработку слишком много ресурсов. Иначе аккумулятор устройства быстро разрядится
Вывод: лучше снизить количество умножений чисел в нейронной сети.
Модель, которая раньше применялась в Алисе, работала хорошо. Однако она была более ресурсозатратной по сравнению с новой версией, которую Алексей сейчас адаптирует под разные девайсы. Идея улучшения в том, чтобы нейросеть использовала результаты умножения одних и тех же фреймов при обработке нескольких фрагментов речи:
Раньше умножения для каждого фрагмента производились независимо, их общее число было больше. Теперь оно снизилось. Такая схема потребовала изменений в методе формирования слоёв нейросети, однако каждый следующий слой по-прежнему является результатом математических операций с предыдущим слоем.
— Нейроны и слои
Нейронные сети в IT — это программы, первые создатели которых вдохновлялись строением органических нейросетей. В спинном и головном мозге людей и животных нейроны расположены слоями и обмениваются импульсами. Точно так же и компьютерная модель передаёт числовые данные с одного слоя на другой, попутно применяя к ним математические операции. Цель — подготовить данные для дальнейшей обработки. Нейронами, в свою очередь, называют наборы данных. Система понятий, взятая из анатомии, просто определяет порядок работы алгоритма.
Как найти по картинке в Яндексе
Яндекс – это известнейшая российская ИТ-компания, которая является разработчиком популярной поисковой системы Yandex Search, а также различного программного обеспечения. Многим отечественным пользователям пришла по вкусу созданная ими поисковая система. Ведь по факту, Yandex поиск – это прямой конкурент Google Search, при этом имеет более обширный функционал для граждан Российской Федерации (подвязка аккаунтов, совершение транзакций и т.д.). Что касается поиска картинок по фото, то у Яндекса также присутствует данный функционал. При этом воспользоваться им намного проще, чем может показаться на первый взгляд.
Как с компьютера найти фото по картинке Яндекс
Основных способов два. Первый заключается в использовании функционала браузера. Например, Вы пользуетесь Microsoft Edge. Увидели красивую картинку на сайте и хотите найти ее в большем формате или просто отыскать схожие варианты. Для этого стоит кликнуть правой кнопкой мыши по изображению и во всплывающем меню выбрать «Поиск изображений в Интернете». В новой вкладке откроется раздел Яндекс картинки, с поиском выбранного изображения, а также вариантами разрешения, тегами и похожими запросами. Однако таким способом Вы не сможете отыскать изображение, которое находится на компьютере (разве только загрузить его на какой-то сайт или в соцсеть).
Другой вариант поиска по изображению в Yandex состоит из следующих этапов:
- откройте главную страницу Яндекс поиска;
- кликните по вкладке «Картинки»;
- перейдите на открывшуюся вкладку с изображениями;
- нажмите на значок фотоаппарата, находящегося в строке поиска;
- выберите источник загрузки изображения (проводник, буфер, ссылка);
- выберите картинку для поиска и дождитесь ее обработки сервисами Яндекс.
Поиск будет выполнен автоматически. Откроется страница с искомой картинкой, похожими изображениями, ключевыми запросами и вариациями размеров. Если на этапе выбора источника у Вас появится окно буфера обмена, то нажмите на перекрестие и выберите один из предлагаемых вариантов (закрыть окно или больше не показывать). Кроме того, если Вы хотите найти какой-то конкретный элемент изображения, то под картинкой нажмите кнопку выбрать фрагмент. Укажите нужный элемент и дождитесь, пока поисковик сформирует выдачу, соответствующую запросу.
Как на Яндекс найти по картинке с телефона
Яндекс поиск по картинкам работает со смартфона также хорошо, как и с компьютера. При этом делается все фактически идентично. Откройте в мобильном браузере главную страницу Yandex Search. Перейдите на вкладку картинки и нажмите на ярлык фотоаппарата, находящегося рядом со строкой поиска. В открывшемся окне Вам предложат выбрать уже имеющуюся картинку на смартфоне, сделать новою при помощи камеры, либо выбрать из конкретного приложения (например с облака). Выберите фото и дождитесь, пока система осуществит поиск. Как только поиск по картинке будет выполнен, Вы сможете просмотреть похожие изображения, а также выполнить поиск по объекту, нажав на специальную кнопку в форме круга, которая будет находиться прямо на изображении.