Программа на Unity для распознавания мяуканья в реальном времени
Требуется написать программу на Unity под Android, которая будет читать звук с микрофона и в реальном времени определять, "слышит" ли она кошачье мяуканье.
Есть 2 разных датасета, можно использовать их, можно найти свой
Можно использовать 2 подхода:
1) Есть открытый проект, который позволяет использовать модели TenzerFlow Lite внутри Unity:
https://github.com/asus4/tf-lite-unity-sample
Соответственно, вы можете обучить модель отдельно и использовать её внутри Unity. Но проблема этого способа - получить спектрограмму звука с микрофона в таком же формате, как она получалась при обучении. Если решить это, то отлично, способ подходит.
2) Сделать нейросеть на C# внутри Unity, там же её обучить и использовать
Для этого способа уже есть проект - в нём реализована нейросеть, запись звука и разложение на спектограмму, однако желаемый результат не достигается. Возможно дело в реализации нейросети. Этот проект могу предоставить, как основу, или же вы можете сделать с нуля.
Основные направления такие. Если вы придумаете какой-то другой способ - без проблем, главное, чтобы решалась задача
Есть 2 разных датасета, можно использовать их, можно найти свой
Можно использовать 2 подхода:
1) Есть открытый проект, который позволяет использовать модели TenzerFlow Lite внутри Unity:
https://github.com/asus4/tf-lite-unity-sample
Соответственно, вы можете обучить модель отдельно и использовать её внутри Unity. Но проблема этого способа - получить спектрограмму звука с микрофона в таком же формате, как она получалась при обучении. Если решить это, то отлично, способ подходит.
2) Сделать нейросеть на C# внутри Unity, там же её обучить и использовать
Для этого способа уже есть проект - в нём реализована нейросеть, запись звука и разложение на спектограмму, однако желаемый результат не достигается. Возможно дело в реализации нейросети. Этот проект могу предоставить, как основу, или же вы можете сделать с нуля.
Основные направления такие. Если вы придумаете какой-то другой способ - без проблем, главное, чтобы решалась задача