Предиктивная аналитика на bigdata
Имеется промышленное оборудование, которое состоит из 5000 датчиков и устройств. Среди них есть контроллеры, которые фиксируют внештатные ситуации (поломка оборудования, выходы датчиков из строя, фиксируют случившиеся аварии и тд).
Датчики и устройства отправляют данные по очереди. Т.е. данные идут непрерывным потоком примерно от 100 до 1000 сигналов в секунду в зависимости от времени суток, формируя длинный временной ряд. Суточный объем данных временного ряда примерно 1Gb.
В поток записываются всё, что происходит на оборудовании, в т.ч. аварийные ситуации. Аварийных ситуаций несколько типов.
В приложении файл с алгоритмом формирования размеченного датасета для обучения модели классификации аварии.
Необходимо:
- Посмотреть и понять алгоритм подготовки датасета, который приложен в файле.
- Доработать или разработать новый алгоритм
- Из потока подготовить датасет для обучения модели
Датчики и устройства отправляют данные по очереди. Т.е. данные идут непрерывным потоком примерно от 100 до 1000 сигналов в секунду в зависимости от времени суток, формируя длинный временной ряд. Суточный объем данных временного ряда примерно 1Gb.
В поток записываются всё, что происходит на оборудовании, в т.ч. аварийные ситуации. Аварийных ситуаций несколько типов.
В приложении файл с алгоритмом формирования размеченного датасета для обучения модели классификации аварии.
Необходимо:
- Посмотреть и понять алгоритм подготовки датасета, который приложен в файле.
- Доработать или разработать новый алгоритм
- Из потока подготовить датасет для обучения модели