Документация

Как это устроено

Коротко

AI MeshUp DJ состоит из четырёх частей: сервер готовит треки, планшет их играет, телефоны управляют и заказывают, сайт показывает вечер. Всё тяжёлое считается заранее на сервере, а планшет только воспроизводит готовое — поэтому слабая машина без вентилятора не срывается посреди вечера.

1 · Сервер готовит

  • разделение на 5 стемов
  • текст по словам
  • темп, ключ, жанр, настроение
  • световая программа под трек

2 · Планшет играет

  • 4 деки, MIDI/HID-контроллер
  • Auto DJ, авто-мэшап, Советник
  • свет по DMX
  • ничего тяжёлого не считает

3 · Люди и экраны

  • пульт DJ в телефоне
  • гости: текст и заказ по QR
  • певица: камера на ТВ
  • ТВ в зале, эфир и страница вечера

1. Сервер: готовит треки заранее

Сервер с видеокартой (Intel Xeon E5-2660 v4 — 14 ядер / 28 потоков, NVIDIA RTX 5060 Ti 16 ГБ) раскладывает треки на 5 стемов тремя нейросетями (MelBand RoFormer, Hybrid Demucs, DrumSep), считает сетку ударов, BPM, ключ, громкость и волну тем же кодом Mixxx, что и станция, определяет жанр и настроение по звуку, строит световые программы и достаёт время каждого слова текста. Результат — файлы рядом с треком: .vdjstems, .lyrics.json, .light.json.

2. Синхронизация: готовое едет на станцию

Новый трек — заказ гостя, ссылка из пульта или файл в папке — станция за ≈10 с добавляет в фонотеку и отдаёт серверу вне очереди. Готовые стемы, текст и анализ сервер возвращает сразу, а если станция выключена или в дороге — довозит, как только она появится в сети. Каждую ночь в 04:30 станция сверяется с сервером и убирает дубли. Сама она не считает ничего тяжёлого: ни стемов, ни волн, ни тональности.

3. Станция: играет и управляет

Планшет с форком Mixxx 2.6 в режиме киоска: 4 деки, эффекты, стемы, контроллер Pioneer DDJ-SX. Рядом работают службы: пульт и API, Советник (подбор следующего), свет по DMX, авто-мэшап, экран зала, бот заказов, сторож контроллера и звука.

4. Телефоны и экраны

DJ управляет с телефона по Wi-Fi, гости заказывают и смотрят текст в браузере по QR-коду, певица выходит на ТВ камерой телефона. ТВ в зале показывает текст, камеру или клип.

5. Сайт: показывает вечер

Звук станции идёт на сервер и на сайт прямым эфиром; после вечера лежит запись без тишины, ролики, фото и сет-лог на странице вечера.

Куда дальше

К оглавлению документации