Тамагочи по новому или свой искусственный интеллект в кармане.Сяочжи, Xiaozhi на основе ESP32, разборка, настройка

Узнал что есть проект с открытым исходным кодом, в котором можно использовать искуственный интеллект в носимом устройстве. То есть типа алисы в кармане. При этом, в отличие от алисы, маруси и прочих, этот ИИ можно настроить по своему усмотрению — задать ему промт, кем он будет, какая роль — друг, учитель английского, девушка-подружка и прочие. Любые, которые позволит фантазия и которые пропустит ограничения выбранной модели ИИ. На данный момент можно использовать модели языка: Qwen3, DeepSeek V3.1, Doubao Seed V1.6. И я видел Kimi K2, но сейчас ее нет в списке достуапных. Это чатбот, который распознает вашу речь, преобразует ее в текст, модель ИИ обрабатывает его, возвращает текстовый ответ и снова преобразуется в речь, которую умная коробка озвучивает. То есть с ней можно просто говорить, так же как с алисой и аналогами. На данный момент поддерживаются языки — китайский, японский, английский, французский, польский, украинский, русский и другие. Возможно обучение своего ИИ на основе своего (или чужого) голоса, он может распознавать тех, кто говорит, можно задать слово для пробуждения тамагочи или пробуждать его кнопкой и т. д. Можно подключать к умному дому — про это 00svd00 делал обзор.

Я покупал готовое устройство на алике. Стоит около 20$ для РБ (с НДС и доставкой), это примерно 1000 руб для РФ.
Есть такие-же варианты на озоне или wildberries рублей по 800 с доставкой из Китая, но они не доставляются в РБ.
1. www.wildberries.ru/catalog/632188779/detail.aspx
2. https://www.ozon.ru/product/umnaya-kolonka-robot-dlya-xiaozhi-ai-voice-chat-s-esp32-wi-fi-usb-fioletovaya-3216937425
3. https://www.ozon.ru/product/komplekt-zhk-displeya-xiaozhi-ai-voice-chat-esp32-s1-54-devkitc-1-3198459990

Есть много вариантов этого проекта: можно купить только плату, плату с экраном, плату с болшим сенсорным экраном, с сенсорным экраном и камерой и много много других. Есть много варинтов готовых, собранных изделий с корпусами — круглых, квадратных, прямоугольных.
Здесь поисковый запрос на озон с сортировкой по возрастанию цены.
Это один из самых дешевых вариантов, готовых комплектов в корпусе, с экраном, аккумулятором и динамиком. Комплектация — короткий провод для зарядки, наклейка с QR кодом, где есть информация по настройке, и само устройство.
Бумажка напечатана плохо или напечатана давно, еле-еле видна. QR код я прочитал после плясок с бубном. Ссылка ведет на инструкцию по настройке этого устройства:
h5.clewm.net/?url=qr61.cn%2FoZSr5K%2FqjdWnzw&lid=f5hnmmcrslwt50ug4&rlid=f5hnmmcrslwt50ug4
Корпус распечатан на 3D принтере. Вроде корпус неплохой, на передней и задней стенке есть шагрень. Три кнопки сверху, одна сбоку. Внутри корпуса в комплекте был высохший червяк.
Микрофон распаян на плате в левой верхней части. Так же на плате есть микросхема контроля зарядки литиевого аккмулятора со светодиодом. Внизу в разъем подключен аккумулятор, вверху динамик. В верхней левой части красная антенна и разъем для внешней антенны. По центру есть разъем для карты памяти microSD.
На обратной стороне есть только 1,54-дюймовый цветной дисплей.
Плата построена вокруг ESP32-S3 N16R8. Слева от нее красная антенна wi-fi/
Память 25Q128JVSQ на 16 мегабайт.
FMD A30K5m скорее всего два транзистора, выше этой микруки как раз разъем на динамик, ниже скорее всего микросхема аудиоусилителя от MAX с маркировкой +AKM 044
Плоский динамик и аккумулятор отдельно.

На плате была сломана средняя кнопка BOOT и повреждена другая. Видимо кнопку повредили, когда плату запихивали в корпус. Кнопку починил.

Включаю устройство кнопкой сбоку. Болтает по китайски, на экране такая надпись:
(перевод — подключитесь к точке доступа на мобильном телефоне)
Нахожу эту сеть wi-fi с именем Xiaozhi-5EED (у каждого устройства она своя) и ввожу адрес, указанный на экране устройства: 192.168.4.1 Появляется веб страница со списком сетей, которые видит устройство. Страница на китайском, справа можно выбрать английский, но это совсем не очевидно. Нужно выбрать вашу домашнюю сеть wi-fi и ввести ее пароль, чтоб устройство могло подключиться к ней.
Устройство работает только с сетями 2.4ГГц, с 5ГГц не работает.


Тамагочи перезагрузился и подключился к сети wi-fi. При загрузке показывал версию прошивки 1.8.5
Тамагочи пробуждается при нажатии верхней кнопки, две кнопки рядом уменьшают и увеличивают громкость. Кнопка сбоку выключает или перезагружает устройство.
Далее нужно зайти на сайт проекта, зарегистрироваться и добавить это устройство в аккаунт. Для этого нужно выведать у тамагочи 6-значный код подключения.
С компьютера захожу на xiaozhi.me/console/agents
Прохожу там регистрацию. Нужно выбрать страну, на номер телефона придет уведомление.
Есть Россия, Казахстан, Украина, Беларусь и много других.
После регистрации по умолчанию вроде уже был один агент, но можно без проблем добавить или удалить еще одного агента. Добавление агента скрывается под стрелкой слева вверху.
На фото ниже слева агент с именем Тамагочи, модель ИИ — DeepSeek, выбран женский голос озвучки.
Справа агент с именем test, модель ИИ — Qwen, голос озвучки Stella.
Для настройки агента нужно нажать на Gonfigure Role. Картинка ниже переведена гугл переводчиком с китайского. Там половина на китайском, половина на английском.
В верхней части есть 5 готовых ролей. Например, если выбрать роль «репетитор английского языка», то в окне «введение в роль» появится текст на китайском. Гугл переводчик не перевел текст в окне, поэтому привожу перевод тут:

Меня зовут {{assistant_name}} (Лили). Я говорю на китайском и английском языках со стандартным произношением.
Если у вас нет английского имени, я вам его дам.
Я свободно говорю на американском английском и помогу вам практиковать разговорный английский.
Я буду использовать простую английскую лексику и грамматику, чтобы вам было легче учиться.
Я буду отвечать вам на смеси китайского и английского, но могу отвечать полностью на английском, если вам удобнее.
Я буду отвечать кратко и с минимальными затратами, так как хочу научить своих учеников больше говорить и практиковаться.
Я откажусь отвечать на вопросы, не связанные с изучением английского языка.

Ниже можно выбрать модель языка и прочие параметры.
То есть по сути эти 5 ролей это просто несколько готовых промптов для ИИ, можно и нужно их корректировать и писать свои. Например, в промпте выше я бы исправил «Я буду отвечать вам на смеси китайского и английского» на «Я буду отвечать вам на смеси русского и английского» — зачем мне китайский? То есть можно гибко конфигурировать агента. Например, если агент создается для устройства, которым будет пользоваться ребенок, то можно обозначить в нем список тем, на которые ИИ не даст ответа.
Если нажать кнопку «Оптимизация ИИ» справа от окна промпта, то текст увеличивается раза в три, обрастает подробностями, которые тоже можно редактировать под свои нужды.
В этом же окне есть выбор языка диалога и озвучка этого языка. Озвучку можно тут же прослушать. Языки есть китайский, английский, французский, испанский, русский, корейский, итальянский, португальский, немецкий, польский и прочие. Русский есть, белорусского, казахского, украинского пока нет.
Для английского есть 13 вариантов озвучки, для русского 5 вариантов. Все можно прослушать.

Далее нужно связать этого агента с моим устройством. Для этого на странице агентов нужно нажать «Add device» и страница спрашивает 6-значный код. Этот код нужно узнать у устройства.
В инструкции, которую я открыл по QR коду, написано, что код должен быть на экране устройства при его загрузке или же код можно получить, сказав ему фразу «Привет, Xiaozhi».
При загрузке устройства код не появляется, фразу «Привет, Xiaozhi» я говорил сам, потом скармливал ее гугл переводчику и он ее говорил на анлийском Hello Xiaozhi, на китайском 你好小智 и все равно не удалось выпытать код их этого шпиона. Точне шпионки, потому что голос озвучки стоит женский.
У него есть разные варианты анимации лица в зависимости от состояния и текста, который он проговаривает.

Я написал продавцу вопрос, как можно узнать код устройства и пока стал разбалтывать этого тамагочи. Я попросил его говорить по английски и она почти согласилась. То есть иногда она переходила на китайский, но после моей просьбы, снова говорила по английски. Простыми командами типа «Volume up» «Maximum volume» «Daytime screen», «night time screen»можно управлять звуком, так же можно управлять яркостью, включать ночную и дневную тему и так далее. Общение с голосовыми командами можно услышать и увидеть на видео ниже.


На видео ниже я попросил ее побыть преподавателем английского языка и удалось с ней немного поговорить. Фрагмент разговора можно увидеть на видео ниже.


В этой коробке аккумулятор всего на 500мАч, половина заряда ушла за время тестрирования. Я решил зарядить его до конца чтоб проверить время автономной работы. Поставил на заряд на ночь, утром аккумулятор был полностью заряжен, но тамагочи не включался.
Снова разоборал его, аккумулятор 4.17В, но на контрольной точке 3.3 вольта на плате напряжение равно нолю. Подал на эту точку 3.3 вольта с ЛБП с ограничением тока 100мА — напряжение на ЛБП сильно просело. Включил тепловизор и стал поднимать ток — увидел, что греется сам ESP32.
То есть что-то пошло не так, проц сгорел и просадил напряжение питания 3.3 в ноль.

В общем интересное устройство. Позволяет вести диалоги на разных языках, отвечает быстро и остроумно. Проблема с 6-значным кодом на экране может быть решена прошивкой устройства с ноля, скорее всего в других версиях прошивки этот код показывается на экране при запуске. Тем более, что у меня была версия 1.8.5, а уже есть 2 версия прошивки.
Можно прикрутить к нему управление умным домом и просто давать команды на исполняющие устройства, можно создать собственный сервер с ИИ и рабоать с ним, можно прошить эту плату ESP32 прошивкой с других проектов, можно купить другую плату с большим экраном, поставить больший аккумлуятор, подключить камеру и многое другое. На основе этой платы и с этим проектом есть корпуса в виде часов на руку, в виде медальона на шею, в виде разных фигурок, вариантов море.
Возможно перепаяю сам процессор ESP32 на этой плате и прошью с ноля на xiaozhi.
В настройках агента можно добавить распознавание говорящего (то есть может узнавать хозяина и его друзей), можно задать фразу для пробуждения, чтоб не нажимать кнопку, можно сделать клон голоса — чтоб тамагочи говорил вашим голосом или голосом знакомого или голосом знаменитости.
Многие возможности можно попробовать и без устройства, зарегистрировавшишь на сайте xiaozhi.me
Страница проекта с описанием и прошивками на гитхаб: github.com/78/xiaozhi-esp32
Открыл спор по дефекту товара — не работает, вернул большую часть денег.
Я заказал другие платы для реализации этого проекта, продолжение следует…