🧪 Neue Tutorials in Arbeit — vom Roboterarm bis zum Sensor
Zum Inhalt springen

ESP32-NanoCam Handbuch zum seriellen Protokoll

Im Shop kaufen

Baudrate: 115200 | Datenbits: 8 | Parität: keine | Stoppbits: 1 | Flusskontrolle: keine

Kompatibel mit dem AT-Befehlssatz gängiger Kameramodule; zusätzlich NanoCam-Erweiterungsbefehle.

1. Allgemeine Regeln

  • Befehle sind nicht case-sensitiv (STA_SSID = sta_ssid)
  • Nach dem Befehl muss ein beliebiges ASCII-Satzzeichen (, . : ; usw.) als Abschluss folgen
  • Einige Befehle lösen nach der Änderung einen automatischen Neustart aus
  • Jeder Befehl endet mit \r\n (Seriell-Terminals fügen dies meist automatisch hinzu)

2. WiFi-Konfiguration

STA-Modus (Verbindung mit Router)

BefehlBeschreibungBeispielRückgabe
sta_ssid:名称WiFi-Namen festlegensta_ssid:MyWiFiOK
sta_pd:密码WiFi-Passwort festlegen (Neustart nach Änderung)sta_pd:12345678OK (Neustart)

WiFi-Name und -Passwort: maximal 30 Zeichen, keine chinesischen Zeichen.

AP-Modus (eigener Hotspot)

BefehlBeschreibungBeispielRückgabe
ap_ssid:名称Hotspot-Namen festlegenap_ssid:NanoCam-APOK
ap_pd:密码Hotspot-Passwort festlegen (Neustart nach Änderung)ap_pd:12345678OK (Neustart)

WiFi-Modus

BefehlBeschreibungParameterRückgabe
wifi_mode:XModus wechseln0=AP 1=STA 2=AP+STAOK (Neustart bei Änderung)

3. KI-Moduswechsel

BefehlModusBeschreibungNeustart
ai_mode:0NormalMJPEG-Videoübertragung, ohne KI
ai_mode:1Katzengesicht-ErkennungEchtzeit-Rahmen um Katzengesicht + Konfidenz
ai_mode:2GesichtsdetektionEchtzeit-Rahmen um Gesicht + Koordinaten
ai_mode:3FarberkennungAuswahl einrahmen→Echtzeiterkennung
ai_mode:4GesichtserkennungRegistrieren→Identifizieren→Löschen
ai_mode:5QR-CodeEchtzeit-Dekodierung→serielle Ausgabe
ai_mode:6LLM-AgentXiaoZhi-AI-Sprachdialog + KI-Vision
ai_mode:7ESP-ClawSprachsteuerung + Foto-/Bildanalyse + OpenAI Vision

Gültige Werte für ai_mode: 0-7. Außerhalb des Bereichs wird standardmäßig auf 0 gesetzt. Nach der Änderung erfolgt ein automatischer Neustart; danach ist der neue Modus aktiv.

4. Abfragen

BefehlBeschreibungRückgabebeispiel
sta_ipSTA-IP abfragensta_ip:192.168.1.100
ap_ipAP-IP abfragenap_ip:192.168.4.1
wifi_verFirmware-Version abfragenNanoCam Board Ver:0.2.0

5. Systemsteuerung

BefehlBeschreibungRückgabe
wifi_resetWerkseinstellungen wiederherstellen (Neustart)Reset_OK
nano_rebootSoftware-ResetRebooting...
nano_infoVollständige Geräteinformationen (JSON)siehe unten

nano_info Rückgabebeispiel

JSON
{
  "device": "NanoCam",
  "ver": "0.2.0",
  "chip": "ESP32-S3",
  "flash": "16MB",
  "psram": "8MB",
  "ai_mode": 1,
  "wifi_mode": 2,
  "sta_ip": "192.168.1.100",
  "free_heap": 245760
}

6. Gesichtserkennungs-Befehle

Nur im Modus ai_mode:4 (Gesichtserkennung) gültig.

BefehlBeschreibungLabel-VerhaltenRückgabebeispiel
face_erilRegistriert das im aktuellen Bild erkannte GesichtBlau "Enroll: ID N", blinkt 0.5s auf>>> face enroll triggered
face_rzWechselt in den kontinuierlichen GesichtserkennungsmodusGrün "ID: N" / Rot "who?", bleibt dauerhaft sichtbar>>> face recognize triggered
face_delLöscht die zuletzt registrierte Gesichts-IDRot "N IDs left", blinkt 0.5s auf>>> face delete triggered
face_detectVerlässt den Erkennungsmodus, zurück zur reinen GesichtsdetektionLöscht alle Labels>>> face detect mode

Ablauf der Gesichtserkennung

Plaintext
ai_mode:4          # 进入人脸识别模式 (设备自动重启)
face_eril          # 注册人脸 (确保只有一张脸在画面中)
face_rz            # 开始持续识别 — 标签持续显示不消失
face_detect        # 退出识别模式 — 标签清除
face_del           # 删除最后注册的人脸

Hinweise zur Gesichtserkennung

  1. Bei der Registrierung darf sich nur ein Gesicht im Bild befinden, Abstand 30-50cm
  2. Im Erkennungsmodus (face_rz) bleiben die Labels dauerhaft sichtbar und verschwinden nicht nach 0.5 Sekunden — neues Verhalten ab 0.3.0
  3. Zum Verlassen des Erkennungsmodus muss face_detect gesendet werden; andernfalls bleiben die Labels dauerhaft sichtbar
  4. Gesichtsmerkmale werden in der Flash-Partition fr gespeichert, bleiben bei Stromausfall erhalten, maximal 47 IDs
  5. Die Erkennung nutzt eine Frame-Skipping-Strategie (MFN-Inferenz einmal alle 10 Frames)

7. Erweiterungsbefehle (NanoCam-exklusiv)

BefehlBeschreibungStatus
nano_server:urlLLM-Serveradresse festlegen (NVS-gespeichert)
nano_api_key:keyLLM-API-Schlüssel festlegen (NVS-gespeichert)
nano_mqtt:broker,port,topicMQTT-Server konfigurieren🔨
nano_led:R,G,BRGB-LED einstellen (WS2812, GPIO18 DIN)📋
nano_snapFoto aufnehmen und speichern (SPIFFS)
nano_stream:on/offVideoübertragung starten/stoppen📋

nano_server / nano_api_key

BefehlBeschreibungBeispielRückgabe
nano_server:URLLLM-Serveradresse festlegennano_server:https://api.openai.comOK server=https://api.openai.com
nano_api_key:KEYAPI-Schlüssel festlegennano_api_key:sk-xxxxOK

Unterstützt beliebige OpenAI-kompatible APIs (vLLM / Ollama / lokale Modelle). Der ESP-Claw-Modus (ai_mode:7) unterstützt nano_server; XiaoZhi AI (ai_mode:6) verwendet eine eigene Serverkonfiguration.

8. Hinweise

  1. sta_pd / ap_pd startet nach Änderung automatisch neu; danach gilt das neue Passwort
  2. ai_mode startet nach Änderung automatisch neu (nur wenn sich der Modus ändert)
  3. Im Gesichtserkennungsmodus (mode 4) kann die Type-C-Seriellkonfiguration wegen Speichermangels ausfallen
  4. WiFi-Name/-Passwort: maximal 30 Zeichen, keine chinesischen Zeichen
  5. Nach dem Befehl muss ein Satzzeichen als Abschlusszeichen folgen

Nächste Schritte

  • Schnellstart — kompletter Einstieg vom Firmware-Flashen bis zum KI-Moduswechsel