AI trên vi điều khiển: Edge Impulse, lệnh giọng nói, gọi API mô hình ngôn ngữ với ESP32

Đưa AI vào thiết bị nhỏ: huấn luyện mô hình nhận dạng cử chỉ từ dữ liệu cảm biến bằng Edge Impulse rồi chạy trên ESP32, nhận lệnh giọng nói ngay trên ESP32-S3 không cần Internet, cho ESP32 gọi API mô hình ngôn ngữ qua HTTPS và tìm hiểu cấu tạo một loa trợ lý AI. Thứ tự nên đọc và các chủ đề khác có ở Góc kỹ thuật.

Loa trợ lý AI trên ESP32-S3: cấu tạo phần cứng, cách hoạt động, độ trễ, quyền riêng tư, thử âm thanh
Loa trợ lý AI trên ESP32-S3: cấu tạo phần cứng, cách hoạt động, độ trễ, quyền riêng tư, thử âm thanh

Loa trợ lý AI tự làm bằng ESP32-S3 hoạt động thế nào: micro I2S, mạch khuếch đại, phần chạy trên chip và trên máy chủ, vì sao có độ trễ, dữ liệu đi đâu, chương trình thử ghi âm, phát lại.

Nhận lệnh giọng nói không cần Internet trên ESP32-S3 bằng ESP_SR: Hi ESP, micro INMP441, đèn, quạt
Nhận lệnh giọng nói không cần Internet trên ESP32-S3 bằng ESP_SR: Hi ESP, micro INMP441, đèn, quạt

Nhận lệnh giọng nói ngay trên ESP32-S3 bằng thư viện ESP_SR có sẵn: từ đánh thức Hi ESP, lệnh tiếng Anh tự viết, micro INMP441, cài đặt phân vùng ESP SR 16M, bật tắt đèn và quạt.

ESP32 gọi API mô hình ngôn ngữ qua HTTPS: gửi câu hỏi kèm số đo cảm biến, đọc JSON, giữ an toàn
ESP32 gọi API mô hình ngôn ngữ qua HTTPS: gửi câu hỏi kèm số đo cảm biến, đọc JSON, giữ an toàn

ESP32 hỏi mô hình ngôn ngữ lớn qua API kiểu Chat Completions: luồng HTTPS, JSON gửi và nhận, chương trình dùng ArduinoJson, kiểm tra trước khi điều khiển, bảo vệ khóa API và chi phí.

Edge Impulse với ESP32: thu dữ liệu MPU6050, huấn luyện nhận dạng cử chỉ, xuất thư viện Arduino
Edge Impulse với ESP32: thu dữ liệu MPU6050, huấn luyện nhận dạng cử chỉ, xuất thư viện Arduino

Quy trình Edge Impulse với ESP32 và MPU6050: gửi dữ liệu gia tốc qua data forwarder, gắn nhãn, cửa sổ và đặc trưng phổ, đọc ma trận nhầm lẫn, xuất thư viện Arduino và chạy nhận dạng cử chỉ.


Đã thêm vào giỏ hàng