Cách chạy mô hình AI cục bộ trên Raspberry Pi

Việc chạy các mô hình AI cục bộ đã trở thành một ý tưởng phổ biến, đặc biệt là đối với những trường hợp sử dụng tập trung vào quyền riêng tư và Edge computing (điện toán biên). Nhưng hầu hết các ví dụ đều giả định phần cứng mạnh mẽ. Dự án này khám phá một câu hỏi hạn chế hơn: Liệu Raspberry Pi có thể chạy một mô hình ngôn ngữ AI cục bộ một cách thực tế và duy trì sự ổn định trong quá trình đó hay không?

Thay vì hướng đến hiệu suất, mục tiêu là hiểu rõ các giới hạn - bộ nhớ, lưu trữ, nhiệt độ - và xem một máy tính đơn bo có thể hoạt động đến mức nào khi chạy những tác vụ AI hiện đại.

Tại sao lại thử chạy mô hình AI cục bộ trên Raspberry Pi?

Raspberry Pi không được thiết kế cho suy luận AI. Nó có RAM hạn chế, không có GPU chuyên dụng và dựa vào thẻ SD để lưu trữ. Trên lý thuyết, điều này khiến nó trở thành một ứng cử viên không phù hợp để chạy các mô hình ngôn ngữ.

Đồng thời, đó chính xác là điều làm cho nó trở nên thú vị. Nếu AI có thể chạy ở đây - ngay cả khi chậm - nó sẽ mở ra cánh cửa cho các trợ lý ngoại tuyến, tự động hóa biên và thử nghiệm giáo dục. Giá trị không nằm ở tốc độ, mà là ở sự thấu hiểu.

Những nỗ lực ban đầu và kiểm chứng thực tế

Những nỗ lực ban đầu không ổn định. Các mô hình sẽ load nhưng lại thất bại giữa chừng trong quá trình suy luận, những container sẽ thoát mà không có lỗi rõ ràng, và hệ thống đôi khi bị treo hoàn toàn. Ban đầu, có vẻ như phần cứng đơn giản là không thể xử lý được khối lượng công việc.

Bước ngoặt đến từ việc lùi lại và coi đây là vấn đề của hệ thống, chứ không phải vấn đề của trí tuệ nhân tạo. Các lỗi không phải ngẫu nhiên - chúng là triệu chứng của việc cạn kiệt tài nguyên đang diễn ra âm thầm trong nền.

Chọn mô hình phù hợp với phần cứng

Một trong những bài học quan trọng nhất là việc lựa chọn mô hình quan trọng hơn việc lựa chọn phần mềm. Các mô hình lớn, phổ biến liên tục thất bại trên Raspberry Pi do áp lực bộ nhớ. Qua thử nghiệm, các mô hình nhỏ hơn như TinyLlama thực tế hơn nhiều đối với những bo mạch Pi 4 và Pi 5.

Phản hồi chậm và đơn giản hơn, nhưng ổn định - và sự ổn định mới là mục tiêu thực sự trên nền tảng này.

Triển khai bằng Docker, Ollama và Open WebUI

Docker được sử dụng để giữ cho thiết lập gọn gàng và có thể lặp lại. Ollama xử lý việc quản lý mô hình, trong khi Open WebUI cung cấp giao diện dễ sử dụng. Sự kết hợp này hoạt động tốt, nhưng Docker lại tạo ra những chi phí phát sinh riêng, đòi hỏi phải tinh chỉnh cẩn thận trên các hệ thống có RAM thấp.

Nếu không có chiến lược về bộ nhớ và lưu trữ, việc sử dụng container thực sự có thể làm mọi thứ tồi tệ hơn trên các thiết bị nhỏ.

Những vấn đề thực sự quan trọng

Có 3 vấn đề liên tục xuất hiện trong suốt quá trình xây dựng.

Hạn chế về dung lượng lưu trữ gây ra lỗi lặp đi lặp lại khi sử dụng thẻ SD nhỏ. Các mô hình AI và container tiêu thụ nhiều dung lượng hơn dự kiến, và dung lượng lưu trữ không đủ dẫn đến hành vi không thể đoán trước.

Lỗi sập bộ nhớ là phổ biến nhất. Các tiến trình liên tục bị hệ thống tắt mà không có thông báo rõ ràng cho đến khi cấu hình swap được thực hiện chính xác.

Hiện tượng giảm hiệu năng do quá nhiệt trở nên rõ ràng trong các lần chạy suy luận dài hơn. Làm mát thụ động là không đủ. Nếu không có hệ thống làm mát phù hợp, hiệu năng giảm mạnh và độ ổn định của hệ thống bị ảnh hưởng.

Giải quyết những vấn đề này không cần đến các công cụ phức tạp - nhưng cần phải hiểu cách Raspberry Pi hoạt động dưới tải trọng liên tục.

Kết quả cuối cùng

Sau khi giải quyết được những hạn chế này, Raspberry Pi đã có thể chạy mô hình ngôn ngữ cục bộ một cách đáng tin cậy. Thời gian phản hồi chậm, và thiết lập này không nhằm mục đích thay thế AI dựa trên đám mây. Tuy nhiên, nó ổn định, mang tính giáo dục và có khả năng đáng ngạc nhiên cho việc thử nghiệm.

Quan trọng hơn, nó cung cấp cái nhìn rõ ràng về cách các tác vụ AI tương tác với giới hạn phần cứng thực tế.

Bài viết này tập trung vào lý do và những bài học kinh nghiệm hơn là liệt kê mọi lệnh và cấu hình. Quá trình thiết lập từng bước hoàn chỉnh, bao gồm các lệnh Docker chính xác, cấu hình swap, khuyến nghị lưu trữ và những giải pháp khắc phục sự cố về nhiệt, được ghi lại riêng.