Buổi 17: Computer Use - Điều khiển Trình duyệt bằng Antigravity
Mục tiêu buổi học
Làm việc qua Chat Interface (Giao diện chat) hoặc tạo Text/Code vẫn chưa khai thác trọn vẹn quyền lực của AI Agents hiện đại. Sự đột phá xuất hiện khi AI có thể "NHÌN", "CLICK" và "GÕ" thay bạn trên các website và phần mềm hệ điều hành – Tính năng (Computer Use / Browser Control).
Là PM/BA hay Designer, có hàng tá tác vụ mà không có API nào cung cấp (như cào dữ liệu đối thủ từ Shopee, tạo và chỉnh sửa lịch trên SaaS, tải hàng loạt báo cáo tài chính). Tại buổi này, bạn sẽ biến Antigravity thành Robot thay nhân viên vận hành (Operations).
Nội dung chi tiết
1. Kỷ nguyên của Computer Use (Antigravity & Agentic Frameworks)
- Thế nào là Browser Sub-Agent (Kỹ năng
agent-browser)? Nó mô phỏng thao tác của con người: xác định tọa độ Component, click chuột ảo (virtual mouse click) và cuộn trang. - Xác định điểm mạnh (Tự chủ làm việc trên UI Phức tạp thiếu Web API) và Yếu điểm (Dễ gãy vỡ với màn hình thay đổi liên tục).
2. Thiết lập Lệnh cho Trình duyệt "Người máy"
- Cách Prompt Computer Use an toàn và chính xác, tránh việc Robot click nhầm, tải mã độc hoặc phá hoại cơ sở dữ liệu (ví dụ: "Hãy mở trang x, chụp màn hình, DỪNG LẠI và đợi tao xác nhận, KHÔNG ĐƯỢC nhấn submit!").
- Kết nối khả năng Phân tích cấu trúc Visual DOM của UI để xuất lệnh (Extract Layout & Data points). Trích xuất 100 sản phẩm với giá bán từ đối thủ mà không viết script Scraper bằng Python.
- Dò đường qua Multi-step flow (ví dụ: Tìm form > Điền form từ tệp CSV máy tính > Upload file đính kèm > Save & Đợi popup Success).
3. Tự động hóa tác vụ Product/Market hằng ngày
Hội tụ trí tuệ phân tích (Module 2, 3) với Hành động (Module 6) tạo ra quy trình "Vô hình" mà vẫn trôi chảy:
- Ứng dụng để kiểm tra tự động (Automated Browser Testing): Không viết mã Cypress, chỉ cần ra lệnh: "Mày đóng vai User, truy cập http://localhost:3000, đăng nhập username x mật khẩu y, ấn nút Mua. Nếu Web sập, chụp lỗi lại lưu vào
bug-report.md". - Tự động hóa Cập nhật Dashboard (Update internal sheets from external walled-gardens). Mở ứng dụng CRM, lọc bộ lọc 10 khách tệ nhất, export data nạp sang báo cáo tuần của bạn.
4. Kết nối Chuỗi thao tác Local + Cloud
- Sau khi tải file báo cáo bằng trình duyệt (Computer Use), AI tự lấy file đó đọc cục bộ, sinh đồ thị trong Markdown.
- Mở quy trình tự phê duyệt (Approval in-loop). Gắn quyền Admin-review trước các lệnh sửa/xoá để đảm bảo tính Auditability (Bảo mật).
🚀 Thực hành (Tạo Bot Trình Duyệt Bằng Lệnh Prompt)
Bài tập 1: Cào Dữ Liệu Thị Trường Bất kỳ
- Chọn một website thương mại hoặc trang tin tức theo dõi đối thủ (VD: Tiktok Shop/Shopee Seller Center).
- Viết Prompt: "Dùng
agent-browsermở [website URL]. Tìm mục đánh giá (reviews) bản cập nhật mới nhất của đối thủ. Cuộn qua 10 trang, trích xuất tất cả phản hồi 1-sao và 2-sao. Lưu vào file.csvở mục Downloads."
Bài tập 2: Sinh Test QA Front-end Tự Động
- Cho Bot chạy trên bản Côn-xếp Prototype của Buổi 16.
- Dùng AI Click qua lại 5 màn hình. (Ví dụ: Từ Home > Vô Login > Đăng ký > Trở lại Lupa tìm kiếm).
- Ra lệnh: Nếu ở bước nào xuất hiện thông báo Lỗi 404 thì xuất Markdown Warning với hình Screenshot kèm theo (Sử dụng tính năng Capture artifact).
Tài liệu tham khảo
- Kỹ năng
agent-browser. - Kỹ năng
marketplace-report-crawler(Thực hành nâng cao). - Khái niệm (Concept) của Computer-Use API trong chuẩn Claude/MCP.