- Ben và Jeff từ đội applied AI của Anthropic tổ chức một workshop thực hành "agent battle", nơi người tham gia xây và triển khai một
managed agentđể đào được nhiều kim cương nhất trong Minecraft. - Bài tập dạy ba điều: xây/triển khai một
managed agent, hiểu tác động củaagent configuration(system prompt, model string,skills,MCPs), vàhill-climb on evals. - Luật chơi thưởng cho hiệu suất token: mỗi lần chạy là năm phút đào, chỉ tính lần chạy tốt nhất mỗi người, hòa thì phân định bằng tỉ lệ kim cương trên token — buộc người chơi tinh chỉnh
system promptthay vì chỉ chọn mô hình nặng nhất.
Agent Battle: Mine the most diamonds in 45 minutes
- Workshop có ba mục tiêu: học xây và triển khai
managed agent(chạy trên hạ tầng của Anthropic), hiểu tác động củaagent configuration, và họchill-climb on evalsđúng cách Anthropic cải thiện agent nội bộ. Agent configurationgồmsystem prompt, model string, và cácskills/MCPscắm vào để khơi ra hành vi mong muốn.Hill-climb on evalslà quy trình nội bộ: đo tác động của agent, hiểu hành vi của nó, rồi lặp đi lặp lại để cải thiện — cùng vòng lặp dùng cho agent production.- Luật battle: cửa sổ 35 phút để xây/thử nghiệm, mỗi người chỉ được tính một lần chạy (lần tốt nhất), mỗi lần chạy là năm phút đào, một eval set khoảng một phút để lặp nhanh, ai nhiều kim cương nhất thắng.
- Hòa được phân định bằng hiệu suất token (tỉ lệ kim cương/token), nên thành công không chỉ là đào nhiều nhất mà là tinh chỉnh
system promptthay vì nhồi mô hình nặng nhất. - Harness được ship sẵn sàng dùng: một bản clone Minecraft kết nối tới bot
Mineflayerthông qua các công cụMCP(đào block, nhảy, đi gần) thay vì dựa vào hình ảnh. - Mọi người bắt đầu từ cùng một
seedvà start kit, nên không tối ưu được điều kiện ban đầu; các đòn bẩy nằm trongmy_agent.pyđể chỉnh model,system prompt(ban đầu trống), một skill ship sẵn hoặc tự viết, cùng mộtMCP servertùy chọn. - Bảng xếp hạng trực tiếp cho thấy khoảng 19 kim cương là ngưỡng cao, có người vượt 19 khi còn khoảng một phút; một skill
Claude Codeđược cung cấp để hỗ trợ thiết lập môi trường và sự cố Wi-Fi hội nghị.
managed agent— agent chạy trên hạ tầng Anthropic với phần lớn cấu hình dựng sẵnagent configuration— tổ hợp system prompt, model string, skills và MCPs định hình hành vi agenthill-climb on evals— lặp đo–hiểu–cải thiện hiệu năng agent dựa trên một bộ evalsystem prompt— chỉ dẫn cho agent, ở đây ban đầu để trống cho người chơi tinh chỉnhtoken efficiency— tỉ lệ kết quả (kim cương) trên token đã dùng, dùng làm tiêu chí phân định hòaMineflayer— framework bot mà bản clone Minecraft kết nối tới, điều khiển bằng công cụ MCPMCP tools— công cụ Model Context Protocol (đào block, nhảy, đi gần) để agent hành độngseed— giá trị sinh thế giới Minecraft cố định mà mọi người cùng bắt đầu
Giới thiệu agent battle
Ben và Jeff thuộc đội applied AI của Anthropic — vai trò giúp mọi người "vắt kiệt" giá trị từ hệ sinh thái Claude — tổ chức một "agent battle": để các agent đào kim cương thay con người trong Minecraft. Nếu thập niên 2000–2010 chúng ta tự chơi Minecraft, thì thập niên 2020 ta để agent chơi hộ.
Ba mục tiêu của workshop
- Xây và triển khai một
managed agent: sản phẩm Anthropic phát hành vài tuần trước, chạy trên hạ tầng của họ với nhiều cấu hình dựng sẵn; nhiệm vụ của người chơi là đưa agent vào "trạng thái đào kim cương đỉnh cao". - Hiểu tác động của
agent configuration: gồmsystem prompt, model string, cácskillsvàMCPscắm vào để khơi ra hành vi mong muốn. Hill-climb on evals: cách Anthropic cải thiện mọi agent nội bộ — đo tác động, hiểu hành vi, rồi thay đổi lặp đi lặp lại; đây cũng là quy trình cho agent đưa vào production.
Luật chơi và hiệu suất token
Có khoảng 35 phút để xây và thử nghiệm. Mỗi người chỉ được tính một lần chạy (lần tốt nhất, dù nộp bao nhiêu lần). Mỗi lần chạy là năm phút agent đào kim cương, có thể dừng bất cứ lúc nào bằng Control-C. Có một eval set khoảng một phút để lặp nhanh. Ai nhiều kim cương nhất khi hết 35 phút thì thắng, có bảng xếp hạng và một kênh chat để các agent "nói chuyện" với nhau.
Điểm mấu chốt: nếu hòa, phân định bằng hiệu suất token (tỉ lệ kim cương trên token). Vì thế thử thách không chỉ là đào nhiều nhất, mà phải tinh chỉnh system prompt chứ không thể chỉ nhồi mô hình nặng nhất.
Cách hoạt động của harness
Harness được ship khá đầy đủ. Cấu trúc chính: một bản clone Minecraft kết nối tới bot Mineflayer. Người chơi không dựa vào hình ảnh mà dùng một loạt công cụ MCP ship kèm (đào block, nhảy, đi gần...). Mọi người bắt đầu từ cùng một seed và start kit, nên không tối ưu được điều kiện ban đầu.
Các đòn bẩy nằm trong my_agent.py trong repo (truy cập qua /agent-battle): chỉnh model, chỉnh system prompt (ban đầu để trống), dùng một skill ship sẵn từ Anthropic hoặc thay bằng skill riêng, và một MCP server tùy chọn. Trong repo còn có một skill Claude Code hỗ trợ thiết lập — hữu ích khi gặp sự cố Cloudflare/Wi-Fi hội nghị.
Cuộc đua và kết quả
Ngay khi bắt đầu đã có lần chạy đạt 10 kim cương. Khi còn năm phút, xuất hiện thế hòa ba người, nhưng một người hiển thị 0 token (đáng ngờ) nên có thể chỉ hòa hai. Ngưỡng cao dường như là 19 kim cương. Đáng chú ý, một người vượt mốc 19 khi chỉ còn khoảng một phút 20 giây. Hết giờ, có người thắng rõ ràng; vì á quân hiển thị 0 token nên ban tổ chức mời top 1–5 lên để xác định lại thứ hạng và trao giải.
TL;DR
- Ben và Jeff từ đội applied AI của Anthropic tổ chức một workshop thực hành "agent battle", nơi người tham gia xây và triển khai một
managed agentđể đào được nhiều kim cương nhất trong Minecraft. - Bài tập dạy ba điều: xây/triển khai một
managed agent, hiểu tác động củaagent configuration(system prompt, model string,skills,MCPs), vàhill-climb on evals. - Luật chơi thưởng cho hiệu suất token: mỗi lần chạy là năm phút đào, chỉ tính lần chạy tốt nhất mỗi người, hòa thì phân định bằng tỉ lệ kim cương trên token — buộc người chơi tinh chỉnh
system promptthay vì chỉ chọn mô hình nặng nhất.
Điểm chính
- Workshop có ba mục tiêu: học xây và triển khai
managed agent(chạy trên hạ tầng của Anthropic), hiểu tác động củaagent configuration, và họchill-climb on evalsđúng cách Anthropic cải thiện agent nội bộ. Agent configurationgồmsystem prompt, model string, và cácskills/MCPscắm vào để khơi ra hành vi mong muốn.Hill-climb on evalslà quy trình nội bộ: đo tác động của agent, hiểu hành vi của nó, rồi lặp đi lặp lại để cải thiện — cùng vòng lặp dùng cho agent production.- Luật battle: cửa sổ 35 phút để xây/thử nghiệm, mỗi người chỉ được tính một lần chạy (lần tốt nhất), mỗi lần chạy là năm phút đào, một eval set khoảng một phút để lặp nhanh, ai nhiều kim cương nhất thắng.
- Hòa được phân định bằng hiệu suất token (tỉ lệ kim cương/token), nên thành công không chỉ là đào nhiều nhất mà là tinh chỉnh
system promptthay vì nhồi mô hình nặng nhất. - Harness được ship sẵn sàng dùng: một bản clone Minecraft kết nối tới bot
Mineflayerthông qua các công cụMCP(đào block, nhảy, đi gần) thay vì dựa vào hình ảnh. - Mọi người bắt đầu từ cùng một
seedvà start kit, nên không tối ưu được điều kiện ban đầu; các đòn bẩy nằm trongmy_agent.pyđể chỉnh model,system prompt(ban đầu trống), một skill ship sẵn hoặc tự viết, cùng mộtMCP servertùy chọn. - Bảng xếp hạng trực tiếp cho thấy khoảng 19 kim cương là ngưỡng cao, có người vượt 19 khi còn khoảng một phút; một skill
Claude Codeđược cung cấp để hỗ trợ thiết lập môi trường và sự cố Wi-Fi hội nghị.
Từ vựng
managed agent— agent chạy trên hạ tầng Anthropic với phần lớn cấu hình dựng sẵnagent configuration— tổ hợp system prompt, model string, skills và MCPs định hình hành vi agenthill-climb on evals— lặp đo–hiểu–cải thiện hiệu năng agent dựa trên một bộ evalsystem prompt— chỉ dẫn cho agent, ở đây ban đầu để trống cho người chơi tinh chỉnhtoken efficiency— tỉ lệ kết quả (kim cương) trên token đã dùng, dùng làm tiêu chí phân định hòaMineflayer— framework bot mà bản clone Minecraft kết nối tới, điều khiển bằng công cụ MCPMCP tools— công cụ Model Context Protocol (đào block, nhảy, đi gần) để agent hành độngseed— giá trị sinh thế giới Minecraft cố định mà mọi người cùng bắt đầu
Nội dung chi tiết
Giới thiệu agent battle
Ben và Jeff thuộc đội applied AI của Anthropic — vai trò giúp mọi người "vắt kiệt" giá trị từ hệ sinh thái Claude — tổ chức một "agent battle": để các agent đào kim cương thay con người trong Minecraft. Nếu thập niên 2000–2010 chúng ta tự chơi Minecraft, thì thập niên 2020 ta để agent chơi hộ.
Ba mục tiêu của workshop
- Xây và triển khai một
managed agent: sản phẩm Anthropic phát hành vài tuần trước, chạy trên hạ tầng của họ với nhiều cấu hình dựng sẵn; nhiệm vụ của người chơi là đưa agent vào "trạng thái đào kim cương đỉnh cao". - Hiểu tác động của
agent configuration: gồmsystem prompt, model string, cácskillsvàMCPscắm vào để khơi ra hành vi mong muốn. Hill-climb on evals: cách Anthropic cải thiện mọi agent nội bộ — đo tác động, hiểu hành vi, rồi thay đổi lặp đi lặp lại; đây cũng là quy trình cho agent đưa vào production.
Luật chơi và hiệu suất token
Có khoảng 35 phút để xây và thử nghiệm. Mỗi người chỉ được tính một lần chạy (lần tốt nhất, dù nộp bao nhiêu lần). Mỗi lần chạy là năm phút agent đào kim cương, có thể dừng bất cứ lúc nào bằng Control-C. Có một eval set khoảng một phút để lặp nhanh. Ai nhiều kim cương nhất khi hết 35 phút thì thắng, có bảng xếp hạng và một kênh chat để các agent "nói chuyện" với nhau.
Điểm mấu chốt: nếu hòa, phân định bằng hiệu suất token (tỉ lệ kim cương trên token). Vì thế thử thách không chỉ là đào nhiều nhất, mà phải tinh chỉnh system prompt chứ không thể chỉ nhồi mô hình nặng nhất.
Cách hoạt động của harness
Harness được ship khá đầy đủ. Cấu trúc chính: một bản clone Minecraft kết nối tới bot Mineflayer. Người chơi không dựa vào hình ảnh mà dùng một loạt công cụ MCP ship kèm (đào block, nhảy, đi gần...). Mọi người bắt đầu từ cùng một seed và start kit, nên không tối ưu được điều kiện ban đầu.
Các đòn bẩy nằm trong my_agent.py trong repo (truy cập qua /agent-battle): chỉnh model, chỉnh system prompt (ban đầu để trống), dùng một skill ship sẵn từ Anthropic hoặc thay bằng skill riêng, và một MCP server tùy chọn. Trong repo còn có một skill Claude Code hỗ trợ thiết lập — hữu ích khi gặp sự cố Cloudflare/Wi-Fi hội nghị.
Cuộc đua và kết quả
Ngay khi bắt đầu đã có lần chạy đạt 10 kim cương. Khi còn năm phút, xuất hiện thế hòa ba người, nhưng một người hiển thị 0 token (đáng ngờ) nên có thể chỉ hòa hai. Ngưỡng cao dường như là 19 kim cương. Đáng chú ý, một người vượt mốc 19 khi chỉ còn khoảng một phút 20 giây. Hết giờ, có người thắng rõ ràng; vì á quân hiển thị 0 token nên ban tổ chức mời top 1–5 lên để xác định lại thứ hạng và trao giải.