Bỏ qua đến nội dung chính

Khám phá!

📖 Nội dung bài học

Nhắn tin cho bạn Markov

Gửi tin nhắn

Ngày xưa, bạn bè tôi và tôi hay chơi trò này: bạn cầm điện thoại lên và soạn tin nhắn gửi cho bạn bè, chỉ dùng những từ được gợi ý tiếp theo. Có lẽ bạn cũng từng làm vậy.

Đây là một trình giả lập đã được "huấn luyện" trên một ít nội dung. Hãy thử chơi nhé!

hey có ai biết cách sửa bản build không

tôi nghĩ |

wethethat

↻ bắt đầu lại

Chúng ta nói về điều này như thể đó là "Me-bot". Chúng ta biết nó gợi ý từ dựa trên các mẫu sử dụng cá nhân của chúng ta, và chúng ta có thể thấy giọng văn của mình trong các đề xuất cá nhân hóa.

Lúc đó, chúng ta vui vẻ coi đó là phép màu công nghệ. Tôi không nghĩ chúng ta nhận ra thuật toán đơn giản đến mức nào.

Tiếp tục đọc nếu bạn muốn cùng tôi xây dựng một cái :)

"Huấn luyện" Mô hình của bạn

Hãy huấn luyện trên một vài tin nhắn. Tất cả những gì chúng ta cần làm là đếm các kết nối giữa các từ. Hãy làm từng tin nhắn một.

  1. "tôi nghĩ chúng ta có lẽ nên gửi nó đi"

  2. "tôi nghĩ điều đó nghe hay đấy"

  3. "tôi nghĩ chúng ta có lẽ nên đợi"

  4. "chúng ta nên kiểm tra với đội ngũ"

  5. "điều đó nghe hay đấy với tôi"

+ Thêm tin nhắn 1

Ma trận chuyển tiếp

Thêm các tin nhắn ở trên để bắt đầu xây dựng ma trận.

Bản đồ kết nối giữa các từ hoàn chỉnh này được gọi là bảng tần suất. Chuẩn hóa từng hàng và bạn sẽ có một phân phối xác suất về những gì có thể xảy ra tiếp theo.

Hành động chọn một từ tiếp theo dựa trên những gì bạn có cho đến nay được gọi là lấy mẫu (sampling). Chúng ta sử dụng chính thuật ngữ đó cho quy trình này với các mô hình ngôn ngữ hiện đại như Claude.

Thực hiện Lấy mẫu

Sử dụng ma trận giống hệt dựa trên 5 tin nhắn, hãy thử chơi trò chơi của chúng ta một cách có hiểu biết hơn. Chúng tôi sẽ hiển thị cho bạn các xác suất.

tôi _

nghĩ 100%

↻ bắt đầu lại

Hàng được tô sáng là ngữ cảnh hiện tại của bạn. Chọn một từ từ các lựa chọn có sẵn để tiếp tục.

Công nghệ 100 năm tuổi

"Đây có phải là công nghệ thật không?" Câu hỏi hay đấy, độc giả.

Markov đã công bố ý tưởng này vào năm 1906. Một thế kỷ sau, vào năm 2010, các mô hình n-gram như thế này đã cung cấp khả năng dự đoán từ tiếp theo trên điện thoại của bạn (SwiftKey, sau đó là QuickType của Apple). Khoảng năm 2015, mạng nơ-ron — đầu tiên là RNN, sau đó là transformers vào năm 2017 — bắt đầu thay thế cách tra cứu bảng bằng một hàm học được, và phần còn lại là... ừm, đó là những gì chúng ta đang làm việc bây giờ.

🔁 Bài học liên quan

📚 Nguồn & ghi nhận

Góp ý / Báo lỗiPhát hiện sai sót hoặc có ý tưởng cải thiện?