Text | TensorFlow (original) (raw)
Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Công cụ xử lý văn bản cho TensorFlow
KerasNLP
Cách dễ nhất để bắt đầu xử lý văn bản trong TensorFlow là sử dụng KerasNLP. KerasNLP là một thư viện xử lý ngôn ngữ tự nhiên hỗ trợ các quy trình công việc được xây dựng từ các thành phần mô-đun có trọng lượng và kiến trúc đặt trước tiên tiến nhất. Bạn có thể sử dụng các thành phần KerasNLP với cấu hình vượt trội của chúng. Nếu bạn cần kiểm soát nhiều hơn, bạn có thể dễ dàng tùy chỉnh các thành phần. KerasNLP nhấn mạnh tính toán trong biểu đồ cho tất cả các quy trình công việc, do đó bạn có thể mong đợi quá trình sản xuất dễ dàng bằng cách sử dụng hệ sinh thái TensorFlow.
KerasNLP là phần mở rộng của API Keras cốt lõi và tất cả các mô-đun KerasNLP cấp cao đều là Lớp hoặc Mô hình. Nếu bạn đã quen thuộc với Keras, thì bạn đã hiểu hầu hết về KerasNLP.
Để tìm hiểu thêm, hãy xem KerasNLP .
Văn bản TensorFlow
KerasNLP cung cấp các mô-đun xử lý văn bản cấp cao có sẵn dưới dạng lớp hoặc mô hình. Nếu bạn cần quyền truy cập vào các công cụ cấp thấp hơn, bạn có thể sử dụng Văn bản TensorFlow. TensorFlow Text cung cấp cho bạn một bộ sưu tập phong phú các op và thư viện để giúp bạn làm việc với đầu vào ở dạng văn bản, chẳng hạn như chuỗi văn bản thô hoặc tài liệu. Các thư viện này có thể thực hiện tiền xử lý thường xuyên theo yêu cầu của các mô hình dựa trên văn bản và bao gồm các tính năng khác hữu ích cho mô hình trình tự.
Bạn có thể trích xuất các tính năng văn bản ngữ nghĩa và cú pháp mạnh mẽ từ bên trong biểu đồ TensorFlow làm đầu vào cho mạng nơ-ron của mình.
Tích hợp tiền xử lý với biểu đồ TensorFlow mang lại các lợi ích sau:
- Tạo điều kiện cho một bộ công cụ lớn để làm việc với văn bản
- Cho phép tích hợp với bộ công cụ TensorFlow lớn để hỗ trợ các dự án từ xác định vấn đề cho đến đào tạo, đánh giá và khởi chạy
- Giảm độ phức tạp trong thời gian phục vụ và ngăn ngừa sai lệch phục vụ đào tạo
Ngoài những điều trên, bạn không cần phải lo lắng về việc mã thông báo trong quá trình đào tạo khác với mã thông báo khi suy luận hoặc quản lý các tập lệnh tiền xử lý.
