VietRAG-Embed là Embedding Model tiếng Việt mình Fine-tune từ multilingual-e5-base trên 937.686 mẫu Retrieval. Bài viết ghi lại quá trình xây dựng dữ liệu, Hard Negative, Training và Benchmark.
Giới thiệu VietEmbed-RAG Science: Bộ dữ liệu tiếng Việt cho Embedding và RAG
Prompt Engineering được hiểu đơn giản là quá trình thiết kế Prompt để hướng Model tạo ra Output phù hợp hơn với mục tiêu của chúng ta. Trong bài viết này mình sẽ đi qua những phần quan trọng của Prompt Engineering dựa trên Chapter 6 của cuốn Hands-On Large Language Models của Jay Alammar và Maarten Grootendorst.
Các hàm Loss phổ biến trong Sentence Transformers
Tóm tắt những phần quan trọng nhất để có thể bắt đầu Fine-tune một Embedding Model, chủ yếu dựa trên bài viết Training and Finetuning Embedding Models with Sentence Transformers của Hugging Face.
Đọc nội dung trong paper VN-MTEB: Vietnamese Massive Text Embedding Benchmark để học hỏi và rút kinh nghiệm
Giới thiệu về cách mình đã thiết kế hệ thống sử dụng LLM trong quá trình thực hiện đồ án môn học Tư Duy Tính Toán
Giới thiệu về cách hoạt động bên trong LLM Tokenization