[Giải nén AI] Xử lý ngôn ngữ tự nhiên: Máy tính có thể “hiểu ” con người

Tiếp theo trong series Giải nén AI, chúng ta sẽ cùng tìm hiểu về Natural Language Processing (NLP), tiếng Việt gọi là Xử lý ngôn ngữ tự nhiên. Công nghệ này đã giúp máy tính có thể “hiểu” ngôn ngữ của con người và được ứng dụng ngày càng nhiều ở mọi lĩnh vực trong cuộc sống của chúng ta.

1. Xử lý ngôn ngữ tự nhiên (NLP) là gì?

Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) là khả năng của một chương trình máy tính để hiểu ngôn ngữ con người khi nó được nói hoặc viết – được gọi là ngôn ngữ tự nhiên. Đây là một thành phần của trí tuệ nhân tạo (Artificial Intelligence – AI).

NLP kết hợp ngôn ngữ học tính toán – mô hình hóa dựa trên quy tắc của ngôn ngữ con người – với các mô hình thống kê, học máy và học sâu. Cùng nhau, những công nghệ này cho phép máy tính xử lý ngôn ngữ con người dưới dạng dữ liệu văn bản hoặc giọng nói và ‘hiểu’ đầy đủ ý nghĩa của nó, bao gồm ý định và tình cảm của người nói hoặc người viết.

NLP thúc đẩy các chương trình máy tính dịch văn bản từ một ngôn ngữ sang ngôn ngữ khác, đáp ứng các lệnh nói và tóm tắt các khối lượng lớn văn bản một cách nhanh chóng – thậm chí cả trong thời gian thực. 

Có khả năng cao là bạn đã tương tác với NLP dưới dạng các hệ thống GPS hoạt động bằng giọng nói, trợ lý số, phần mềm chuyển giọng thành văn bản, chatbot dịch vụ khách hàng và các tiện ích tiêu dùng khác. Tuy nhiên, NLP cũng đóng vai trò ngày càng quan trọng trong các giải pháp doanh nghiệp giúp tối ưu hoá hoạt động kinh doanh, tăng năng suất nhân viên và đơn giản hóa các quy trình kinh doanh quan trọng.

2. Quá trình phát triển của NLP

NLP (Xử lý Ngôn ngữ Tự nhiên) được phát triển từ nhiều lĩnh vực khác nhau, bao gồm khoa học máy tính và ngôn ngữ học tính toán, bắt đầu từ thập kỷ giữa thế kỷ 20. Quá trình phát triển của NLP đã trải qua các cột mốc quan trọng sau đây:

2.1. Giai đoạn đầu

• Những năm 1950: Xử lý ngôn ngữ tự nhiên có nguồn gốc từ thập kỷ này, khi Alan Turing phát triển Phép thử Turing để xác định liệu một máy tính có thực sự thông minh hay không. Bài kiểm tra này liên quan đến việc diễn giải tự động và tạo ra ngôn ngữ tự nhiên như một tiêu chí của trí tuệ.
• Những năm 1950-1990: NLP chủ yếu dựa trên các quy tắc, sử dụng các quy tắc được xây dựng bởi các nhà ngôn ngữ học để xác định cách máy tính xử lý ngôn ngữ.
• Những năm 1990. Phương pháp tiếp cận từ trên xuống, tập trung vào ngôn ngữ đã được thay thế bằng một phương pháp thống kê hơn, bởi vì sự tiến bộ trong lĩnh vực máy tính đã làm cho phương pháp này trở nên hiệu quả hơn trong việc phát triển công nghệ NLP. Máy tính trở nên nhanh hơn và có thể được sử dụng để phát triển các quy tắc dựa trên thống kê ngôn ngữ mà không cần nhà ngôn ngữ học tạo ra tất cả các quy tắc. Xử lý ngôn ngữ tự nhiên dựa trên dữ liệu trở nên phổ biến trong thập kỷ này. NLP chuyển từ phương pháp dựa trên ngôn ngữ học sang phương pháp dựa trên kỹ sư, kết hợp nhiều lĩnh vực khoa học khác nhau thay vì sâu vào ngôn ngữ học.

2.2. Giai đoạn sau

Những năm 2000-2020. Xử lý ngôn ngữ tự nhiên đã trở nên phổ biến với sự phát triển đáng kể. Với sự tiến bộ về công nghệ máy tính, xử lý ngôn ngữ tự nhiên cũng đã có nhiều ứng dụng thực tế. Hiện nay, các phương pháp NLP kết hợp cả ngôn ngữ học cổ điển và phương pháp thống kê.

Xử lý ngôn ngữ tự nhiên đóng vai trò quan trọng trong công nghệ và cách mà con người tương tác với nó. Nó được sử dụng trong nhiều ứng dụng thực tế trong cả lĩnh vực kinh doanh và tiêu dùng, bao gồm chatbot, an ninh mạng, công cụ tìm kiếm và phân tích dữ liệu lớn. Mặc dù gặp phải nhiều thách thức, dự kiến ​​rằng NLP sẽ tiếp tục là một phần quan trọng của cả ngành công nghiệp và cuộc sống hàng ngày.

3. Xử lý ngôn ngữ tự nhiên hoạt động ra sao?

 Xử lý ngôn ngữ tự nhiên (NLP) cho phép máy tính hiểu ngôn ngữ tự nhiên như con người. Cho dù ngôn ngữ được nói hoặc viết, xử lý ngôn ngữ tự nhiên sử dụng trí tuệ nhân tạo để nhận đầu vào thế giới thực, xử lý và hiểu được nó theo cách mà máy tính có thể hiểu. 

Giống như con người có các giác quan khác nhau – như tai để nghe và mắt để nhìn – máy tính có các chương trình để đọc và micro để thu âm. Và giống như con người có bộ não để xử lý đầu vào đó, máy tính có một chương trình để xử lý đầu vào của nó. 

Ở một số điểm trong quá trình xử lý, đầu vào được chuyển đổi thành mã mà máy tính có thể hiểu.

Có hai giai đoạn chính trong xử lý ngôn ngữ tự nhiên: tiền xử lý dữ liệu và phát triển thuật toán.

3.1. Tiền xử lý dữ liệu

• Tiền xử lý dữ liệu liên quan đến chuẩn bị và sàng lọc dữ liệu văn bản để máy tính có thể phân tích được. Đầu tiên, đưa dữ liệu vào dạng có thể xử lý và làm nổi bật các đặc điểm trong văn bản mà một thuật toán có thể làm việc. Có nhiều cách để thực hiện điều này, bao gồm:
• Tokenization:  Đây là quá trình chia nhỏ văn bản thành các đơn vị nhỏ hơn để làm việc.
• Loại bỏ stop word: Đây là quá trình loại bỏ các từ thông dụng khỏi văn bản để chỉ giữ lại các từ độc nhất mang nhiều thông tin về văn bản.
• Lemmatization và stemming. Đây là quá trình rút gọn từ về dạng gốc để tiến hành xử lý.
• Đánh dấu loại từ: Quá trình đánh dấu từng từ dựa trên loại từ mà chúng thuộc về – chẳng hạn như danh từ, động từ và tính từ.

3.2. Phát triển thuật toán

Sau khi dữ liệu đã được tiền xử lý, một thuật toán được phát triển để xử lý nó. Có nhiều thuật toán xử lý ngôn ngữ tự nhiên khác nhau, nhưng có hai loại chính thường được sử dụng:

• Hệ thống dựa trên quy tắc: Hệ thống này sử dụng các quy tắc ngôn ngữ học được thiết kế cẩn thận. Phương pháp này được sử dụng từ sớm trong quá trình phát triển xử lý ngôn ngữ tự nhiên và vẫn được sử dụng.
• Hệ thống dựa trên học máy: Thuật toán học máy sử dụng các phương pháp thống kê. Chúng học cách thực hiện các nhiệm vụ dựa trên dữ liệu huấn luyện và điều chỉnh phương pháp của mình khi xử lý thêm dữ liệu. Bằng cách kết hợp học máy, học sâu và mạng neural, các thuật toán xử lý ngôn ngữ tự nhiên hoàn thiện quy tắc của riêng mình thông qua việc xử lý và học lặp đi lặp lại.

4. Xử lý ngôn ngữ tự nhiên có thể làm gì?

Một số chức năng chính mà các thuật toán xử lý ngôn ngữ tự nhiên thực hiện bao gồm:

4.1. Phân loại văn bản

Điều này liên quan đến gán nhãn cho văn bản để phân loại chúng vào các danh mục. Việc này có thể hữu ích cho phân tích cảm xúc, giúp thuật toán xử lý ngôn ngữ tự nhiên xác định cảm xúc hoặc tình cảm đằng sau một văn bản. 

Ví dụ, khi thương hiệu A được đề cập trong X văn bản, thuật toán có thể xác định số lượng đề cập tích cực và số lượng đề cập tiêu cực trong số đó.

4.2. Trích xuất văn bản

Văn bản được tóm tắt tự động và tìm kiếm những phần dữ liệu quan trọng. 

Tiêu biểu cho ví dụ là trích xuất từ khóa, từ khóa quan trọng được rút ra từ văn bản, hữu ích cho tối ưu hóa công cụ tìm kiếm. Một số công cụ có thể lọc ra các từ được sử dụng thường xuyên nhất trong văn bản. Ví dụ khác là nhận dạng thực thể được đặt tên, trích xuất tên của người, địa điểm và các thực thể khác từ văn bản.

4.3. Dịch máy

Là quá trình mà máy tính dịch văn bản từ một ngôn ngữ, chẳng hạn như tiếng Anh, sang một ngôn ngữ khác, chẳng hạn như tiếng Pháp, mà không cần can thiệp của con người.

4.4. Tạo ra ngôn ngữ tự nhiên

Nó liên quan đến việc sử dụng các thuật toán xử lý ngôn ngữ tự nhiên để phân tích dữ liệu không có cấu trúc và tự động tạo ra nội dung dựa trên dữ liệu đó.

Một ví dụ của điều này là trong các mô hình ngôn ngữ như GPT3, có khả năng phân tích một văn bản không có cấu trúc và sau đó tạo ra các bài viết dựa trên văn bản đó.

5. Ứng dụng thực tế

Các chức năng được liệt kê ở trên được sử dụng trong nhiều ứng dụng thực tế khác nhau, bao gồm:

• Phân tích phản hồi khách hàng : NLP giúp Trí tuệ nhân tạo phân tích các đánh giá trên mạng xã hội.
• Tự động hóa dịch vụ khách hàng: Trợ lý giọng nói phía bên kia đầu dây dịch vụ khách hàng có khả năng sử dụng nhận dạng giọng nói để hiểu những gì khách hàng đang nói, để định hướng cuộc gọi đúng.
• Dịch tự động: Sử dụng các công cụ như Google Dịch, Bing và Translate Me.
• Nghiên cứu và phân tích học thuật: Trí tuệ nhân tạo có khả năng phân tích lượng lớn tài liệu học thuật và bài báo nghiên cứu không chỉ dựa trên siêu dữ liệu của văn bản, mà còn dựa trên văn bản chính nó.
• Phân tích và phân loại hồ sơ y tế: Các thông tin được sử dụng để dự đoán, và lý tưởng là ngăn ngừa các bệnh tật.
• Xử lý từ ngữ để phát hiện việc sao chép và chỉnh sửa: Các công cụ như Grammarly và Microsoft Word.
• Tự động hóa các nhiệm vụ luật sư thông thường: Ví dụ như luật sư trí tuệ nhân tạo.

Lời kết

Xử lý ngôn ngữ tự nhiên là một trong những lĩnh vực nghiên cứu đang phát triển nhanh nhất trong lĩnh vực Trí tuệ nhân tạo, với các ứng dụng liên quan đến nhiệm vụ bao gồm dịch thuật, tóm tắt, tạo văn bản và phân tích cảm xúc. Doanh nghiệp sử dụng NLP để cung cấp một số ứng dụng ngày càng tăng, không chỉ bên trong doanh nghiệp như phát hiện gian lận bảo hiểm, xác định ý kiến của khách hàng mà còn các ứng dụng phục vụ khách hàng như Google Translate.