Luận án tiến sĩ: Ngôn ngữ hình ảnh Tropes - Christine M. Keuper

Các mô hình máy tính sớm thất bại khi gặp phép tu từ. Shakespeare viết 'Night's candles are burnt out' - ngọn nến của đêm đã tắt. Máy tính không hiểu 'candles' ám chỉ các vị sao. Bộ não con người xử lý ý nghĩa này ngay lập tức. Sự khác biệt này xuất phát từ cách tổ chức tri thức. Mô hình truyền thống chỉ mô phỏng thùy thái dương trái. Vùng não này xử lý ngôn ngữ mệnh đề. Các vùng não khác xử lý hình ảnh và cảm giác. Image-text alignment giúp kết nối các biểu diễn này. Visual question answering yêu cầu hiểu cả ngôn ngữ và hình ảnh.

Não bộ tổ chức tri thức theo nhiều chiều. Phân loại phân loại học xếp các khái niệm theo cấp bậc. Phân loại bộ phận mô tả mối quan hệ phần-tổng thể. Phân loại chủ đề nhóm các từ theo ngữ cảnh. Phân loại tri giác dựa trên đặc điểm cảm quan. Phân loại chức năng nhóm các từ theo mục đích sử dụng. Scene understanding yêu cầu tích hợp tất cả các loại phân loại này. Object detection cung cấp nền tảng cho phân loại tri giác. CLIP kết nối biểu diễn hình ảnh với biểu diễn văn bản. Image captioning tạo mô tả ngôn ngữ từ nội dung hình ảnh.

Các mô hình truyền thống giả định não bộ sử dụng thiết bị tiếp nhận ngôn ngữ dựa trên ngữ pháp. Giả định này ảnh hưởng đến thiết kế hệ thống NLP. Nghiên cứu về tiếp nhận ngôn ngữ của trẻ em cho thấy điều khác. Ngữ pháp chỉ xuất hiện vào năm thứ ba. Trẻ em học ngôn ngữ qua trải nghiệm đa giác quan. Computer vision và multimodal learning phản ánh quá trình này tốt hơn. Visual embeddings mô phỏng cách não bộ mã hóa thông tin cảm quan.

Phân loại tri giác nhóm các từ theo đặc điểm cảm quan. Màu sắc, hình dạng, kết cấu tạo nên các nhóm này. Phân loại chức năng nhóm các từ theo cách sử dụng. Công cụ, phương tiện, đồ dùng thuộc các nhóm chức năng khác nhau. Computer vision trích xuất các đặc điểm tri giác từ hình ảnh. Visual embeddings biểu diễn các đặc điểm này dưới dạng số. CLIP học cách kết nối mô tả văn bản với đặc điểm hình ảnh. Image captioning tạo mô tả dựa trên các phân loại này. Multimodal learning kết hợp thông tin từ nhiều nguồn.

Kết nối tenor-vehicle mở rộng các phân loại tri giác và chức năng. Ẩn dụ tạo cầu nối giữa các miền khái niệm khác nhau. 'Time is money' kết nối miền thời gian với miền tiền tệ. Vision-language models học các kết nối này từ dữ liệu. Image-text alignment giúp xác định các ẩn dụ hình ảnh. Visual question answering kiểm tra khả năng hiểu ẩn dụ. Scene understanding yêu cầu diễn giải các yếu tố ẩn dụ trong cảnh. Object detection cung cấp thông tin cơ bản cho việc này.

Phân loại chủ đề nhóm các từ theo ngữ cảnh và tình huống. Nhà hàng, bệnh viện, trường học tạo nên các chủ đề khác nhau. Hoán dụ dựa vào các mối quan hệ trong cùng chủ đề. 'The White House announced' sử dụng địa điểm thay cho người. Multimodal learning giúp xác định ngữ cảnh chủ đề. Computer vision nhận diện các yếu tố trong cảnh. Scene understanding tích hợp thông tin để hiểu chủ đề. Visual embeddings mã hóa mối quan hệ giữa các yếu tố. CLIP kết nối mô tả văn bản với cảnh hình ảnh tương ứng.

ASL sử dụng hình dạng tay để phân loại đối tượng. Các đối tượng phẳng, tròn, dài có bộ phân loại riêng. Tiếng Nhật dùng các từ khác nhau để đếm các loại đối tượng. Tiếng Swahili có tiền tố danh từ chỉ hình dạng và kích thước. Computer vision trích xuất các đặc điểm hình dạng tương tự. Visual embeddings mã hóa thông tin về hình dạng và kích thước. Object detection phân loại đối tượng theo đặc điểm hình ảnh. CLIP học kết nối giữa mô tả hình dạng và hình ảnh thực tế. Scene understanding sử dụng thông tin phân loại này để diễn giải cảnh.

Bộ phân loại chức năng nhóm đối tượng theo cách sử dụng. Công cụ, phương tiện, đồ dùng ăn uống có bộ phân loại riêng. Tiếng Nhật phân biệt các loại phương tiện giao thông. ASL sử dụng chuyển động để chỉ chức năng. Multimodal learning kết hợp thông tin hình ảnh và chức năng. Visual question answering kiểm tra hiểu biết về chức năng đối tượng. Image captioning mô tả cả hình dạng và chức năng. Vision-language models học mối quan hệ giữa hình thức và chức năng. Image-text alignment đảm bảo mô tả chính xác về cả hai khía cạnh.

Một số ngôn ngữ có phân loại dựa trên niềm tin thần thoại. Tiếng Dyirbal phân loại theo giới tính thần thoại. Tiếng Pháp và Đức có giới tính ngữ pháp. Tiếng Anh vẫn giữ dấu vết của hệ thống này. Computer vision không trực tiếp xử lý các phân loại văn hóa này. Visual embeddings có thể học các mẫu từ dữ liệu. Multimodal learning kết hợp thông tin ngôn ngữ và hình ảnh. CLIP học các kết nối văn hóa từ dữ liệu huấn luyện. Scene understanding cần xem xét bối cảnh văn hóa.

Ẩn dụ mở rộng phân loại tri giác và chức năng. 'Night's candles' kết nối ngọn nến với ngôi sao. Cả hai đều phát sáng trong bóng tối. Computer vision trích xuất đặc điểm ánh sáng từ hình ảnh. Visual embeddings mã hóa các đặc điểm chung này. CLIP học kết nối giữa các đối tượng có đặc điểm tương tự. Image-text alignment giúp xác định các ẩn dụ trong văn bản. Vision-language models tạo ra các kết nối ẩn dụ mới. Multimodal learning kết hợp thông tin từ nhiều giác quan. Scene understanding cung cấp ngữ cảnh cho ẩn dụ.

Hoán dụ dựa vào mối quan hệ trong cùng chủ đề. 'The crown' đại diện cho vua hoặc nữ hoàng. Cả hai đều thuộc chủ đề hoàng gia. Scene understanding xác định các yếu tố trong cùng ngữ cảnh. Object detection nhận diện các đối tượng liên quan. Visual embeddings mã hóa mối quan hệ giữa chúng. Image captioning mô tả các yếu tố trong cảnh. Multimodal learning tích hợp thông tin để hiểu hoán dụ. Computer vision cung cấp thông tin hình ảnh về ngữ cảnh. Visual question answering kiểm tra hiểu biết về mối quan hệ.

Nói giảm nói tránh sử dụng cấu trúc phân loại học và bộ phận. 'Wheels' đại diện cho toàn bộ xe hơi. Bánh xe là bộ phận của xe. Object detection xác định các bộ phận của đối tượng. Computer vision phân tích mối quan hệ phần-tổng thể. Visual embeddings mã hóa cấu trúc phân cấp. CLIP học kết nối giữa phần và tổng thể. Scene understanding diễn giải ý nghĩa trong ngữ cảnh. Image-text alignment đảm bảo hiểu đúng mối quan hệ. Vision-language models xử lý các cấp độ trừu tượng khác nhau.

CLIP học biểu diễn chung cho hình ảnh và văn bản. Mô hình sử dụng học contrastive để kết nối hai phương thức. Hình ảnh và mô tả tương ứng được đưa gần nhau trong không gian vector. Hình ảnh và mô tả không tương ứng bị đẩy xa. Visual embeddings tạo ra từ quá trình này rất mạnh mẽ. Chúng nắm bắt cả thông tin hình ảnh và ngữ nghĩa. Computer vision trích xuất đặc điểm từ hình ảnh. Mô hình ngôn ngữ xử lý văn bản. Multimodal learning kết hợp cả hai luồng thông tin. Image-text alignment là mục tiêu chính của huấn luyện.

Visual question answering yêu cầu hiểu cả câu hỏi và hình ảnh. Hệ thống phải diễn giải ngôn ngữ hình ảnh trong câu hỏi. 'What time of day is shown?' có thể hỏi về hình ảnh hoàng hôn. Scene understanding phân tích các yếu tố trong cảnh. Object detection xác định các đối tượng liên quan. Visual embeddings mã hóa thông tin từ cả hai nguồn. Vision-language models tích hợp thông tin để trả lời. Computer vision cung cấp thông tin hình ảnh chi tiết. Multimodal learning kết hợp với xử lý ngôn ngữ. Image-text alignment đảm bảo hiểu đúng câu hỏi.

Image captioning tạo mô tả ngôn ngữ tự nhiên từ hình ảnh. Hệ thống phải nhận diện đối tượng và mối quan hệ. Nó cũng phải sử dụng ngôn ngữ hình ảnh phù hợp. Object detection xác định các yếu tố trong cảnh. Scene understanding phân tích bố cục và ngữ cảnh. Visual embeddings mã hóa thông tin hình ảnh. Vision-language models tạo ra văn bản mô tả. Computer vision cung cấp thông tin đầu vào. Multimodal learning tối ưu hóa quá trình tạo mô tả. Image-text alignment đảm bảo mô tả chính xác và tự nhiên.

Dịch máy truyền thống gặp khó khăn với phép tu từ. Ẩn dụ và hoán dụ thường bị dịch sai. Mô hình mới sử dụng phân loại tri giác và chức năng. Chúng hiểu ý nghĩa đằng sau ngôn ngữ hình ảnh. Vision-language models cung cấp ngữ cảnh hình ảnh. Computer vision giúp hiểu các ẩn dụ hình ảnh. Visual embeddings mã hóa ý nghĩa sâu hơn. Multimodal learning kết hợp thông tin từ nhiều nguồn. Image-text alignment đảm bảo dịch chính xác. CLIP cung cấp biểu diễn đa ngôn ngữ và đa phương thức.

Hệ thống hỏi đáp cần hiểu ngôn ngữ tự nhiên. Người dùng thường sử dụng ẩn dụ và hoán dụ. Mô hình dựa trên não bộ xử lý tốt hơn. Scene understanding cung cấp ngữ cảnh cho câu hỏi. Object detection xác định các yếu tố liên quan. Visual question answering tích hợp thông tin hình ảnh. Vision-language models hiểu cả ngôn ngữ và hình ảnh. Computer vision cung cấp thông tin bổ sung. Visual embeddings mã hóa tri thức phong phú. Multimodal learning tối ưu hóa hiệu suất. Image-text alignment đảm bảo trả lời chính xác.

Tạo văn bản tự động đang ngày càng phát triển. Ngôn ngữ hình ảnh làm văn bản sinh động hơn. Mô hình mới tạo ra ẩn dụ và hoán dụ phù hợp. Image captioning cung cấp mô tả phong phú. Vision-language models học từ văn bản sáng tạo. Computer vision cung cấp cảm hứng từ hình ảnh. Visual embeddings mã hóa các khái niệm trừu tượng. Multimodal learning kết hợp nhiều nguồn tri thức. CLIP và các mô hình tương tự mở ra khả năng mới. Scene understanding cung cấp ngữ cảnh cho sáng tạo. Object detection xác định các yếu tố để mô tả. Image-text alignment đảm bảo văn bản nhất quán và tự nhiên.