NPU tự phát triển, xu hướng tất yếu của mỗi hãng công nghệ

Google có TPU. Nvidia có NVDLA hoặc nhân Tensor trong card RTX tiêu dùng. Apple có Neural Engine. Samsung có Neural Processing Unit (NPU). Huawei có Ascend. OPPO có MariSilicon X. Điểm chung của tất cả những giải pháp kể trên, chúng đều là những chip bán dẫn đảm nhận xử lý thông tin. Nhưng kiểu chip bán dẫn này rất khác so với kết cấu của CPU và GPU truyền thống. Ở quy mô toàn ngành công nghệ, những giải pháp chip xử lý dạng NPU (Neural Processing Unit) kể trên được thiết kế với lời hứa hẹn tạo ra sức mạnh xử lý ấn tượng mà không bị bó buộc bởi những hạn chế vốn có của kiến trúc CPU đa dụng và GPU xử lý đồ họa hiệu năng cao ở thời điểm hiện tại.

Để tiện so sánh một cách dễ hiểu và ngắn gọn:

• CPU tính toán các phép tính dựa trên các tác vụ được đặt lệnh, và phải lưu trữ kết quả tính toán trong bộ nhớ đệm L1 hoặc registers. Việc lưu trữ và truy xuất thông tin như thế này tạo ra tình trạng nghẽn cổ chai của kiến trúc CPU đa dụng, gọi là “von Neumann bottleneck”.
• GPU hiện đại thường có từ 2500 đến 5000 cụm xử lý arithmetic logic unit (ALU), cho phép xử lý hàng nghìn phép tính cùng lúc. Nhưng tương tự như CPU, mỗi phép tính trong tổng số hàng nghìn phép tính kể trên cũng cần phải truy xuất vào register hoặc bộ nhớ VRAM để đọc và lưu kết quả tính toán.
• Còn trong khi đó, một chip NPU triển khai tính toán dựa trên deep neural network, với khả năng xử lý hàng tỷ đến hàng nghìn tỷ phép tính cùng lúc dựa vào input cho sẵn, và dựa vào các model deep learning xử lý ma trận. Với NPU, những tác vụ logic đơn giản được xử lý rất tốt, vì bản chất workload của chúng thường thể hiện tính đồng nhất cao trong các mẫu tính toán từ deep neural network. Vì lý do đó, các NPU thường được các hãng thiết kế để phục vụ một số mục đích riêng biệt để tối ưu hiệu năng xử lý.

NPU trong phạm vi xử lý hình ảnh của smartphone

Lấy ví dụ trong trường hợp của OPPO. MariSilicon X của họ đảm trách phần việc xử lý hình ảnh chụp từ cụm camera để xử lý chúng, tạo ra kết quả là những bức hình và những đoạn video chất lượng cao đầy ấn tượng. Nhờ vào khả năng xử lý của NPU này kết hợp với các ISP và các tính năng phụ tích hợp trong con chip, máy có thể chụp được những bức hình Ultra HDR, xử lý RAW Processing, hay nhờ AI để xử lý video 4K quay trong điều kiện thiếu sáng.

Trong MariSilicon X có 2 bộ phận quan trọng phục vụ cho nhu cầu nhiếp ảnh smartphone: Bộ xử lý hình ảnh ISP và nhân AI chuyên dụng cho hình ảnh. ISP bình thường hay nằm chung trong AP, ví dụ như trong các chip Snapdragon chẳng hạn, nhưng giờ Oppo tách nó ra riêng để tối ưu hơn. ISP của MariSilicon X có khả năng xử lý được hình ảnh Ultra HDR 20-bit, hỗ trợ video 4K HDR và nhiều thông số khác. Xét trên những gì OPPO giới thiệu hôm vừa rồi, MariSilicon X là một ISP tích hợp NPU rất mạnh, rất tiềm năng.

Cỏn trong những trường hợp khác, nhờ NPU, thiết bị có thể trở nên thông minh hơn trong quá trình nhận diện gương mặt, vân tay, hoặc hỗ trợ xe điện tự hành, chẩn đoán y khoa, cùng rất nhiều tác vụ khác rất có tiềm năng, chứ không chỉ gói gọn trong phạm vi xử lý hình ảnh chụp từ camera của smartphone. Chẳng riêng gì OPPO, bản thân những chip NPU đối với thị trường smartphone cũng đang là xu hướng để các hãng chạy đua, tạo ra những sản phẩm phục vụ người dùng tốt hơn, bắt đầu với khả năng chụp ảnh đẹp hơn chẳng hạn.



Đến đây, thực tế của ngành công nghệ cũng được phô bày. Mỗi hãng cần NPU xử lý các tác vụ deep learning cho những nhu cầu rất khác nhau. Vì thế cũng chẳng mấy khi thấy các hãng đi… mua thiết kế NPU của một nhà sản xuất, đem về tinh chỉnh rồi trang bị trong sản phẩm của họ. Tuyệt đại đa số các tập đoàn công nghệ lớn trên thế giới, nếu có NPU, đều tự phát triển chip xử lý deep learning, hay chính bản thân cả mẫu SoC trang bị trong những món đồ chơi công nghệ nói chung.



Trong vài năm gần đây, tự phát triển chip bán dẫn cũng trở thành xu hướng của các ông lớn trong ngành công nghệ. Nếu như bước chuyển từ CPU x86 Intel sang SoC kiến trúc ARM trên máy tính của Apple đã tốn quá nhiều giấy mực của cộng đồng công nghệ, thì bước chuyển tương tự ở thị trường smartphone lại hiếm khi được thấy nhắc đến và phân tích một cách toàn diện.

Nói một cách dễ hiểu, bản thân việc tự phát triển chip bao hàm tham vọng tự chủ công nghệ cũng như kiểm soát tốt hơn quá trình thiết kế và phát triển sản phẩm, khi các hãng sẽ không còn phải phụ thuộc vào các đối tác sản xuất những con chip bán dẫn quan trọng nữa. Ví dụ đơn cử để thoát khỏi sự phụ thuộc vào Qualcomm, cũng như tạo ra khả năng tùy chỉnh chip xử lý tốt hơn cho Pixel 6, quan trọng nhất là thêm vào SoC cụm NPU xử lý deep learning, Google đã tạo ra một trong những chiếc điện thoại chụp hình tốt nhất trên thị trường vào thời điểm hiện tại. Cùng lúc, việc tối ưu khả năng xử lý của neural network cũng khiến thời lượng pin của thiết bị được tối ưu tốt hơn.

Còn trong khi đó, MariSilicon X dự kiến sẽ ra mắt trên thế hệ Find X mới nhất, được OPPO giới thiệu vào quý I sang năm.

Làm chip khó lắm, phải đâu chuyện đùa?

Đối với người tiêu dùng như mình và anh em, nói đến những tiềm năng trong tương lai gần của NPU như xe điện tự vận hành, kiểm soát an ninh hay chẩn đoán y khoa thì xa vời quá. Chí ít thì ở thời điểm hiện tại, trên những chiếc smartphone đời mới anh em đang sử dụng, NPU đã và đang phục vụ tốt nhu cầu của từng cá nhân, từ nhận diện gương mặt tốt hơn, đến chụp ảnh đẹp hơn. Những tiềm năng đầy hứa hẹn được liệt kê ở trên, thiết nghĩ, nên dành cho các kỹ sư và chuyên gia nghiên cứu, và chờ đợi giải pháp trong tương lai gần. Còn bây giờ hãy cứ tạm quy hoạch kỳ vọng và tham vọng của NPU bên trong giới hạn khả năng xử lý và phục vụ người dùng của smartphone đã.



Phát triển một con chip mới, chưa nói đến việc phát triển một cụm xử lý neural network là áp lực rất lớn về mặt tài chính cũng như công nghệ đối với mỗi hãng. Phát triển sản phẩm là việc của đội ngũ kỹ sư, những người có tư duy thuần túy về mặt công nghệ, cố gắng hết sức để tạo ra những sản phẩm tốt nhất để thương mại hóa. Nhưng về phần những người làm kinh doanh của cùng một tập đoàn, nỗi lo của họ lớn hơn một chút, đó là làm thế nào để thương mại hóa sản phẩm, biến khoản đầu tư sức người và sức của khi phát triển chip NPU trở thành tiền đề cho doanh số và lợi nhuận, cũng như cùng lúc phải làm tiền đề cho những thế hệ chip xử lý tiếp theo ra mắt trong tương lai, mạnh hơn, xử lý nhanh hơn, tiêu thụ điện ít hơn và kết quả tính toán tốt hơn so với thế hệ trước.

Tự phát triển chip có quá nhiều thách thức, không chỉ từ chính nội bộ đội ngũ nghiên cứu, mà áp lực còn đến từ các đối thủ cạnh tranh bên ngoài nữa. Khi sản phẩm với NPU mới ra mắt, chắc chắn 100% sản phẩm mới ấy sẽ bị đem ra so sánh với những giải pháp NPU đang có trên thị trường, để người tiêu dùng đi đến quyết định bỏ tiền mua sản phẩm cao cấp có đáng hay không. Và rồi như đã nói, sẽ đến lúc thế hệ NPU tiếp theo ra mắt, và cộng đồng sẽ tiếp tục đem chúng ra so sánh xem bước nhảy về hiệu năng có đủ xa hay không. Nó giống như một vòng tuần hoàn bất tận của làng công nghệ, đem thế hệ phần cứng và phần mềm đời sau so sánh với đời trước.

Từ “công nghệ phụ trợ” trở thành “công nghệ lõi”

Vài năm trước, cụ thể hơn là quãng 2018, giới công nghệ tỏ ý hoài nghi về tiềm năng và tương lai của “neural network”, bày tỏ lo ngại rằng những từ khóa hot trên thị trường lúc bấy giờ đơn thuần chỉ là khái niệm marketing của các hãng để bán ra sản phẩm mới, tạo ra những hứa hẹn về “neural processing” để giúp trải nghiệm người dùng được tốt hơn. May mắn thay, thái độ của thị trường giờ đã thay đổi, sau khi những giải pháp NPU trong smartphone thực sự có hiệu quả, chí ít là trong khuôn khổ tính năng chụp hình và quay video, một trong những xu hướng chạy đua của các hãng smartphone hiện tại, thay thế cho cuộc chạy đua cấu hình và thời lượng pin diễn ra cách đây trên dưới chục năm.

Cuộc chạy đua NPU trong vài năm trở lại đây dẫn đến một hệ quả, đó là từ một công nghệ phụ trợ góp phần tăng chất lượng sản phẩm như ban đầu, NPU trong smartphone đã trở thành một công nghệ lõi đúng nghĩa đen, đứng ngang hàng với kiến trúc SoC, tiến trình sản xuất chip, kernel hệ điều hành, chất liệu sản xuất thiết bị, hay chính bản thân hệ thống camera trang bị ở mặt lưng mỗi chiếc máy. Đó cũng chính là thứ mà các hãng như OPPO đang cố gắng làm chủ, tối ưu và phát triển để tạo ra những sản phẩm tốt hơn phục vụ anh em.

Và đối với riêng trường hợp của OPPO, họ cũng rất khôn ngoan khi tập trung đầu tư nguồn lực tài chính và nhân sự để phát triển những thứ vừa thực sự quan trọng, vừa là thế mạnh của họ, cùng lúc vừa là xu hướng của cuộc chạy đua smartphone cao cấp ở thời điểm hiện tại. Bắt đầu với MariSilicon X, họ không cố gắng tạo ra một thứ gì đó khủng khiếp như các cụm xử lý tín hiệu video đầu vào như Apple Silicon M1, mà thay vào đó là tập trung tạo ra một con chip xử lý tín hiệu hình ảnh tích hợp NPU để phục vụ những nhu cầu cơ bản nhất của người sử dụng.

Rồi sau đó, trong tương lai gần, khi đã nắm bắt được kỹ nghệ phát triển, đội ngũ kỹ sư của họ rồi sẽ đủ khả năng tạo ra những NPU tích hợp trong ISP hoặc thậm chí là cả SoC riêng tự phát triển, để từ đó tiếp tục tạo ra những sản phẩm thương mại tốt hơn, đáng sở hữu hơn.