Tóm tắt lịch sử: Khi AI quyết định ứng tuyển vào vị trí trợ lý Giám đốc Dự án

Khoảng một năm trước, khi các công cụ Trí tuệ nhân tạo tạo sinh (GenAI) tiếp tục tiến bước không ngừng trên hành trình chinh phục thế giới, một số nhà nghiên cứu dũng cảm đã quyết định thử nghiệm chúng trong một lĩnh vực không ai ngờ đến, đó chính là quản lý dự án. Cụ thể, họ thử nghiệm AI như là trợ lý của một Giám đốc Dự án trong Bộ máy Hành chính Công của Ý (Italian Public Administration - Italian PA). Không ai nghĩ rằng sẽ có ngày chúng ta đánh giá các thuật toán quản lý một dự án của PA Ý.

Cùng lúc đó, các chuyên gia quản lý dự án quốc tế đã khẳng định rằng GenAI (và trong tương lai là phiên bản tiên tiến hơn - AGI-Artificial General Intelligence – trí tuệ nhân tạo tổng quát) sẽ cách mạng hóa công việc của các giám đốc dự án. Chắc chắn, tương lai của lĩnh vực này sẽ trở nên thú vị hơn bao giờ hết, không thể dự đoán trước và hy vọng, sẽ bớt đi những cuộc họp vô ích. Suy cho cùng, nếu có ai thực sự đánh giá cao sự hỗ trợ hiệu quả của AI, thì đó chính là những người làm quản lý dự án chuyên nghiệp!

Kế hoạch tiêu chuẩn hiện tại

Nghiên cứu trước đây đã được xác nhận và tiếp tục áp dụng cho các công cụ AI hàng đầu của Mỹ (gồm ChatGPT, Claude và Gemini), sau đó mở rộng sang một tân binh đến từ Trung Quốc (Deepseek), theo cách tiếp cận sau:

• Thiết lập kế hoạch đánh giá phù hợp với mô hình “Thực hành Quản lý dự án Tích hợp - (Integrated Project Management Practices)” theo tiêu chuẩn ISO 21502;
• "Dự án mẫu" là phiên bản đơn giản hóa của một dự án CNTT thực tế thuộc PA Ý, được cung cấp ngay từ khi bắt đầu cuộc hội thoại;
• Kiểm tra chất lượng bằng cách đặt cùng một bộ câu hỏi về quản lý dự án mẫu cho từng công cụ.
• Đánh giá từng câu trả lời dựa trên mô hình chất lượng đã áp dụng trước đó (Bảng 1 phía dưới), chấm điểm từng tiêu chí con theo thang điểm từ 0 đến 3 (theo thứ tự tăng dần), với mức đạt yêu cầu tối thiểu là 2 (tạm chấp nhận được).
• So sánh hiệu suất của các công cụ AI Mỹ theo hai phương pháp:
  • So sánh ngang (transversal): Đánh giá chất lượng giữa các công cụ trong cùng một giai đoạn thời gian.
  • So sánh dọc (longitudinal): Đánh giá sự tiến bộ của từng công cụ theo thời gian, bắt đầu từ Xuân/Hè 2023 trở đi.
• Bài thử nghiệm cho Deepseek được thực hiện vào mùa Đông 2025, ngay sau khi công cụ này được mở cho người dùng quốc tế.

Kết quả tiêu chuẩn: Các tính năng cạnh tranh (Các công cụ AI hàng đầu của Mỹ)

Trong bài đánh giá tiêu chuẩn vào mùa Hè 2024 (chỉ dành cho các công cụ AI hàng đầu của Mỹ), các công cụ AI đã tỏa sáng trong khả năng giao tiếp, cải thiện đáng kể điểm số về “tính khả dụng” so với các lần thử nghiệm trước. Cứ như thể tất cả đều đã tham gia một khóa học cấp tốc về thuật toán hùng biện vậy!

Sự trôi chảy trong các cuộc hội thoại cũng giúp nâng cao “tính phù hợp” của nội dung mà không làm giảm “tính khả dụng". Nói cách khác, những "anh bạn này" dường như đã học được cách tận dụng tinh hoa của quản lý dự án: trả lời chính xác mà không nhồi nhét quá nhiều thông tin thiếu tin cậy.

Người chiến thắng của lần so tài này (suýt soát như một cuộc đua ngựa) chính là Claude, giành "huy chương vàng" nhờ khả năng trích dẫn nhiều nguồn và cung cấp các liên kết thực tế (Hình 1). Tưởng tượng như PM có một thủ thư siêu năng động bên cạnh, liên tục đề xuất những tài liệu hữu ích được trích từ các sách quản lý dự án danh tiếng!

Hình 1 – Biểu đồ đánh giá chất lượng tổng thể của từng trợ lý ảo trong tất cả các giai đoạn của dự án.

Các trợ lý ảo (chatbot) không còn tạo ra các đường link kỳ quặc nữa mà thay vào đó, chúng hướng dẫn cách tự tìm kiếm thông tin trên web. Giống như việc trợ lý cá nhân của bạn không còn “bịa chuyện” mà thẳng thắn nói rằng: "Nào, bạn có thể tự tìm thông tin chính xác hơn!"

Phân tích so sánh đánh giá về các tiêu chí chất lượng của các trợ lý ảo trong từng giai đoạn khác nhau (Hình 2) cho thấy một số xu hướng chung trong cách mà chúng phản hồi ở các giai đoạn mô phỏng khác nhau của vòng đời dự án:

1. Tính phù hợp (Adequacy): Đạt mức trên trung bình ở tất cả các giai đoạn của dự án, ngoại trừ Gemini, chỉ vượt mức đạt yêu cầu một chút trong giai đoạn 3.
2. Tính đầy đủ (Completeness): Ở mức tiệm cận với mức đạt yêu cầu, hỗ trợ tốt hơn một chút trong Giai đoạn 1, nhưng Gemini gần như luôn dưới mức đạt yêu cầu.
3. Tính sáng tạo và khả năng học hỏi (Originality & Learning Ability): Ở mức chấp nhận được, ngoại trừ Gemini. Trong đó, Claude đạt kết quả tốt nhất. Đối với tất cả các giai đoạn sau Giai đoạn 1, chất lượng đều giảm rõ rệt.
4. Tính khả dụng (Usability): hơn mức chấp nhận được trong mọi giai đoạn của dự án, trong đó Gemini thậm chí nhỉnh hơn một chút so với các đối thủ.

Hình 2 – Biểu đồ đánh giá tổng hợp các tiêu chí chất lượng của từng trợ lý ảo trong tất cả các giai đoạn của dự án.

Xét về hiệu suất theo từng giai đoạn của dự án (Hình 3), chúng ta thấy rằng các công cụ AI của Mỹ có thế mạnh khác nhau ở từng giai đoạn:

• ChatGPT xuất sắc trong giai đoạn khởi động có tính phương pháp.
• Claude vượt trội trong giai đoạn triển khai thực tế, khi cần xử lý tình huống.
• Tất cả các AI đều gặp khó khăn với ý nghĩa thực sự của các bài học kinh nghiệm cuối cùng!

Hình 3 - Biểu đồ đánh giá chất lượng tổng thể của mỗi trợ lý ảo theo từng giai đoạn dự án

Hiệu suất kém của Gemini trong Giai đoạn 3 chủ yếu là do hiểu sai trạng thái dự án, dẫn đến một số câu trả lời thiếu tính hợp lý. Cuối cùng, công cụ này cũng thừa nhận vấn đề, nhưng chúng ta biết rằng việc có một câu trả lời chính xác ngay từ lần đầu tiên là điều quan trọng nhất: giám đốc dự án cần sự hỗ trợ ngay lập tức và đáng tin cậy từ trợ lý cá nhân AI của mình.

Tuy nhiên, trong tương lai, chúng ta cần cân nhắc đến hạn chế này để tối ưu cách đặt lệnh, giúp các công cụ AI hiểu rõ hơn và tránh những hướng dẫn mơ hồ.

Kết quả tiêu chuẩn: Đánh giá "dọc" (với thời hạn thử nghiệm một năm)

So sánh với các bài kiểm tra trước đây, tất cả các công cụ AI của Mỹ đều có sự cải thiện, với một số điểm nổi bật như sau:

• Câu trả lời cho các giai đoạn sau khi khởi động dự án hiện có mức độ chính xác và phù hợp cao hơn, mặc dù nội dung thuần túy về phương pháp luận.
• Các trích dẫn và liên kết web đến nguồn tài liệu đã cụ thể và chính xác hơn, nhưng vẫn còn một số hạn chế chưa được cải thiện.
• Có sự cải thiện rõ ràng trong tiêu chí đánh giá “tính đầy đủ”, ngay cả khi Gemini vẫn chưa đạt yêu cầu và ChatGPT chỉ vừa chạm ngưỡng có thể chấp nhận được.
• “Tính khả dụng” dù được kỳ vọng cao nhờ giao diện dễ sử dụng, nhưng không cải thiện nhiều. Lý do có thể là do các công cụ AI đều giới hạn số lượng từ (token) trong các cuộc trò chuyện miễn phí.

Dù sao đi nữa, ChatGPT là công cụ có mức độ cải thiện cao nhất, có lẽ vì lần đánh giá đầu tiên của nó đã diễn ra từ hơn 1,5 năm trước, trong khi các công cụ khác chỉ bắt đầu được đánh giá khoảng 1 năm trở lại đây. Dù vậy, điểm tổng thể của ChatGPT vẫn hơi thấp hơn so với các đối thủ. Đáng chú ý là Claude không có nhiều tiến bộ, có thể do ngay từ lần đánh giá đầu tiên, nó đã đạt được kết quả khá tốt. Tuy nhiên, kỳ vọng dành cho Claude vốn dĩ vẫn rất cao!

Trong lần cập nhật mùa Đông vừa qua, một đối thủ mới đến từ Trung Quốc đã gia nhập cuộc đua: Deepseek – chính thức bước chân vào sân chơi đầy thử thách!

Deepseek đạt điểm tổng thể ở mức cao nhất (Hình 4), thậm chí nhỉnh hơn một chút so với các công cụ của Mỹ. Cụ thể, công cụ này:

• Vượt trội về "Tính đầy đủ" (Hình 5).
• Hạn chế ở "Tính khả dụng” (Hình 8).
• Hiệu suất tương đương về "Tính phù hợp" (Hình 6) và "Tính sáng tạo & khả năng học hỏi” (Hình 7).

Hình 4 – Biểu đồ về sự phát triển trong đánh giá chất lượng tổng thể của các trợ lý ảo từ Mỹ và Trung Quốc

Hình 5 - Biểu đồ về sự phát triển trong tiêu chí "Tính đầy đủ" của các trợ lý ảo từ Mỹ và Trung Quốc

Hình 6 - Biểu đồ về sự phát triển trong tiêu chí “Tính phù hợp” của các trợ lý ảo từ Mỹ và Trung Quốc

Hình 7 - Biểu đồ về sự phát triển trong tiêu chí “Tính sáng tạo và khả năng học hỏi” của các trợ lý ảo từ Mỹ và Trung Quốc

Hình 8 – Biểu đồ về sự phát triển trong tiêu chí “Tính khả dụng” của các trợ lý ảo từ Mỹ và Trung Quốc

Những điểm quan trọng xuyên suốt quá trình đánh giá tiêu chuẩn

Trong bài đánh giá tiêu chuẩn gần đây, chúng tôi vẫn chỉ sử dụng các phiên bản miễn phí của các công cụ AI để đảm bảo tính nhất quán với các bài kiểm tra trước đó. Khi quan sát kỹ hơn, chúng tôi nhận ra một số điểm thú vị trong cách các trợ lý ảo này cố gắng hỗ trợ một dự án PA "tốt hơn":

1. Thiếu sót quan trọng – Có vẻ như các công cụ AI đã bỏ quên hai yếu tố then chốt là “tái cấu trúc” và “giao tiếp” trong các đề xuất của mình. Phải chăng chúng xem những yếu tố quan trọng này chỉ là “phụ kiện” không cần thiết?
2. Vật tế thần quen thuộc – Dường như lỗi “yêu cầu không cố định” luôn là cái cớ lý tưởng cho mọi trợ lý ảo. Không ngờ AI cũng giỏi tìm “đầu mối chịu trận” chẳng kém gì các nhà quản lý dự án ngoài đời thực!
3. Thiếu tính tò mò – Các trợ lý ảo dường như đã quên mất nghệ thuật đặt câu hỏi. Thay vì đào sâu vấn đề như con người, chúng lại thích cung cấp những giải pháp đóng gói sẵn – đôi khi chẳng liên quan đến vấn đề cần giải quyết.
4. Chu trình kết hợp thần kỳ – Mọi công cụ AI đều đồng loạt đề xuất mô hình phát triển kết hợp (hybrid development approach) cho dự án ICT mẫu, như thể đây là “cây đũa thần” có thể giải quyết mọi vấn đề.
5. Câu trả lời kiểu "sách vở" – Khi rơi vào thế bí, các công cụ AI (đặc biệt là những công cụ từ Mỹ) có xu hướng tìm kiếm câu trả lời trong các tài liệu hướng dẫn phần mềm. Giống như một người quản lý dự án quyết định xem qua và đọc to lên một trích đoạn ngẫu nhiên từ một sách hướng dẫn kiến thức chuẩn vậy!

Trong các vòng đánh giá sắp tới, chúng tôi dự định cung cấp cho các công cụ AI (bao gồm từ Mỹ và cả Trung Quốc) bối cảnh phong phú hơn và các câu hỏi cụ thể hơn. Dù sao đi nữa, ngay cả một Giám đốc Dự án giỏi nhất cũng cần thông tin đầy đủ để quản lý một dự án thành công!

Tóm lại, các trợ lý AI được lựa chọn để đánh giá đã có những bước tiến đáng kể, nhưng vẫn còn nhiều điều phải học về quản lý dự án. Trước khi có thể tự mình điều hành các "siêu dự án" của chính quyền Ý, có lẽ chúng còn cần thêm vài khóa đào tạo thực tế!

Kết luận: AI trong vai trò trợ lý quản lý dự án PA/ICT

Sau một năm thử nghiệm với các công cụ AI qua bài đánh giá tiêu chuẩn, chúng tôi cuối cùng cũng có thể rút ra một số kết luận.

Các công cụ AI đến từ Mỹ đã có những cải tiến rõ rệt, chứng tỏ chúng đã học hỏi và nâng cấp đáng kể trong suốt một năm qua. Giờ đây, câu trả lời của chúng thậm chí còn đáng tin cậy hơn cả lời hứa của một chính trị gia trong mùa tranh cử!

Hãy tưởng tượng nếu những kỹ năng này được ứng dụng vào quy trình hành chính công, đặc biệt là trong lĩnh vực quản lý đấu thầu. Khi đó, các giám đốc dự án sẽ có một trợ lý không bao giờ đòi hỏi nghỉ giải lao hay xin nghỉ phép.

Nếu chúng ta có thể xây dựng một cơ sở dữ liệu dự án và thiết lập cho các công cụ AI từng ngữ cảnh chuyên biệt, các câu trả lời của chúng sẽ trở nên chính xác và phù hợp đến mức ngay cả những chuyên gia khó tính nhất cũng phải hài lòng.

DeepSeek là công cụ duy nhất thẳng thắn thừa nhận tầm quan trọng của dữ liệu mang tính tình huống và đề xuất cách tiếp cận hợp lý để cải thiện điểm yếu này. Đáng tiếc là nó lại không đưa ra vấn đề này đúng thời điểm! Dù sao đi nữa, DeepSeek vẫn không phải là “kẻ ngoài cuộc" trong cuộc cạnh tranh AI toàn cầu.

Ở thời điểm hiện tại, AI trong quản lý dự án giống như pháp sư Merlin thuở mới vào nghề – đầy tiềm năng, nhưng vẫn cần thời gian để kiểm soát "phép thuật" của mình. Chúng ta cần kiên nhẫn chờ đợi và sẵn sàng đồng hành trên hành trình này, với một chút lạc quan và rất nhiều tò mò. Sau cùng, nếu AI có thể giải mã được mê cung quan liêu trong các cơ quan hành chính trên toàn cầu, thì có lẽ con người cũng có hy vọng tìm được lối ra mà không... phát điên! Một số nghiên cứu khác cũng chỉ ra rằng AI có thể đóng vai trò hỗ trợ đào tạo thực tiễn cho các nhà quản lý dự án mới vào nghề. Ngoài ra, khả năng tương tác phức tạp với các bên liên quan (các quan chức PA, người dân, doanh nghiệp bị ảnh hưởng) cũng sẽ được cải thiện đáng kể nhờ vào AI.

Ngoài ra, một lời kêu gọi chung dành cho các công cụ AI: xin đừng trở thành một AI "phân tán" (có quá nhiều mô hình/tính năng, và chi phí cấu hình khác nhau,...). Ngay bây giờ, với sứ mệnh đơn giản hóa cuộc sống của chúng ta, các bạn đang làm ngược lại, điều này làm cho trải nghiệm của người dùng trở nên phức tạp hơn…

Ghi chú và Lời cảm ơn

Các bài đánh giá gần đây được thực hiện trên từng công cụ AI như sau:

• ChatGPT (GPT-4): 14-15/07/2024 → https://chat.openai.com/chat
• Claude (Sonnet): 16-17/07/2024 → https://claude.ai/new
• Gemini: 29-30/07/2024 → https://gemini.google.com/app
• DeepSeek: 25-31/01/2025 → https://chat.deepseek.com

Các bài đánh giá trước đó diễn ra từ tháng 3/2023 đến tháng 8/2024 (bằng tiếng Ý).

Các phần Hỏi & Đáp đã được dịch từ tiếng Ý sang tiếng Anh (nếu cần) bằng chính công cụ AI được đánh giá.

Không có bất kỳ thông tin cá nhân hoặc bảo mật nào được chia sẻ với các công cụ AI được đề cập.

Tài liệu tham khảo

[1] Minelle F., Stolfi AI to support PM: a ChatGPT quality assessment (ß test) “PM World Journal” (June 2023)

[2] Minelle F., Stolfi F., Di Giacchino R. L’IA generativa per il PM, dopo 1 anno: benchmark di qualità (2.0) (in Italian) “il Project Manager” FrancoAngeli (n.60/2024)

[3] Nieto-Rodriguez A., Viana Vargas R. How AI Will Transform Project Management “Harvard Business Review” (March 2023)

[4] Nieto-Rodriguez A., Viana Vargas R. Unleashing the Power of Artificial Intelligence in Project Management (August 2023)

[5] Herszon L., Kerzner H. Artificial Intelligence: Tool, Friend, or Enemy? “IIL-International Institute for Learning” (September 2024) 

[6] Bross-Puglisi J. Superhuman: How to Create the Next Generation of Project Management Superheroes with AI “IIL-International Institute for Learning” (October 2024) 

[7] Hopkinson M. On the Subject of AI, ChatGPT and Risk Letter to the Editor “PM World Journal” (June 2023)

[8] Minelle F., Stolfi F. Comments on June letter about AI, ChatGPT and Risk Letter to the Editor “PM World Journal” (July 2023) 
[9] Pirozzi M. The Stakeholder Perspective in the Generative Artificial Intelligence Scenario and the AI-Stakeholders “PM World Journal” (August 2024) 

[10] Pirozzi M., Quagliarini A., Remediani E. et alia Effective Project Communication: Navigating Stakeholder Engagement in the AI-Powered Era “PM World Journal” (January 2025) 

[11] Minelle F., Stolfi F. L’AI per il PM, oggi: assessment di qualità su ChatGPT (1.0) “il Project Manager” FrancoAngeli (n.54/2023)

[12] Minelle F., Stolfi F. ChatGPT a supporto del Project Manager per il PNRR “Agenda Digitale” (Maggio 2023)

[13] Minelle F., Stolfi F. L’IA a supporto del Project Manager per il PNRR: tool a confronto “Agenda Digitale” (Luglio 2023) 

[14] Minelle F., Stolfi F. L’AI generativa a supporto del project Manager per il PNRR: ecco le soluzioni “Agenda Digitale” (Ottobre 2023) 

Bài báo được đăng trên PM World Journal (ISSN: 2330-4480)

Nguồn: pmworldjournal.com

Dịch: Atoha