接下來我們要看看GIGABYTE為AI TOP ATOM獨家提供的AI TOP Utility公用程式的功能，並動手玩大型語言模型聊天機器人。
AI訓練與推論的入門磚
GIGABYTE於2024年開始推出AI TOP產品線，除了具有工作站、零組件等產品之外，也推出搭配的AI TOP Utility公用程式，提供系統監控、模型訓練與微調、AI推論與RAG（Retrieval Augmented Generation，檢索增強生成）等等功能。
使用者可以在AI TOP Utility的監控面板查看處理器（CPU）、繪圖處理器（GPU）、系統記憶體、繪圖記憶體（VRAM）、固態硬碟的即時資訊，掌握機器的運作狀態。
GIGABYTE也提供機器學習（Machine Learning，簡稱ML）專案範本，協助沒有程式開發基礎的使用者也能快速上手，並透過資料集產生器將雜亂無章的資料轉換為結構化清單，以用於模型的微調與客製化，或是透過RAG的方式改善模型推論的準確度。
而對於不想自己訓練或微調模型的使用者而言，AI TOP Utility也整合了從Hugging Face網站下載模型的功能，只要下載現成的模型就可以立即完成大型語言模型（Large Language Model，LLM）聊天機器人，或是進行圖像生成等AI功能。
▲ GIGABYTE推出多款AI TOP工作站與零組件產品，這次進行實測的AI TOP ATOM是GIGABYTE客製化的DGX Spark迷你AI工作站。
▲ AI TOP ATOM搭載以Ubuntu為基礎的DGX OS，具有圖型化操作介面，並預載需要的各種驅動程式、運算框架。
▲ 在作業系統中的系統資訊可以看到，AI TOP ATOM具有20組處理器核心以及NVIDIA Tegra GB10顯示卡，並搭載容量為4 TB的固態硬碟。
▲ 接著從GIGABYTE官方網站下載AI TOP ATOM版AI TOP Utility程式。下載後雙擊安裝檔即會自動完成安裝手續。
▲ 安裝完成後就可以在Ubuntu作業系統的程式清單中找到AI TOP Utility並開啟程式。
▲ AI TOP Utility提供許多功能，RAG頁面可以用來整理資料並建立RAG資料庫（Retrieval Augmented Generation，檢索增強生成）。
▲ 在機器學習頁面則提供影像分類、物件偵測、影像標註、文字辨識等範例，協助使用者開發AI應用程式。
LLM模型聊天機器人自己來
筆者以AI TOP Utility下載gpt-oss-120b模型，並架設聊天機器人作為操作示範，操作過程相當簡單，若不計算下載檔案的等待時間，不用5分鐘就可以完成前置作業，並開始使用。
比較特別的是，AI TOP Utility也提供操作簡便的遠端推論功能，只要掃瞄QR Code或輸入對應的網址，就能在其他裝置上透過瀏覽器使用聊天機器人，提供更便利的操作彈性。
▲ 在使用聊天機器人功能之前，可以先到AI TOP Utility的下載頁面選擇想要使用的LLM模型檔案。（需先註冊HuggingFace帳後並填入存取Token）
▲ 接著到推論頁面，選擇文字生成文字類型以及想要使用的模型檔案，接著點選開始鍵就會啟動聊天機器人。
▲ 使用者可以在對話框中輸入問題或提示詞與LLM互動。筆者使用gpt-oss-120b模型詢問「什麼哆啦A夢要睡在衣櫥內？」，可以看到模型透過思維練（Chain of Thought）的方式進行推理式AI推論。
▲ gpt-oss-120b模型先以英文分析問題，之後轉為使用中文思考與推理。
▲ 在「思考」完成後，gpt-oss-120b模型也會給出簡短的小結做為解答，並顯示全部使用1124個字詞（Token），平均速度為每秒4.39個字詞。
▲ 在推論運算時，CPU與GPU的使用率並沒有很高，然而記憶體佔用量達到68.89 GB，已經超過一般消費級顯示卡能夠提供的容量，充分發揮AI TOP ATOM與DGX Spark的優勢。
▲ AI TOP Utility也提供了在手機或其他裝置遠端操作推論的功能，點選「Inference on mobile」按鍵並以手機掃瞄QR Code並開啟網頁。（或者自行連接到AI TOP Utility主機，並使用8080通訊埠）
▲ 接下來就可以在手機上輸入提示詞與LLM互動。
▲ 這次的回答與先前測試不太一樣。身為哆啦A夢的粉絲，覺得gpt-oss-120b模型的回答有點微妙……。
接下來筆者將透過ComfyUI應用程式搭配Stable Diffusion在AI TOP ATOM上進行AI圖像生成，請讀者參考下方目錄繼續閱讀。
（回到系列全文目錄）
