#LLM 推論部署

[takihosting-blog]

從 RTX 到 H100：實測比較不同 GPU 在 AI 任務下的效能與成本

在 AI 時代，從大語言模型（LLM）、圖像生成到模型微調訓練，無不依賴 GPU 的強大運算力。但面對 RTX 系列、資料中心級的 A100 / H100，甚至最新一代 RTX 5090，該如何選擇最適合的 GPU 解決方案？本篇將以實測數據解析效能與成本，協助你在部署 AI 應用時，選出性價比最優的 GPU 主機。

[airnetmarketing]

人機協作的新範例 人工智能代理突破典型語言模型限制 透過推理、規劃、記憶及行動等能力，人工智能代理成功解決了典型語言模型的關鍵限制。在當今科技快速發展的時代，這樣的突破為人機協作帶來了全新的可能性。 多智能體 AI 系統：拓展人工智能代理的潛力 單一個人工智能代理固然能提供有價值的增強功能，但它真正的變革力量，源自於與其他代理共同合作。多智能體 AI 系統運用各種專門的角色，讓組織得以自動化和優化一些單一代理難以獨力處理的流程。 AI Agent 與多智能體人工智能系統的主要優勢 - 能力：AI Agent 能夠自動與多種工具互動，以執行獨立語言模型無法完成的任務，像是瀏覽網站、進行定量計算等。 - 生產力：獨立的大型語言模型（LLM）需要持續的人工輸入與互動，才能達到預期成果；而 AI Agent 只需一個提示，就能規劃和協作執行複雜的工作流程，大幅加快交付速度。 - 自我學習：AI Agent 能運用在預訓練語言模型中通常不可用的短期和長期上下文記憶資源，隨著時間推移，迅速提升其輸出的質量。 - 適應性：當需求改變時，AI Agent 可以推理和規劃新的方法，快速引用新的和即時的數據源，並與其他代理協調和執行輸出。 - 準確性：作為自動化工作流程的一部分，多智能體 AI 系統的一個關鍵優勢，是能夠使用與「創建者」互動的「驗證者」代理，來測試和提高質量及可靠性。 - 智能：當專門從事特定任務的 AI Agent 一起工作時，每個 AI Agent 都使用自己的記憶，同時運用自身的工具和推理能力，新層次的機器驅動智能便成為可能。 - 透明度：多智能體人工智能系統透過展示智能體如何溝通和共同推理，提供了對集體決策和建立共識過程更清晰的視角，增強了解釋人工智能輸出的能力。 轉型戰略洞察 不論哪個行業，每個組織都需進行研究、分析和報告，內容可能涉及經濟狀況、消費者和選民的偏好、政策和定價策略等各種主題。 以往，這些項目需要熟練的人類分析師執行多個步驟，耗時且需運用研究和分析工具，以及內部的專業知識。 德勤研發出一個多智能體人工智能系統，能簡化和改進研究和報告的每一步驟。���下說明其運作方式。 創造新的工作方式和創新的新視野 戰略意義 領導者應開始將 AI Agent 和多智能體人工智能系統整合到整體戰略和未來路線圖中。這包括重新構想業務流程、投資人工智能能力，以及培育創新文化。組織要為人工智能代理的採用制定清晰的路線圖，找出能創造最大價值、影響更廣泛業務目標的關鍵領域。 有效的變更管理對成功整合至關重要。領導者需仔細考慮如何解決組織內部的阻力，提供培訓，並確保員工了解人工智能代理的價值和好處。這包括制定全面的溝通策略，讓員工和其他利益相關者在整個採用過程中都能獲得資訊並積極參與。 風險的影響 AI Agent 帶來了新的風險，需要強大的安全和治理結構。其中一個重大風險是人工智能演算法和訓練數據中可能存在的偏見，這可能導致不公平的決策。 此外，AI Agent 可能容易受到數據洩漏和網路攻擊，進而損害敏感資訊和數據完整性。人工智能系統的複雜性也帶來了意想不到的後果的風險，因為 AI Agent 的行為可能不可預測，或做出與組織目標不一致的決策。 為了管理這些風險，必須為 AI Agent 互動設定明確的參數，監控操作指標，並持續確保數據的道德性、隱私性、安全性和完整性。隨著 AI Agent 被整合到核心業務流程中，一個涵蓋數據使用、道德和安全指導方針的企業範圍治理框架，可進一步協助降低風險。該框架應確保遵守相關法規，並包括對 AI Agent 互動的持續監控。高級安全措施，如加密和多因素身份驗證，可幫助防止數據洩漏和網路攻擊。員工培訓和意識計劃，能幫助員工了解與人工智能代理合作的道德和運營考量，為員工提供額外的防護。 人才的影響 AI Agent 的實施可能會改變傳統的勞動力結構。隨著人工智能代理接管常規和低價值的任務，對於與設計、實施和操作這些系統相關的人類技能，可能會有很高的需求。領導者應考慮涉及能力建設的新角色、工作描述和工作架構，以及如何識別、招聘、培訓和留住這些專業人才。 除了對技術人才的影響之外，企業領導者還應準備好協助各種角色的員工學習如何與 AI Agent 合作，甚至找出可以改進流程的新用例。若部署和管理得當，AI Agent 可以為人機協作開闢新的潛力領域，但這種潛力取決於員工對新角色的理解、接受和執行能力。 業務流程含義 AI Agent 和多智能體人工智能系統需要對業務流程進行仔細的人工評估，有時甚至要從頭開始。隨著時間推移，AI Agent 將重新定義許多核心流程，同時被整合到現有的運營模型中，提高當前流程的效率，而無需對系統進行全面改造。這種方法使組織更容易逐步採用低風險的代理解決方案，但需要仔細的規劃、管理和協調，以確保 AI Agent 能夠改進人們和（或）其他技術解決方案已經做得很��的事情。 在成功的 AI Agent 用例中，對於需要判斷、驗證和關鍵決策的任務，人類的參與仍然至關重要。這種合作對於確保人工智能輸出的準確性、可靠性和有效性非常重要。在這個範例中，與 AI Agent 一起工作的每個人都是管理者，需要發出命令（透過提示）、澄清請求、監控進度、審查產出，並在必要時提出請求或做出改變。 技術和數據影響 實施 AI Agent 可能成本高昂，需要在技術和基礎設施上進行大量投資。組織應仔細評估價值主張和投資回報，並制定分階段的方法來處理用例，重點放在「容易實現的成果」（例如，更簡單的用例）上，這可以為更複雜的啟用作好鋪墊。 高質量的數據是 AI Agent 有效工作的基礎。如果數據不準確、不完整或不一致，代理的輸出和操作可能不可靠或不正確，從而產生採用和風險問題。因此，必須投資於強健的數據管理和知識建模。 採用值得信賴的人工智能實踐是降低風險和確保道德部署的關鍵。這包括開發公平、透明和負責任的人工智能代理解決方案，以及解決人工智能模型中的潛在偏見。 Read the full article

[samejack]

Ubuntu 安裝 ollama 在本地執行 Llama 3.2 推論模型與 API 服務

Ollama 介紹 Ollama 是一個專注於大語言模型（LLM, Large Language Models）應用的開源專案，旨在幫助開發者輕鬆部署和使用私有的大型語言模型，而無需依賴外部的雲端服務或外部 API，這些模型不僅僅只有包括 Meta Llama Model，也提供其他一些 Open LLM Model，像是 Llama 3.3, Phi 3, Mistral, Gemma 2。該專案的核心目的是提供高效、安全、可控的 LLM 推論環境建制。大致上有以下特性： 採用本地機器運行 Ollama 支援在自己的設備上載入模型，無需將數據上傳至雲端，確保數據隱私與安全。通過優化模型運行效率，即使在資源有限的設備上也能流暢進行推論。 開源與可客製化 Ollama 是一個採用 MIT License…

[society-watch-blog]

在全世界開枝散葉的「環境影響評估」制度

文／林柏辰，杜蘭法學院能源環境法碩士（Energy & Environmental  LLM , TU）

什麼是環評?

環境保護議題，從上個世紀至今，開始引領公眾討論的目光。許多環保運動與相關思潮接續展開，例如Rachel Carson在1962年出版的《寂靜的春天》，以及格羅·哈萊姆·布倫特蘭(Gro Harlem Brundtland)在1987年於聯合國大會中提出的《我們共同的未來》(Our Common Future)提出了「永續發展」(Sustainable Development)的概念。所謂「永續發展」，從東方儒家文化以觀，論語中有倡導「釣而不綱，弋不射宿。」孟子也曾提出「不違農時，穀不可勝食也；數罟不入洿池，魚鱉不可勝食也；斧斤以時入山林，材木不可勝用也。」的類似主張。

在各國環境法體系中，值得一提的是源自於美國，卻在世界各國開花結果的「環境影響評估」制度(Environment Impact Assessment, 常簡稱作EIA)。法律規範常有不同區域、國家互相模仿、移植或繼受的現象。環評從美國內國法為始，演化至其他國家不同的環境法規樣貌，甚至於國際法上的規範亦受其影響，並非只有台灣學習這種制度而已。然而，我國的環評法規在近年來爭議頗多，從亞泥案，到之前的中科三、四期和美麗灣等案，進而推動近來一系列的環評修法討論。

尤其以台灣的人口密度來說，人民和環境間更是唇亡齒寒的關係，環境成本更顯貴重。從我國的定義來看，根據環境影響評估法第4條，所謂環境影響評估係為了「開發行為或政府政策對環境包括生活環境、自然環境、社會環境及經濟、文化、生態等可能影響之程度及範圍，事前以科學、客觀、綜合之調查、預測、分析及評���，提出環境管理計畫，並公開說明及審查。」本文的目的，在於給讀者對於環評制度一個概括的基本認識，以利於有興趣的讀者日後進一步的了解與思考。

國際法下的環境影響評估義務

在2010年國際法院判決「烏拉圭紙漿廠案」(Pulp Mills on the River Uruguay (Argentina v. Uruguay，2010)中，對於國際間的跨國汙染爭端，認定國家在進行有危害林國的環境衝擊行為時，必須負有實施環境影響評估(EIA)的國際法義務，環境影響評估於是在跨國環境爭議下被國際法院認定為是有拘束力的國際習慣法(Customary International Law)，其中包含行為國的勘查義務與資訊告知義務。

在國際條約中，不少是有明文規範上述環評義務的全球性公約或區域協議，例如：跨國環境影響評估公約(Espoo Convention)、 德黑蘭公約(the Tehran Convention)和北美環境合作協定(North American Agreement on Environmental Cooperation)。就和台灣關係甚大的國際海洋法公約(UNCLOS)來說，海洋法公約第206條亦規定開發國應以現行科學方法觀測、衡量、分析其開發行為對於海洋環境的風險或汙染，並對其開發行為的監管負其責任。

不同的規範下，環評會有不同的表現形式。但總體來說，環評的一般架構基本上有：(1) 篩選(screening)、(2)範圍界定 (scoping)、(3)衝擊分析與報告準備 (impact analysis and report preparation)、(4) 公共與機關參與(public and agency participation)、(5)最終決策(final decision)以及(6)後續追蹤(follow up)。

美國法下的環境影響評估

1969年制定，於1970年美國總統尼克森簽署了《國家環境政策法》(National Environmental Policy Act, 簡稱作NEPA)，自此開啟了美國的環保黃金十年。美國的環保法令繁多，近年來相關細節法令數量，甚至已超越稅法部門，為了因應行政管制，許多公司都設立有因應的法律部門。除了NEPA之外，還有如《清潔空氣法》(Clean Air Act)和《聯邦水汙染法》(Clean Water Act)等等。其中發明了環境影響評估的法源，便是前述的《國家環境政策法》(NEPA)。

《國家環境政策法》有環境法的大憲章(Magna Carta)之稱，在美國之後，其他國家亦紛紛引進，並且建立起各自的環評模式。美國的環評規定在《國家環境政策法》第102條中，對於「具顯著影響人類環境品質的立法計畫和其他聯邦主要行為」，聯邦機關必須進行通盤的評估。《國家環境政策法》是一部聯邦法，管轄聯邦事務，但許多州法也依循該法而衍生各州的環評細節州法規。

《國家環境政策法》要求機關先進行初步環境評估(Environmental Assessment, 簡稱EA)，檢驗該行為對於環境是否有顯著風險(Significant Risk)，如果確實有顯著風險，則必須進一步作成環境影響說明書。美國法院對於環評案件的爭議，包括「聯邦主要行為」的認定，何謂聯邦行為？是否屬於主要行為？說明書考慮的因素是否完備？替代方案的範圍為何？成本收益分析是否應納入考量?

值得一提者，為美國的《國家環境政策法》要求的環評合法性並不一定要求具體特定的結果，也就是說並沒有要求該評估必須要對於環境有益到何種實際程度，反而是要求「程序上的正當」為足，只要求機關證明已經對每個必要條件納入考量，並且是經過公共參與後的謹慎決定便可達成合法的基本要求。此外，美國的環評也不要求後續的追蹤。

即便是環評制度的創造國，環評在美國從一開始也是很有爭議的。有人質疑環評只是個徒費筆墨的空殼，也有人認為環評消耗太多時間和勞力成本。曾經在美國國會的問政文件裡也有過一個笑話：如果上帝在創造這個世界前都需要先進行冗長的環境影響評估，那連上帝也會氣到瘋狂跳腳。然而，不可否認的是，環評確實帶來了全球性在環境議題處理上重大影響，並且扮演了行政決策的工具，在國際舞台和各國環境治理都扮演了重要的角色。

我國的相關法制規範與爭議

我國於1994年制定了環境影響評估法，也採用了和美國類似的二階段環評制度。相同的，我國環評制度也含括了「政策環評」和「開發行為的環評」。

前者的範圍依環評法第26條為：(1)工業政策、(2)礦業開發政策、(3)水利開發政策、(4)土地使用政策、(5)能源政策(6)畜牧政策、(7)交通政策、(8)廢棄物處理政策、(9)放射性核廢料之處理政策、(10)其他政策。

後者所謂對環境有不良影響之虞的「開發行為」則於環評法第5條包含：(1)工廠、(2)道路、鐵路、捷運、港灣及機場、(3)土石採取、採礦等、(4)蓄水、供水、防洪排水工程、(5)農、林、漁、牧、(6)遊樂��風景區、高爾夫球場及運動場地、(7)文教、醫療建設、(8)新市區建設及高樓建築等、(9)環境保護工程、(10)核能及其他能源開發及放射性核廢料儲存或處理場所之興建、(11)其他經中央主管機關公告者。

和美國制度不同，我國的環評法賦予審查機關實質的「否決權」，並非僅止於程序要求而已。這是因為立法者當初考量我國情況，避免環評成為徒具形式的行政程序。有爭論者認為環評過程過於繁瑣冗長，嚴重阻礙投資開發與經濟發展。在環評爭議送上法院之後，亦有論者批評爭議開發行為往往「停工不停產」，在法律爭訟的同時，環境已遭受不可逆的損害。

小結：我們如何做出一個好決策？

在近代環境議題發展進程中，環境保護和經濟發展常常被放置在對立的位置上。以美國為例，近者有如川普總統的諸多反環保言論：遠者在過去也有在路易斯安那州的企業嘗試動用政治力量結由州議會的法案強行關閉幫地方社群爭取環境權益的杜蘭大學環境法律服務社。然而，環境保護在世界的潮流中影響力日增，對於環保議題的回應，企業從一開始大多的「全盤否定派」，到目前多數「折衷派」企業的出現，甚至產生了「環保企業」(早期比較有名的例子有Body Shop美體小舖)。

時至今日，環保被納入「企業社會責任」(Corporate Social Responsibility, CSR)的重要一環，許多大公司都提供「永續發展報告書」和「企業社會責任報告」，甚至環保的指標還從成本負擔躍升成競爭力的趨勢。以咖啡行銷來說，哥斯大黎加就以「低碳咖啡」成功打入英國和德國的市場。走一趟美國的超市，南美洲來的咖啡豆包裝上「環保低碳、有機健康、公平貿易」標語滿目皆是。近來經濟發展猛烈的中國，為了經營國際形象，也開始推行綠色GDP和社會企業責任。再者，能源的節省與效率也有助於產業競爭力的提升，國內的台泥的碳捕捉廠可以算是一個例子。經濟發展和環境保護在今日已經不能說是天生註定敵對的關係。

子曰：「爾愛其羊，我愛其禮。」如果把這裡的「禮」替換成「正當程序」來說的話，或許我們能體會到程序正當性在法治國的重要。回歸��「環境影響評估」的主題，若是環評應用得當，可以作為一個三思而後行的決策工具。運作得當，評估作成不適合開發的結論，在環評所用的成本正好可以省下日後不必要的冤枉路和大筆預算���公眾參與的部分如果確實落實，也能減少體制外抗爭的社會成本。

修法的方向，以立法目的以觀，不應只求讓案件盡快通過；相對的，應該是從落實環評與各方公眾參與為出發點來提升效率。易言之，要提升效率，就要正視環評法規與下決心去落實環評責任。歷史教科書上所言「甲午戰爭的落敗在於制度上的學習不足」至今已超過一百年，吾人可知匆匆的繁華無法證明本質上的強大，唯有把每一步環節紮實做好才是國家富強的根本。

本文獲法操司想傳媒授權轉載，原文發表於此 參考資料 環境影響評估流程(行政院環保署)

環境影響評估法

環評改革 環境法律人提民間版 「拿掉否決權」獲熱議

[takihosting-blog]

如何快速部署 LLM 模型到 GPU 主機？從環境建置到服務啟動

GPU 主機 – 隨著 ChatGPT、LLaMA、DeepSeek 等大型語言模型（LLM）廣泛應用，越來越多企業與開發者希望將 LLM 模型自建於本地或 GPU 實體主機上。這樣不僅能取得更高的資料控制權，避免私密資訊外洩，也能有效降低長期使用成本，並規避商業 API 在頻率、使用量、功能上的限制與資安疑慮。

然而，部署 LLM 模型的第一道門檻往往是環境建置。從 CUDA 驅動的版本對應、PyTorch 的安裝，到 HuggingFace 模型快取與推論引擎選型，都是需要考量的技術細節。如果沒有明確指引，往往容易在初期階段耗費大量時間摸索。

這篇文章將以平易近人的方式，帶你從挑選 GPU 主機開始，逐步說明環境建置、部署流程、模型上線、API 串接、容器化管理與後續運維建議，協助你成功將 LLM 模型部署到實體主機，快速打造自己的本地 AI 推論平台。

[takihosting-blog]

GPU 主機租用 vs 自建：哪種方式適合你的 AI 專案？

GPU 主機 – 隨著 AI 技術蓬勃發展，從 LLM 模型訓練、生成式圖像、RAG 系統建置，到推論服務部署，GPU 運算主機已成為 AI 工程的基礎設施之一。不過，當你準備開啟一個 AI 專案時，勢必會面對一個問題：

「我���自己買機器來用？還是直接租一台 GPU 主機會比較好？」

這個選擇沒有標準答案，但它會直接影響你的開發速度、預算分配與維運負擔。因此，了解兩者差異與優缺點，將能幫你做出更理性的決策。

[samejack]

Windows 11 安裝 NVIDIA NIM 與 Llama 3 LLM 大語言模型

NVIDIA NIM 介紹 2024 NVIDIA Computex 黃仁勳執行長發表了 NIM，NIM 是一個推論微服務隨處部署的架構，使用者可以在雲端或自己的伺服器建立 AI 推論微服務，並且可以整合 K8S 進行動態擴充機制。同時 NVIDIA NIM 也是 NVIDIA AI Enterprise 的一部分，這套易於使用的微服務可提升基礎模型在任何雲端或資料中心的部署速度，且有助於保障資料安全。NVIDIA 官方網站有針對 NIM Development 提供豐富的介紹與文件。 除了推論服務的部屬 NIM 也針對模型進行了 CUDA Runtime 的最佳化，整體的框架如下： Windows 11 安裝 NIM 服務 一般安裝 NIM 如果是使用 Linux 作業系統的話會是最順利的過程，但今天要介紹的是透過 Windows 11 內建的 Windows System…