圖1 “后天之模型”的基礎是寶馬X3汽車的車體
項目背景
有限元法FEM分析變得日益復雜，同時有限元分析模型的大小和細節(jié)設計要求也在不斷增加。尤其是在汽車行業(yè)，這一趨勢尤其明顯。
由數(shù)百萬個單元和數(shù)百萬的自由度組成的有限元網格的模型已經變得司空見慣，然而模型的尺寸仍在不斷地增加。由于數(shù)學方法和軟件工程學技術的改進，有限元法程序的工作效率和計算能力也在不斷提升，同時構建模型和網格劃分軟件技術的飛速進步使模型的生成變得更加方便快捷。數(shù)年前，發(fā)動機引擎氣缸體的網格劃分需要幾個月的時間，而現(xiàn)在只是幾個小時的問題。
德國汽車制造商寶馬公司是大范圍使用虛擬仿真技術的公司之一。在寶馬公司和其他一些制造商中，為了縮短研發(fā)周期，減少物理樣機和物理試驗的次數(shù)，完整的汽車模型得到了最優(yōu)化的使用，其基礎便是日益復雜的有限元仿真模型，包括對噪音和舒適度的剛性評定、乘客安全性和空氣動力學仿真等。在數(shù)值計算方法方面，使用了隱式線性分析和顯式非線性瞬態(tài)分析。
早在2007年初，寶馬公司便對計算機輔助工程CAE 的流程重新進行了檢測，以便發(fā)現(xiàn)將來可能由仿真模型尺寸增加引起的瓶頸問題。寶馬公司的車體和零部件設計小組開發(fā)了迄今為止最大的有限元法模型作為基準測試的考題模型，被冠以“后天之模型（Model of the Day After Tomorrow）”的名稱。小組成員丹尼爾·海澤爾博士表示，“對我們來說，在標準的硬件和軟件設備上進行此次基準測試是非常重要的，使用當前的基礎設施解決基準模型問題的目的，并不是為了要減少計算時間，而是為了識別理論極限和當前方法的瓶頸?！?/SPAN>
基準考題的目的是為了尋找標準分析（雙載荷工況條件下的線性靜態(tài)分析）中進行有限元法分析基本步驟的極限和時間：
1. 讀取輸入數(shù)據，對它們進行分類、制成表格，并進行一致性檢查；
2. 計算單元剛體矩陣，并集成一個整體剛體矩陣；
3. 計算位移和應力數(shù)據；
4. 輸出結果。
寶馬公司提出的問題是有限元分析還能應對這一增長趨勢多長時間？用“后天之模型”作為考題的目的是如何突破近10年間所要面臨的硬件和軟件極限問題。re公司同美國國際商用機器IBM公司合作，能夠在短短的幾個月的時間內解決這一問題。在一份用該模型分析的詳細報告中，項目成員彼得·沙爾茨和杰拉德·希姆萊（re公司），丹尼爾·海澤爾（寶馬汽車制造公司）和D·皮特施（IBM公司）詳細介紹了他們實現(xiàn)寶馬公司苛刻要求的方法。
圖2 BMW X3減振器支座外殼模型（藍色），MODAW部分描繪圖（黃色）
軟、硬件的發(fā)展
大多數(shù)有限元法分析程序都存在計算能力不在最佳狀態(tài)的情形。1957年，雷W克拉夫和他的學生在一臺內存只有16位的IBM701計算機上開發(fā)出了后來成為有限元法的程序。方程式大約在40個以上的問題需要out of core（即數(shù)據不全部存儲在內存中，而是存儲在硬盤的臨時文件夾中）求解邏輯，這意味著要借助二級存儲介質。10年之后，Nastran軟件被開發(fā)出來之后，要求條件也非常類似。軟件客戶美國國家航空航天局（NASA）要求開發(fā)一種能夠對2000自由度以上（包含2 000自由度）問題進行靜態(tài)和動態(tài)分析的程序。
現(xiàn)在，這似乎已成為了歷史。隨著中央處理器（CPU）處理速度和效率的提高，以及內存容量的增加，類似有限元矩陣生成和集成的基本操作已經可以不需要借助二級存儲介質的操作方法進行處理。
即使是現(xiàn)在的re公司的MD Nastran軟件也仍體現(xiàn)出早期軟件設計的理念，例如計算機內存的保留和通過“out of core”技術或“溢出”（spill）算法實現(xiàn)的I/O（即輸入/輸出）磁盤亞系統(tǒng)的高效使用。這些特性對項目整體剛性和質量矩陣的生成非常有幫助。
模型分析
寶馬公司模型生成的基礎是2004年的寶馬X3白車身模型，對于模型的尺寸，工程師們根據對經驗取值的推斷進行了調整，并預測在2020年自由度約達800兆。
海澤爾博士在開發(fā)網格劃分程序時使用了“原始網格劃分技術”（RAT），該技術即使在計算機輔助設計幾何圖形出現(xiàn)不一致或錯誤情況時也可以高速實現(xiàn)復雜幾何圖形的六面體單元網格劃分。原始網格劃分技術建模方法的缺點在于模型尺寸極其龐大，而且只有對基本的剛性性能仿真時才有意義。
圖3 所使用的計算機系統(tǒng)為IBM p5-595 2.3GHz POWER5+
用于測試計算的模型最大邊長為1mm，最終的有限元模型約為1億5 000個節(jié)點，約9.1億個自由度。去掉旋轉自由度，計算方程數(shù)達4億5 000個。
為了確保測試條件以實際情況為導向并將成本限制在一個可控范圍內，測試應該同商業(yè)軟件一起在單處理器的計算機上進行。在IBM公司位于波基普西/紐約的美國測試中心，能夠找到符合有限元分析I/O要求和內存要求的合適計算機。它使用的計算機系統(tǒng)為IBM p5-595 2.3GHz POWER5+，其內存為512GB，暫存文件系統(tǒng)（scratch file system）為6TB，分布在48個物理磁盤上，每個磁盤的容量為146GB。為了達到可利用內存的最佳使用效果，計算軟件為re公司ILP-64版本的MD Nastran軟件。為了分解整體（集成）剛體矩陣，計算機應用了具有嵌套式剖分法重排序功能的稀疏直接多波前算法（sparse direct multifrontal-algorithm）。
整體剛體矩陣是一個包含95兆單元剛體矩陣的集合體。最終因子矩陣在預計最大超過10萬的波前空間上有571 011項（超過4TB的數(shù)據）亟待處理。計算這些結果需要近一個中央處理器年（CPU-year）的時間。由于時間問題，計算機通過內嵌的PCGLSS 迭代求解器應用了迭代解算法，這需要少得多的內存和磁盤空間，并且對由三維有限元組成的模型效果尤其明顯。分析工作需要大約50GB的內存空間，此外“I/O模塊”（MIO）還需要10GB的內存空間。
I/O模塊是IBM公司開發(fā)的智能 I/O高速緩沖處理器。在MD Nastran軟件常見的輸入/輸出密集型操作過程中，它僅使用相對較小的內存空間來儲存異步預取數(shù)據。
為了解決數(shù)據量過大的問題，需要對系統(tǒng)參數(shù)和輸入數(shù)據進行大量的調整和設置，如柵格點坐標內部最大數(shù)的運行時間參數(shù)被提高到了160兆（標準：100兆），PCGLSS 迭代求解器的參數(shù)要根據所使用內存的容量和類型進行調整。
輸入數(shù)據中去掉了柵格點權數(shù)發(fā)生器（Grid Point Weight Generator）的輸出要求和質量矩陣的生成要求。時間和I/O 空間節(jié)省為22min/226GB和1.4h/450GB。由于計算機資源的限制，第二載荷工況條件不在計算范圍。
分析結果
對此模型在串口方式下分析計算過程花費了22h17min，所花費的中央處理器秒（CPU-seconds）的數(shù)字為76 254；中央處理器的使用率為95%。
所需的暫存磁盤空間總容量為2.27TB，分析過程包括I/O磁盤（即硬盤）的7.8TB。需要進行后處理的二進制輸出文件大小為99.9GB，包括無變形的幾何圖形和一個載荷工況條件的位移和應力輸出。PCGLSS迭代求解器通過149次迭代，并需要大約230GB的內存空間。總共使用的內存空間約為300GB（MD Nastran軟件使用了60GB，I/O模塊高速緩沖處理器使用了10GB，PCGLSS 迭代求解器使用了230GB）。
盡管對內存、磁盤和I/O有極高的要求，計算過程仍然使用了標準軟件在標準硬件平臺上進行。鑒于其“out of core”性能，MD Nastran分析軟件非常適合進行超大問題的計算工作。除該軟件的高效率外，IBM POWER5的系統(tǒng)結構還擁有統(tǒng)一高效處理速度的大內存空間，經過測試證明MD Nastran對過億自由度的超大模型的求解是完全可以實現(xiàn)的。
（轉載）
