交大網路測試中心

[NBL電子報No.42]

交大網路測試中心

NBL News Letter No.42

NBL News Letter內含NBL公告與活動訊息、測試項目與服務、技術開發分享、會員權益等資訊以做為提供廠商參考溝通之橋樑。


[活動]Spirent Day測試技術研討會協辦

[ACTS]Automation Control Test System (ACTS)簡介

[論文發表]ON CAMPUS IPV6 BETA SITE

[RealFlow Certification on SOHO Router] Sapido金智洋科技股份有限公司真實網路流量穩定性測試認證


[活動快訊]

Spirent Day測試技術研討會協辦

一年一度由Spirent Communications Inc、廣聯科技、彥成通信主辦之「SPIRENT DAY測試技術研討會」將於2013.5.16於國立交通大學電子資訊研究大樓國際會議廳舉行,交通大學網路測試中心(NBL)以協辦單位給予盛會一場次的演說,內容為「資通安全設備檢測技術規範」相關資訊,並於會場周邊進行ACTS自動化測試Demo展示以及資通安全檢測實驗室能力展示。

Top


  [ACTS]

Automation Control Test System (ACTS)
簡介

NBL網站新增ACTS相關資訊,歡迎點擊參考

自動化測試工具的開發可以根據客戶的需求來進行客製化,包含功能、控制介面、報表 的呈現方式、與其他測試工具的整合,均可根據客戶的需求來量身訂做,也可以基於客戶既有的自動化測試工具來進行修改。測試腳本與測試環境也將基於客戶的需求來建立。

以實際例子來說,公司A在產品的功能性測試,原本人工每天可測30~40個 Case,在導入自動化測試之後,每日可測達80~120個 Case;公司B在產品的 Web GUI 測試,使用 NBL客製化的自動化測試工具後,測試準確率提高、測試時間與人力成本也減少。

開發經驗與實例

公司一委託:將產品的功能性測試自動化

需求描述:公司一委託將其 UTM產品的功能性測試自動化,包含 Web GUI及其他防禦功能性測試。

執行成效:NBL基於 ACTS以及根據公司一另外所需的控制功能,客製化一套自動化測試工具,搭配公司一提供的 Test Plan,由 NBL撰寫測試腳本,把產品的功能性測試自動化。舉產品的 Web GUI 測試來說,測試自動化前以人工每天可測30~40個 Case,測試自動化之後每天可測的 Case數量增加到80~120。

公司二委託:將產品的網頁元件測試自動化

需求描述:公司二因 Switch及 SOHO Router大多是例行性的測試項目,例如網頁上輸入的值是否符合規範( MAC、 IP長度規則等)、網頁上表格允許最大容量是否正確、網頁警告視窗是否正確等相關測試,因此公司二委託將其 Switch產品及 SOHO Router產品的 Web GUI測試自動化。

執行成效:NBL針對公司二所需的 Web GUI自動化測試,將 ACTS的 Browser控制的部分客製化,使其可以使用公司二原有的測試腳本,開發出一套專屬的 Web GUI自動化測試工具,使得重複的 Web GUI測試可以交給電腦自動反覆執行,測試準確率高、測試時間縮短且節省人力成本。

公司三委託:將產品的網頁元件的多國語系測試自動化

需求描述:公司三因Web GUI的多國語系測試、校對需耗費大量的人力及時間,因此委託將其Switch產品及SOHO Router產品的多國語系測試自動化。

執行成效:NBL根據需求開發一套自動化測試工具,可將網頁上各種語系的內容擷取下來,再根據語言對照表來檢查是否網頁上的 內容在各種語系上都有正確出現。測試自動化之後,測試準確率高、測試時間縮短且節省人力成本。

公司四委託:基於自有的自動化測試系統開發自動化測試腳本

需求描述:公司四因缺少有經驗的自動化開發人員撰寫測試腳本,因此委託基於自有的自動化測試系統開發Switch產品的自動化測試腳本。公司四擁有自己的自動化測試系統與 Test Plan,委託 NBL 開發自動化測試腳本。

執行成效:在測試腳本開發的過程中,NBL 也針對公司四的自動化測試系統缺少的功能進行開發,例如新增 Smart Library API 等功能,使其系統的功能更加完善。NBL 也根據自身開發自動化測試系統的經驗,給予改善現有自動化測試系統的建議。

Top


[論文發表]

On Campus IPv6 Beta Site

由於v4 IP位址已經全數發放完畢, 在這個轉換的過程中IPv6的使用與佈建立即變得非常重要,在這篇論文中我們利用國立交通大學宿舍網路測試平台建立了一個具備IPv4與IPv6同時使用的網路(dual stack),除了必要的功能測試(Functionality Test)以外更強調的是IPv6在整體網路上無法從實驗室中進行測試的穩定性測試(Stability Test),經過一年的測試我們將找到的defect歸類為: dual-stack tunneling, IPv6 routing table與 RIPng and OSPFv3等項目,大部份的defect都可以在線上的環境被重製,而且部份可以透過重新設定的方式避免該defect的出現,而部份則需要透過修改firmware才可以解決該defect;同時透過我們的觀察提出各對應的defect該使用何種方式解決,例如:CLI設計該如何避免使用者不當操作,kernel/OS該如何避免系統過高負載,系統資源共用需要被限制以避免該資源被過度利用而造成系統不穩定與提高系統容錯等,最後我們也提出對於廠商與網路管理人員的建議,共同建構穩定且適合各項環境與應用的IPv6網路。

本文由國立交通大學資訊工程學系林盈達教授與各研究人員共同撰寫,且已被Journal of Internet Technonlogy 接受並即將刊登,刊登後亦可至林盈達教授網頁下載。

Top


 

[RealFlow Certification on SOHO Router]

Sapido
金智洋科技股份有限公司真實網路流量穩定性測試認證

Sapido是台灣網通界中年輕的品牌,專注於個人、家庭與辦公室的網通與儲存產品解決方案,產品囊括了:分享器、交換器、無線網卡、數位多媒體等系列,近年來以智慧型手機、平板電腦、個人電腦、電視等跨平台、跨系統服務共享為產品開發主軸,除了獲得2012、2013年連續兩屆「台灣精品獎」殊榮外,也在「2013馬來西亞ITEX國際發明展」、「紐倫堡國際發明展」、「克羅埃西亞國際發明展」、「韓國國際英才發明展」、「澳門國際通訊暨國際創新發明大賽」、「Best Choice AWARD」等多項國內外重要獎項獲得肯定。Sapido創立至今,堅持台灣研發設計與生產製造,追求MIT嚴謹品質,以「我為人人」概念出發,強調「簡單步驟、智慧分享」,讓科技產品變得很簡單,創造使用便利的愉快經驗[1]。 

自2012年下半年開始,NBL開始與Sapido在「無線寬頻分享器」產品測試上合作,利用NBL獨有的「真實網路流量穩定性測試[2]」─將錄自交大Beta Site的真實網路應用程式流量,透過重播測試、配合待測產品特性,對Sapido的寬頻分享器系列產品進行穩定性測試及認證。雖然待測產品多是已經通過內部實驗室測試,但在測試期間仍發生不少Level 1缺失(無法提供網路連線服務)—當機,與Level 2缺失(封包處理效能下降)—封包處理吞吐量下降、無法回應查詢待測產品狀態的封包等問題;這是因為與內部實驗室測試相比,在真實網路環境中,使用者操作應用程式的行為是不可預期的、網路應用程式的種類及內容也是不可預知的,例如:使用者可能頻繁地提出/取消建立連線要求、或是網路應用程式嘗試一次建立多個連線、同一時間因為多種網路應用程式執行而產生大量長短不一的封包等,這些流量特性對待測產品的穩定性來說是項非常艱鉅的考驗。測試過程中發現到的產品缺失,都會連同相關記錄—如發生問題的時間點、所有被重播用來測試的流量、當時的重播速度、最大連線數、問題發生前後待測產品吞吐量的變化等,都會保存下來以提供給產品工程師進行檢視除錯。此外,為了提供更即時及更直覺地觀察缺失所造成的影響,我們也提供遠端同步監控方式,讓產品工程師可以透過遠端連入產品console,隨時掌握待測產品在重播測試過程中系統執行與內部資源配置的狀態;透過這樣的合作模式,幫助了工程師解決了因為系統死結(deadlock)、單一資源回收呼叫處理過久或多次資源回收呼叫間過度相依而導致系統不穩定或是不能持續正常運作等問題。 

真實網路流量測試與實驗室測試是互補的、相輔相成的;實驗室測試可以進行較快速、較針對性的功能性測試,而真實流量測試可以進行較全面、也較長期的穩定性品質驗證。很高興透過這次的合作,幫助Sapido共六項產品通過「NBL真實網路流量穩定性測試認證」,我們也樂見有越來越多的廠商加入這樣的測試模式,一起為產品品質再向上提昇而努力。 

[1]Sapido Story─關於品牌 http://www.sapido.com.tw/TC/about01.htm

[2]NBL真實網路流量穩定性測試認證
    http://www.nbl.org.tw/certification.php?lang=zh-tw&id=1&pageno=1

 Top


交大網路測試中心

Network Benchmarking Lab, NBL

300 新竹市大學路1001號電子資訊研究大樓601室
TEL:(03)5736727 #213    FAX:(03)5131341
E-MAIL:[email protected]   URL:http://www.nbl.org.tw/

版權所有 未經授權禁止轉貼節錄
若欲聯絡本中心,或有任何疑問及意見,歡迎來信:[email protected]