<acronym id="z3ew4"><address id="z3ew4"></address></acronym>

<span id="z3ew4"></span>
<dd id="z3ew4"></dd>
    <tbody id="z3ew4"><track id="z3ew4"></track></tbody>

    <th id="z3ew4"><pre id="z3ew4"><sup id="z3ew4"></sup></pre></th>
  1. <li id="z3ew4"></li>

  2. <rp id="z3ew4"></rp>

    1. <rp id="z3ew4"></rp>
    2. 提升AIGC端側算力利用率,英特爾讓AI走進千家萬戶

      來源:今日熱點網 | 2023-10-09 17:32:15 |

      很多人都在歡呼AI時代的到來,但其實AI這個概念早在20世紀50年代就誕生了,而且一直都在高速發展和演化,并不是什么新鮮事物。

      只不過,幾十年來,AI一直都基本停留在專業領域或者特定行業,距離普通用戶比較遙遠,一般人很難真切感受到AI的力量。

      ChatGPT最大的功勞,恰恰是將AI——確切地說是生成式 AI(AIGC)——帶到了普通人的生活中。

      有了ChatGPT和類似的應用,任何人只需一部普通的電腦或者手機,就能感受到AI給我們工作生活、娛樂休閑所帶來的種種便利——一問一答就能獲得自己想要的問題答案、幾分鐘就能完成一份漂亮的PPT……

      另一方面,雖然這個時候幾乎人人都在談論AI,從跨國大企業到初創小公司似乎一夜之間都在完全圍著AI做事,但是正如巴菲特的那句名言:“只有退潮了,才知道誰在裸泳?!币仓挥薪洑v最初的喧囂,才能看出誰才是認真做AI,誰才真正有實力做好AI。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      近日,Intel舉辦了一場年度技術創新大會,AI自然是關鍵詞中的關鍵詞,“AI Everywhere”不僅體現在整個大會上,也體現在Intel的全線產品和解決方案中,這個話題我們之前也從不同角度探討過很多次。

      當然,作為軟硬件實力都在這個星球上屬于頂級行列的Intel,自然也是最有資格談論AI的巨頭之一。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      正如剛才所說,AI無處不在,從產品到技術再到應用都有截然不同的豐富場景,普通用戶能夠最直接感受到的當屬AIGC,包括文生文、文生圖、圖生圖、文生視頻、圖生視頻等等。

      而要想實現足夠實用的AIGC,從算力強大的硬件到參數豐富的大模型,從精確合理的算法到高效便捷的應用,缺一不可。

      我們知道,在過去,AIGC更多在云側服務器上,雖然性能、模型、算法都不是問題,但一則需要大量的資金投入,二則存在延遲、隱私等方面的不足。

      因此,AIGC正越來越多地下沉到終端側,讓普通的PC電腦、智能手機也能跑AIGC,甚至可以離線執行。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      Intel中國技術部總經理高宇先生在接受采訪時就表示,關于終端側運行AIGC的研究已經取得了豐碩的成果,比如最新的13代酷睿電腦,經國有化已經可以流暢運行70億到180億參數的大模型,尤其是70億到130億參數的運行效果相當好。

      當然這些現在還處于起步階段,目前的優化主要針對CPU處理器,下一步會充分發揮GPU核顯的性能潛力,而代號Meteor Lake的下一代酷睿Ultra除了有更強的CPU、GPU算力,還會首次集成NPU單元,一個專用的AI加速器,峰值算力超過11TOPS,三者結合可以達到更好的效果。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      對于PC端側運行AIGC應用的具體落地實現,高宇舉了個例子,Intel正在打造的一個開源框架BigDL-LLM,專門針對Intel硬件的低比特量化設計,支持INT3、INT4、INT5、INT8等各種低比特數據精度,性能更好,內存占用更少。

      基于這個框架,使用i9-12900K處理器,只開啟4個核心來運行ChatGLM2 60億參數模型,生成效果就是相當迅速的,而打開全部8個P核、8個E核,效果更是堪稱飛快,輸出性能達到了每個Token 47毫秒左右,已經不弱于很多云側計算。

      之所以對比兩種情況,因為有時候需要將全部算力投入AI模型的運算,而有時候可能還得兼顧其他任務。

      可以看出,無論哪種情況,Intel PC側都已經可以很好地完成相應的AI工作,提供令人滿意的算力和效率。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      此外,在LLaMA2 130億參數大語言模型、StarCoder 155億參數代碼大模型上,Intel酷睿處理器也都能獲得良好的運行速度。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      換到Arc GPU顯卡上,Intel硬件跑端側AI同樣神速,甚至更快,無論是ChatGLM2 60億參數,還是LLaMA2 130億參數、StarCoder 155億參數,都是如此,ChatGLM2模型中甚至可以縮短到20毫秒以下。

      當然,以上說的大模型可能距離普通人還有些遠,而任何一項技術要想大范圍普及,關鍵還是顛覆用戶的切身工作、生活、娛樂體驗,AI當然也不例外。

      在高宇看來,基于以上大模型,AI在端側的典型應用還是相當豐富的,而且會越來越多,有時候效果會更勝于運行在云側。

      比如超級個人助手,通過低比特量化,在PC側可以獲得更好的效果。

      比如文檔處理,包括中心思想提煉、語法錯誤糾正等等,PC側不僅可以很好地運行,還有利于保護個人隱私和數據安全。

      再比如如今大火的Stable Diffusion和衍生模型的文生圖、文生視頻應用,PC側的算力也是足夠的。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      使用Arc A730M這樣的筆記本獨立顯卡,就可以在幾秒鐘內完成高質量的文生圖、圖生圖、圖像風格轉換等,從而極大地節省工作量,將更多精力放在創意上。

      這足以證明,一臺普通的筆記本在端側運行大模型,使用普通獨顯甚至集顯,依然可以獲得足夠快的響應速度和良好的體驗,當然這也得益于Intel的專項優化。

      當然,歸根到底,AIGC應用在PC端側的普及,離不開足夠多、足夠好用的生態軟件。

      這樣的軟件,一方面可以來自各種商業軟件,他們本身就可以集成中小尺寸大語言模型,提供各種AIGC內容,一些創作軟件甚至可以集成Stable Diffusion。

      另一方面可以來自各家PC OEM品牌廠商,在自己的電腦中集成專門開發、優化的AIGC軟件,預裝提供給用戶,讓AIGC真正可用。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      當然,端側運行AIGC也不是萬能的,一是算力不像云端那么強大,二是內存有限。

      目前主流內存容量還是16GB,哪怕明后年普及32GB,可以承受的模型參數量也是有限的(130億以下),這就需要進行低比特處理,比如FP16轉成INT4,還好在大語言模型中的問題回答質量只會有個位數的稍許下降,而在Diffusion模型中參數又不是很大,可以繼續跑FP16精度。

      事實上,AI研究雖然已經取得相當豐富的成果,未來必然影響每個行業、每個人,但AI依然處在早期階段,廣泛的AI工作負載涉及到不同的模型規模、模型類型、整體基礎架構的復雜性,還要面臨云側、端側、混合等不同環境的適應性,這些都要持續探索和優化。

      相信隨著像Intel這樣有實力的大企業不但在AI應用上取得突破,尤其是將越來越多的AIGC應用帶到端側,讓越來越多的人感受到AI的魅力,它必然會更加廣泛、細致地深入我們的工作和生活,成為人們日常不可或缺的一部分,甚至在不知不覺中享受AI帶來的便利。

      這,才是技術造福人類的本源。

      讓一臺普通PC歡快地跑起AIGC:Intel做到了!

      (圖源:Pixabay)


      關鍵詞:

      亲胸揉胸膜下刺激视频在线观看_国产精品伊人久久_亚洲h在线播放在线观看h_99久久国产综合精品五月天

      <acronym id="z3ew4"><address id="z3ew4"></address></acronym>

      <span id="z3ew4"></span>
      <dd id="z3ew4"></dd>
        <tbody id="z3ew4"><track id="z3ew4"></track></tbody>

        <th id="z3ew4"><pre id="z3ew4"><sup id="z3ew4"></sup></pre></th>
      1. <li id="z3ew4"></li>

      2. <rp id="z3ew4"></rp>

        1. <rp id="z3ew4"></rp>