PROPHESEE 攜手 AMD，推出業(yè)界首款兼容 Kria? KV260 視覺(jué) AI 入門套件的事件視覺(jué)解決方案
基于 Prophesee Metavision? 事件視覺(jué)傳感器和 AI算法在性能、功耗及速度上的優(yōu)勢(shì)，開發(fā)人員現(xiàn)可打造支持 AMD 平臺(tái)的全新一代邊緣 AI 機(jī)器視覺(jué)應(yīng)用。
2024 年 5 月 30 日，中國(guó)上海——領(lǐng)先的神經(jīng)擬態(tài)視覺(jué)傳感公司 Prophesee 宣布，其Metavision? HD 事件視覺(jué)傳感器和 AI 算法現(xiàn)已支持 AMD Kria? KV260視覺(jué)AI入門套件（AMD Kria? KV260 Vision AI Starter Kit），兩者的強(qiáng)強(qiáng)聯(lián)合將加速高級(jí)邊緣機(jī)器視覺(jué)應(yīng)用的開發(fā)。同時(shí)，此次合作也標(biāo)志著業(yè)界首款兼容 AMD 平臺(tái)的事件視覺(jué)開發(fā)套件問(wèn)世。該套件將為客戶提供一個(gè)高效平臺(tái)，助力客戶快速評(píng)估智慧城市、機(jī)器視覺(jué)、安全攝像頭、零售分析等領(lǐng)域的工業(yè)級(jí)解決方案，并將其投入生產(chǎn)。
該套件中包含一款突破性的即插即用主動(dòng)光通信（Active Markers Tracking）應(yīng)用程序，支持 >1,000Hz 的 3D 姿態(tài)估計(jì)（3D pose estimation），能夠在像素級(jí)別上完全消除背景干擾，同時(shí)在復(fù)雜的照明條件下提供極高的魯棒性。該款應(yīng)用程序展現(xiàn)了Prophesee Metavision事件視覺(jué)技術(shù)的獨(dú)特功能，為實(shí)現(xiàn)一系列全新的超高速跟蹤用例提供了助力，如游戲控制器跟蹤、建筑工地安全、重載防搖擺系統(tǒng)等。
此外，更多的即用型應(yīng)用算法將在未來(lái)幾個(gè)月內(nèi)推出。
Prophesee入門套件是一款“開箱即用”的開發(fā)解決方案，讓開發(fā)人員能夠快速啟動(dòng)并運(yùn)行Prophesee Metavision SDK，以及Prophesee與索尼攜手打造的IMX636 HD事件視覺(jué)傳感器。這使得算法能夠輕松移植到AMD商用和工業(yè)級(jí) SOM 上（這些模塊由定制的Zynq? UltraScale+? 多處理器片上系統(tǒng)（MPSoC）驅(qū)動(dòng)），極大地提升了開發(fā)效率和系統(tǒng)性能。
AMD 工業(yè)、視覺(jué)、醫(yī)療和科學(xué)市場(chǎng)高級(jí)總監(jiān) Chetan Khona 表示：“Kria 生態(tài)系統(tǒng)正在蓬勃發(fā)展，這極大地促進(jìn)了機(jī)器人專家和開發(fā)人員在動(dòng)作捕捉、連接性技術(shù)和邊緣 AI 應(yīng)用領(lǐng)域的創(chuàng)新發(fā)展。Prophesee事件視覺(jué)傳感技術(shù)為機(jī)器視覺(jué)應(yīng)用提供了獨(dú)特的優(yōu)勢(shì)。事件視覺(jué)傳感生成的數(shù)據(jù)量較少，這一特點(diǎn)不僅確保了系統(tǒng)的高能效運(yùn)行，還顯著降低了計(jì)算負(fù)擔(dān)與內(nèi)存需求，進(jìn)而實(shí)現(xiàn)了更為迅捷的系統(tǒng)響應(yīng)?！?/p>
Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Luca Verre 表示：“通過(guò)與 AMD 聯(lián)手，我們打造了一款高效的開發(fā)輔助工具，讓開發(fā)基于事件的邊緣應(yīng)用變輕松。為了讓開發(fā)人員充分體驗(yàn)事件視覺(jué)技術(shù)低功耗和低延遲的獨(dú)特優(yōu)勢(shì)，我們提供了全方位的資源支持，同時(shí)打造了一個(gè)靈活的開發(fā)環(huán)境，讓開發(fā)人員能夠基于客戶定制應(yīng)用和用例的具體KPI，優(yōu)化機(jī)器視覺(jué)系統(tǒng)。此舉將進(jìn)一步加速事件視覺(jué)技術(shù)在關(guān)鍵細(xì)分市場(chǎng)的普及，而Metavision的獨(dú)特優(yōu)勢(shì)也將助推這些細(xì)分市場(chǎng)的創(chuàng)新發(fā)展。
定價(jià)及供貨
兼容 AMD Kria KV260 入門套件的 Prophesee 事件視覺(jué)解決方案現(xiàn)已上市。
關(guān)于 PROPHESEE
Prophesee 為機(jī)器視覺(jué)開發(fā)了突破性的事件視覺(jué)（Event-Based Vision）解決方案。這種新的視覺(jué)方法可顯著降低功耗、延遲、及數(shù)據(jù)處理量，能夠獲得傳統(tǒng)基于幀的傳感器不能獲取的內(nèi)容。Prophesee 獲得專利的 Metavision 傳感器和 AI 算法，模仿人眼和大腦的工作方式，能夠顯著提高機(jī)器視覺(jué)在自動(dòng)駕駛汽車、工業(yè)自動(dòng)化、手機(jī)、物聯(lián)網(wǎng)和 AR/VR 等領(lǐng)域的效率。
Prophesee 在巴黎、格勒諾布爾、上海、香港、東京和硅谷設(shè)有全球辦事處。該公司由 120 多名富有遠(yuǎn)見(jiàn)的工程師組成的團(tuán)隊(duì)組成，擁有 50 多項(xiàng)國(guó)際專利，并擁有豪華的投資陣容，包括英特爾投資、博世投資、雷諾集團(tuán)、沙特阿美 Prosperity7 Ventures、創(chuàng)新工場(chǎng)、超新星投資 Supernova Invest、索尼半導(dǎo)體、韋豪創(chuàng)芯、小米、華業(yè)天成、惠友資本等。
更多信息請(qǐng)?jiān)L問(wèn)：www.rfnf.cn
AMD, the AMD arrow, Kria, UltraScale+, Zynq, and combinations thereof are trademarks of Advanced Micro Devices, Inc.
PROPHESEE Metavision? 智能手機(jī)影像去模糊解決方案可投入量產(chǎn)，針對(duì)第三代驍龍 8 移動(dòng)平臺(tái)全面優(yōu)化
在世界移動(dòng)通信大會(huì)（MWC）上，基于與高通多年的合作沉淀，Prophesee 展示了新一代無(wú)模糊的手機(jī)攝影技術(shù)。目前客戶可將該技術(shù)集成到支持第三代驍龍 8 移動(dòng)平臺(tái)的設(shè)備中。
2024年2月27日，中國(guó)上?！I(lǐng)先的神經(jīng)擬態(tài)視覺(jué)傳感公司 Prophesee 今日宣布，與高通技術(shù)公司的合作進(jìn)入可量產(chǎn)階段。在巴塞羅那世界移動(dòng)通信大會(huì)（MWC）期間，Prophesee 展示了其解決方案與驍龍?旗艦移動(dòng)平臺(tái)的原生兼容性，以及神經(jīng)擬態(tài)視覺(jué)技術(shù)為智能手機(jī)攝像頭帶來(lái)的速度、能效和成像質(zhì)量方面的提升。
圖 1: 高通在驍龍峰會(huì)主會(huì)場(chǎng)介紹 Prophesee Metavision 解決方案
Prophesee Metavision 事件視覺(jué)傳感器和人工智能算法針對(duì)驍龍平臺(tái)進(jìn)行了優(yōu)化，使運(yùn)動(dòng)模糊消除（motion blur cancellation）的效果和整體圖像的質(zhì)量都得到前所未有的提升，尤其是在快速移動(dòng)和低光等傳統(tǒng)基于幀的 RGB 傳感器難以應(yīng)對(duì)的場(chǎng)景中。
Prophesee 首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Luca Verre 表示：“自 2023 年 2 月宣布合作以來(lái)，如今我們已取得了重大進(jìn)展，證明了 Prophesee 事件視覺(jué)技術(shù)對(duì)提升搭載驍龍移動(dòng)平臺(tái)智能手機(jī)影像質(zhì)量的顯著作用，這是里程碑式的技術(shù)進(jìn)步。現(xiàn)在，我們很高興宣布 Metavision Deblur 解決方案已準(zhǔn)備就緒，可投入生產(chǎn)。我們期待通過(guò) Prophesee Metavision 解決方案為新一代智能手機(jī)解鎖更強(qiáng)大的影像和視頻功能。”
高通技術(shù)公司產(chǎn)品管理副總裁 Judd Heape 表示：“我們很高興繼續(xù)與 Prophesee 保持緊密合作，協(xié)力推動(dòng) Prophesee Metavision 事件視覺(jué)技術(shù)與第三代驍龍 8 旗艦移動(dòng)平臺(tái)的無(wú)縫兼容。這將顯著提升手機(jī)影像質(zhì)量，同時(shí)為搭載驍龍移動(dòng)平臺(tái)的智能設(shè)備解鎖更多基于事件相機(jī)的免快門功能的新潛能?！?/p>
工作原理
Prophesee 突破性的事件視覺(jué)傳感器能夠?yàn)槭謾C(jī)攝影提供全新的感知維度。由于事件視覺(jué)傳感僅關(guān)注場(chǎng)景中的動(dòng)態(tài)變化，能夠迅速響應(yīng)并連續(xù)追蹤像素變化，從而打破了傳統(tǒng)的成像范式。
Metavision 傳感器中的每個(gè)像素都有一個(gè)內(nèi)嵌的邏輯核（logic core），使其能夠作為神經(jīng)元來(lái)工作。 每個(gè)像素都能根據(jù)各自感應(yīng)到的光子數(shù)量，異步且智能地激活自身。像素的每次激活稱為一個(gè)“事件（event）”，因此在本質(zhì)上，事件是由場(chǎng)景動(dòng)態(tài)驅(qū)動(dòng)的，其采集速度也始終與實(shí)際場(chǎng)景動(dòng)態(tài)相匹配。
通過(guò)同步 Prophesee 事件傳感器和基于幀的傳感器的數(shù)據(jù)，手機(jī)攝影可以實(shí)現(xiàn)高性能的圖像去模糊。系統(tǒng)能夠?qū)⑹录鞲衅饕晕⒚霝閱挝挥涗浀氖录畛涞絻蓭瑘D像的間隙，通過(guò)算法提取純動(dòng)態(tài)信息，從而修復(fù)運(yùn)動(dòng)模糊。
關(guān)于手機(jī)應(yīng)用的更多詳細(xì)信息，請(qǐng)?jiān)L問(wèn)：http://www.rfnf.cn/event-based-vision-mobile/
關(guān)于 PROPHESEE
Prophesee 是神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的發(fā)明者和全球市場(chǎng)領(lǐng)導(dǎo)者。
Prophesee 為機(jī)器視覺(jué)開發(fā)了突破性的事件視覺(jué)（Event-Based Vision）解決方案。這種新的視覺(jué)方法可顯著降低功耗、延遲、及數(shù)據(jù)處理量，能夠獲得傳統(tǒng)基于幀的傳感器不能獲取的內(nèi)容。Prophesee 獲得專利的 Metavision 傳感器和 AI 算法，模仿人眼和大腦的工作方式，能夠顯著提高機(jī)器視覺(jué)在自動(dòng)駕駛汽車、工業(yè)自動(dòng)化、手機(jī)、物聯(lián)網(wǎng)和 AR/VR 等領(lǐng)域的效率。
Prophesee 在巴黎、格勒諾布爾、上海、香港、東京和硅谷設(shè)有全球辦事處，擁有 120 多名富有遠(yuǎn)見(jiàn)的工程師、50 多項(xiàng)國(guó)際專利以及豪華的投資陣容，包括英特爾投資、博世投資、雷諾集團(tuán)、沙特阿美 Prosperity7 Ventures、創(chuàng)新工場(chǎng)、超新星投資 Supernova Invest、索尼半導(dǎo)體、韋豪創(chuàng)芯、小米、華業(yè)天成、惠友資本等。
更多信息請(qǐng)?jiān)L問(wèn)：www.rfnf.cn
驍龍（Snapdragon）是高通公司（Qualcomm Incorporated）的商標(biāo)或注冊(cè)商標(biāo)。驍龍（Snapdragon）是高通技術(shù)公司（Qualcomm Technologies, Inc.）和/或其子公司的產(chǎn)品。
Prophesee 合作伙伴 Zinn Labs 推出基于事件的眼動(dòng)追蹤系統(tǒng)，為人工智能鏡框和 VR/MR 系統(tǒng)賦能
突破性的基于事件的眼動(dòng)追蹤系統(tǒng)利用 Prophesee 事件視覺(jué)傳感器的超低功耗和低延時(shí)特性，將用戶體驗(yàn)提升至新水平
2024 年 1 月 30 日，加利福尼亞州門洛帕克市 – 今天，Zinn Labs 推出業(yè)內(nèi)首款基于事件的眼動(dòng)追蹤系統(tǒng)，適用于 VR/MR 頭顯和智能鏡框。事件傳感技術(shù)的核心功能是超高速、低功耗地捕捉眼動(dòng)追蹤的相關(guān)信號(hào)。
Zinn Labs 首席執(zhí)行官 Kevin Boyle：“相較于基于視頻的解決方案，Zinn Labs 基于事件的眼動(dòng)追蹤技術(shù)可將數(shù)據(jù)帶寬減少兩個(gè)量級(jí)，從而能夠使續(xù)航和效率突破瓶頸，將不可能變?yōu)榭赡堋?/p>
由于Zinn Labs的3D眼動(dòng)追蹤具有超低算力，因此可以有效支持智能可穿戴設(shè)備的低功耗運(yùn)行，令A(yù)R外觀設(shè)計(jì)更接近于普通眼鏡。另一方面，EVS的眼動(dòng)追蹤方案可以實(shí)現(xiàn)更低延時(shí)、更高魯棒性和更順滑地實(shí)現(xiàn)超過(guò)120Hz的高速追蹤，賦予穿戴設(shè)備更強(qiáng)的性能表現(xiàn)。
眼動(dòng)追蹤應(yīng)用
智能眼鏡如今正在迅速發(fā)展，為人們提供了一種可隨時(shí)隨地訪問(wèn)生成式 AI 的接口。Zinn Labs 的多種應(yīng)用演示已經(jīng)證明，由用戶眼動(dòng)生成的注意力信號(hào)（attention signal）可以將用戶意圖與 AI 輸出的內(nèi)容無(wú)縫連接。
未來(lái)，隨著 AR 和 MR 計(jì)算設(shè)備追求更直觀的用戶交互，眼動(dòng)追蹤將成為多種組件技術(shù)發(fā)展的先決條件。例如，眼動(dòng)是用戶與數(shù)字環(huán)境最自然的交互方法。借助 Prophesee GenX320 事件傳感器，Zinn Labs 打造了具備高刷新率和低延時(shí)的眼動(dòng)追蹤解決方案，能夠助力提升頭顯設(shè)備的響應(yīng)能力和體驗(yàn)的真實(shí)感，對(duì)用戶而言極具吸引力。
Zinn Labs DK1 即將推出
Zinn Labs DK1凝視眼鏡平臺(tái)是一款開發(fā)套件，配備了基于事件的雙目眼動(dòng)追蹤系統(tǒng)和外向攝像頭，并由 Zinn Labs 的 3D 眼動(dòng)算法提供支持。DK1 配備了 Prophesee Metavision? 事件視覺(jué)傳感器 GenX320，這也是目前市面上尺寸最小的事件視覺(jué)傳感器。
“隨著用戶對(duì)實(shí)用性和體驗(yàn)感的要求不斷提高，基于幀（圖像）的采集技術(shù)已無(wú)法滿足如今 AR/MR 可穿戴設(shè)備和頭顯對(duì)于速度、低延時(shí)、尺寸和功耗的要求。為此，Prophesee 專門設(shè)計(jì)開發(fā)了 GenX320，以滿足對(duì)實(shí)時(shí)性和處理效率的需求，為各種產(chǎn)品提供事件視覺(jué)的優(yōu)勢(shì)，例如 Zinn Labs 極具突破性 AR/MR 平臺(tái)支持的產(chǎn)品?！?Luca Verre, Prophesee 首席執(zhí)行官兼聯(lián)合創(chuàng)始人
DK1 支持低于 1° 的快速眼動(dòng)追蹤精度，運(yùn)行頻率為 120 Hz，端到端延時(shí)為 10 ms。開發(fā)套件附帶演示應(yīng)用程序，如以下介紹的可穿戴 AI 助手，可用于性能評(píng)估或客戶概念驗(yàn)證集成項(xiàng)目。
在 SPIE AR | VR | MR 2024 上了解更多
Zinn Labs 將于 1 月 30 日和 31 日在加利福尼亞州舊金山舉辦的 SPIE AR | VR | MR 2024 上介紹該項(xiàng)技術(shù)并演示 DK1。請(qǐng)?jiān)L問(wèn)www.zinnlabs.com了解更多信息，或聯(lián)系info@zinnlabs.com咨詢開發(fā)套件和授權(quán)事宜。
關(guān)于 ZINN LABS
Zinn Labs, Inc. 為頭戴式設(shè)備設(shè)計(jì)瞳孔及眼動(dòng)追蹤系統(tǒng)，以及只有注視才能啟用的新型用戶界面。Zinn Labs 的技術(shù)結(jié)合了前沿的計(jì)算機(jī)視覺(jué)研究和對(duì)人類視覺(jué)系統(tǒng)的深刻理解，以及如何通過(guò)眼動(dòng)捕捉用戶注意力，為新一代消費(fèi)類電子設(shè)備帶來(lái)視覺(jué)優(yōu)先的腦機(jī)接口。
關(guān)于 PROPHESEE
Prophesee 是世界上先進(jìn)的神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的發(fā)明者。
Prophesee 為機(jī)器視覺(jué)開發(fā)了突破性的事件視覺(jué)（Event-Based Vision）解決方案。這種新的視覺(jué)方法可顯著降低功耗、延遲、及數(shù)據(jù)處理的要求，能夠獲得傳統(tǒng)基于幀的傳感器不能獲取的內(nèi)容。Prophesee 獲得專利的 Metavision? 傳感器和 AI 算法，模仿人眼和大腦的工作方式，能夠顯著提高機(jī)器視覺(jué)在自動(dòng)駕駛、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、手機(jī)和AR/VR 等領(lǐng)域的效率。
Prophesee 在巴黎、格勒諾布爾、上海、香港、東京和硅谷設(shè)有全球辦事處；由100多名富有遠(yuǎn)見(jiàn)的工程師組成的團(tuán)隊(duì)組成，擁有50多項(xiàng)國(guó)際專利，并擁有豪華的投資陣容，包括英特爾投資、博世投資、雷諾集團(tuán)、沙特阿美Prosperity7 Ventures、創(chuàng)新工場(chǎng)、超新星投資Supernova Invest、索尼半導(dǎo)體、韋豪創(chuàng)新、小米、華業(yè)天成、惠友資本等。
了解更多：http://www.rfnf.cn/
再拓版圖｜PROPHESEE 成立香港區(qū)域總部，加速全球業(yè)務(wù)拓展
進(jìn)一步在亞洲推廣應(yīng)用神經(jīng)擬態(tài)人工智能技術(shù)
在香港特區(qū)政府投資推廣署 的協(xié)助下，PROPHESEE今日宣布在香港設(shè)立區(qū)域總部，進(jìn)一步在亞洲推廣神經(jīng)擬態(tài)人工智能技術(shù)的應(yīng)用。
香港投資推廣署助理署長(zhǎng)蔣學(xué)禮博士表示：
“投資推廣署歡迎Prophesee‘落戶’香港。我們很高興看到Prophesee善用香港在研發(fā)實(shí)力、先進(jìn)科技基建、法律制度和人才方面的優(yōu)勢(shì)，在香港設(shè)立區(qū)域總部。憑借國(guó)家‘十四五’規(guī)劃和粵港澳大灣區(qū)帶來(lái)的機(jī)遇，香港成為一個(gè)戰(zhàn)略樞紐，幫助 Prophesee這類創(chuàng)新企業(yè)開拓市場(chǎng)?！?/p>
Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Luca Verre 先生表示：
“Prophesee致力于推動(dòng)神經(jīng)擬態(tài)人工智能技術(shù)的落地與應(yīng)用，包括在手機(jī)、增強(qiáng)現(xiàn)實(shí)（AR）或虛擬現(xiàn)實(shí)（VR）頭顯、物聯(lián)網(wǎng)相機(jī)，以及工業(yè)自動(dòng)化和汽車等領(lǐng)域 。大中華區(qū)和泛亞地區(qū)是上述領(lǐng)域最大且增長(zhǎng)最快的市場(chǎng)。我們正在加速商業(yè)拓展，并且已經(jīng)與大中華區(qū)一些主要的手機(jī)制造商和物聯(lián)網(wǎng)解決方案公司達(dá)成合作共識(shí)，因此我們認(rèn)為現(xiàn)在是來(lái)港設(shè)點(diǎn)的最佳時(shí)機(jī)，將香港作為我們進(jìn)一步拓展亞洲業(yè)務(wù)的地區(qū)樞紐?！?/p>
Luca Verre補(bǔ)充表示，新開設(shè)的香港辦事處不僅是Prophesee在亞太地區(qū)的區(qū)域總部，也是客戶創(chuàng)新中心，負(fù)責(zé)統(tǒng)籌大中華區(qū)、日本和韓國(guó)的業(yè)務(wù)運(yùn)營(yíng)，同時(shí)為全球范圍內(nèi)的客戶開發(fā)創(chuàng)新的神經(jīng)擬態(tài)解決方案。公司將由總部派員并聘請(qǐng)香港人才出任高層管理團(tuán)隊(duì)，以落實(shí)這一發(fā)展計(jì)劃。
Prophesee致力于開發(fā)事件（Event-based）視覺(jué) 傳感技術(shù)，為機(jī)器視覺(jué)提供突破性的解決方案。該技術(shù)可顯著降低功耗，并極大減少延遲及數(shù)據(jù)處理要求，讓機(jī)器能夠識(shí)別傳統(tǒng)傳感技術(shù)無(wú)法感知的信息。
如欲了解更多關(guān)于Prophesee的資料，可瀏覽www.rfnf.cn。
INVEST HONG KONG 投資推廣署
24/F, Fairmont House, 8 Cotton Tree Drive, Central, Hong Kong 香港中環(huán)紅棉路8號(hào)東昌大廈24樓
Tel 電話: (852) 3107 1000
Fax 傳真: (852) 3107 9140
Website 網(wǎng)址: www.investhk.gov.hk
借助Prophesee Metavision技術(shù)，Ultraleap在CVPR上演示全新的TouchFree手勢(shì)追蹤demo
數(shù)字標(biāo)牌和顯示器正變得越來(lái)越普遍和吸引人。這一領(lǐng)域的一個(gè)新發(fā)展是，無(wú)需觸摸屏幕即可與數(shù)字內(nèi)容進(jìn)行交互 ——完全免觸摸。
Ultraleap的TouchFree解決方案使用戶能夠通過(guò)自然的手部互動(dòng)與數(shù)字屏幕進(jìn)行交互，并在不影響生產(chǎn)率和吞吐量的情況下提供更高水平的互動(dòng)。
要實(shí)現(xiàn)交互式數(shù)字標(biāo)牌的廣泛應(yīng)用，關(guān)鍵在于解決不同照明環(huán)境（包括夜間和明亮的空間）下的穩(wěn)定性問(wèn)題。此外，通過(guò)玻璃櫥窗進(jìn)行交互是一個(gè)高價(jià)值的應(yīng)用案例，可以展現(xiàn)出需要注意的復(fù)雜問(wèn)題。
Prophesee基于事件的Metavision?技術(shù)具有高動(dòng)態(tài)范圍、低功耗和高速異步讀取功能，開啟所有環(huán)境中實(shí)現(xiàn)一致的體驗(yàn)。
視頻1 – Ultraleap’s Touch-Free應(yīng)用:
點(diǎn)餐
視頻2 – Ultraleap’s Touch-Free應(yīng)用:
球池游戲
Ultraleap與索尼和Prophesee合作開發(fā)了采用兩個(gè)IMX636事件傳感器立體設(shè)置的技術(shù)演示器。該演示器與Ultraleap世界級(jí)手勢(shì)追蹤技術(shù)以及TouchFree解決方案配合使用，可提供世界上首個(gè)采用Prophesee Metavision?技術(shù)的免觸摸體驗(yàn)。
我們非常高興地宣布，Ultraleap將在CVPR 2023上演示這項(xiàng)新技術(shù)。演示將于6月19日上午10:30在事件視覺(jué)研討會(huì)上進(jìn)行。請(qǐng)與我們會(huì)面了解Metavision能為您的應(yīng)用帶來(lái)哪些幫助。
PROPHESEE 攜手高通，神經(jīng)擬態(tài)視覺(jué)技術(shù)助力手機(jī)影像質(zhì)量突破新高
雙方達(dá)成長(zhǎng)期合作，實(shí)現(xiàn) Prophesee Metavision? 事件視覺(jué)傳感器及軟件對(duì)高通驍龍?移動(dòng)平臺(tái)的原生支持
要點(diǎn)
- 人類對(duì)世界的認(rèn)識(shí)并非基于柵格（raster-based）或基于幀（frame-based）。Prophesee 事件視覺(jué)傳感器受人眼視覺(jué)原理啟發(fā)，能夠修復(fù)由傳統(tǒng)圖像傳感器造成的運(yùn)動(dòng)模糊及其他圖像質(zhì)量問(wèn)題，特別是在高動(dòng)態(tài)場(chǎng)景和低光照環(huán)境下，能夠使手機(jī)影像更接近真實(shí)體驗(yàn)。
- 高通技術(shù)公司是高端手機(jī)技術(shù)的全球領(lǐng)導(dǎo)者，雙方合作將加速 Prophesee 的解決方案在手機(jī)行業(yè)的快速部署。
- 雙方將攜手優(yōu)化 Prophesee Metavision 神經(jīng)擬態(tài)事件視覺(jué)傳感技術(shù)（包括傳感器和軟件）與驍龍移動(dòng)平臺(tái)的深度融合。相關(guān)開發(fā)套件將由 Prophesee 于今年內(nèi)推出。
2023 年 2 月 28 日，中國(guó)上海 ——Prophesee 與高通技術(shù)公司今日宣布，雙方將合作優(yōu)化 Prophesee Metavision 事件視覺(jué)傳感器與高通驍龍移動(dòng)平臺(tái)的深度融合，為智能手機(jī)提供神經(jīng)擬態(tài)視覺(jué)技術(shù)在速度、性能和成像質(zhì)量方面的優(yōu)勢(shì)。借助 Prophesee 事件視覺(jué)傳感器的異步像素檢測(cè)以及連續(xù)事件流輸出，為智能手機(jī)廠家提供一種高效快速的途徑來(lái)顯著提升相機(jī)影像性能，特別是在高速移動(dòng)的動(dòng)態(tài)場(chǎng)景（例如運(yùn)動(dòng)場(chǎng)景）以及低光照環(huán)境下。此外，Prophesee 正在開發(fā)一個(gè)開發(fā)套件，以支持搭載驍龍平臺(tái)的下一代設(shè)備集成 Metavision 傳感器技術(shù)。
高通產(chǎn)品管理副總裁 Judd Heape 表示：“神經(jīng)擬態(tài)視覺(jué)技術(shù)突破了行業(yè)現(xiàn)有的游戲規(guī)則，能夠解決傳統(tǒng)相機(jī)的局限并提升整體用戶體驗(yàn)，Prophesee 無(wú)疑是這一領(lǐng)域的領(lǐng)導(dǎo)者，我們有信心雙方的合作將進(jìn)一步推動(dòng)領(lǐng)先的 OEM 部署神經(jīng)擬態(tài)視覺(jué)技術(shù)，從而開啟移動(dòng)影像技術(shù)的全新時(shí)代。” Judd Heape 補(bǔ)充道：“由于事件相機(jī)的成像不受快門的限制，即便是在惡劣的環(huán)境下，也能夠顯著提升搭載驍龍的下一代智能手機(jī)的影像性能，為我們的客戶解鎖一系列全新的可能性?！?/p>
Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Luca Verre 表示：“我們很高興能夠與高通建立戰(zhàn)略合作關(guān)系，共同推動(dòng)事件視覺(jué)技術(shù)與驍龍生態(tài)的集成與發(fā)展。高通驍龍是全球最受歡迎的移動(dòng)平臺(tái)之一，通過(guò)此次合作，產(chǎn)品開發(fā)人員將能夠大幅提升手機(jī)攝影的性能及影像質(zhì)量，優(yōu)化用戶體驗(yàn)，這是基于幀的傳統(tǒng)成像方式難以實(shí)現(xiàn)的?！?/p>
工作原理
Prophesee 突破性的事件視覺(jué)傳感器能夠?yàn)槭謾C(jī)攝影提供全新的感知維度。由于事件視覺(jué)傳感僅關(guān)注場(chǎng)景中的動(dòng)態(tài)變化，能夠迅速響應(yīng)并連續(xù)追蹤像素變化，從而打破了傳統(tǒng)的成像范式。
Metavision 傳感器中的每個(gè)像素都有一個(gè)內(nèi)嵌的邏輯核（logic core），使其能夠作為神經(jīng)元來(lái)工作。 每個(gè)像素都能根據(jù)各自感應(yīng)到的光子數(shù)量，異步且智能地激活自身。像素的每次激活稱為一個(gè)“事件（event）”，所以在本質(zhì)上，事件是由場(chǎng)景動(dòng)態(tài)驅(qū)動(dòng)的，其采集速度也始終與實(shí)際場(chǎng)景動(dòng)態(tài)相匹配。
通過(guò)同步 Prophesee 事件傳感器和基于幀的傳感器的數(shù)據(jù)，手機(jī)攝影可以實(shí)現(xiàn)高性能的圖像去模糊。系統(tǒng)能夠?qū)⑹录鞲衅饕晕⒚霝閱挝挥涗浀氖录畛涞絻蓭瑘D像的間隙，通過(guò)算法提取純動(dòng)態(tài)信息，從而修復(fù)運(yùn)動(dòng)模糊。
使用
支持 Prophesee 事件視覺(jué)傳感技術(shù)的開發(fā)套件預(yù)計(jì)將于今年上市。.
早期報(bào)道
關(guān)于 PROPHESEE
Prophesee 是神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的發(fā)明者和全球市場(chǎng)領(lǐng)導(dǎo)者。
Prophesee 為機(jī)器視覺(jué)開發(fā)了突破性的事件視覺(jué)（Event-Based Vision）解決方案。這種新的視覺(jué)方法可顯著降低功耗、延遲、及數(shù)據(jù)處理量，能夠獲得傳統(tǒng)基于幀的傳感器不能獲取的內(nèi)容。Prophesee 獲得專利的 Metavision 傳感器和 AI 算法，模仿人眼和大腦的工作方式，能夠顯著提高機(jī)器視覺(jué)在工業(yè)自動(dòng)化、手機(jī)、物聯(lián)網(wǎng)和 AR/VR 等領(lǐng)域的效率。
Prophesee 全球總部位于巴黎，中國(guó)總部位于上海。公司還在東京和硅谷等全球多地設(shè)有辦事處。公司有 100 多位科研人員。擁有 50 多項(xiàng)國(guó)際專利， 并得到領(lǐng)先國(guó)際投資者的支持，包括 Intel、BOSCH、雷諾集團(tuán)、小米、韋爾股份等戰(zhàn)略投資人，及歐洲投資銀行 EIB、創(chuàng)新工場(chǎng)、韋豪創(chuàng)芯、Prosperity7 Ventures 等產(chǎn)業(yè)投資人。
更多信息請(qǐng)?jiān)L問(wèn)：www.prophesee.ai
什么是事件視覺(jué)？
事件視覺(jué)功能可以克服傳統(tǒng)機(jī)器視覺(jué)的固有限制，做到像眼睛和大腦一樣的視覺(jué)處理方式
人眼與傳統(tǒng)攝像機(jī)幾乎沒(méi)有共同之處。
自150年前傳統(tǒng)相機(jī)出現(xiàn)以來(lái)，所有傳統(tǒng)的視頻工具都是通過(guò)每秒捕捉一些靜止幀來(lái)表現(xiàn)運(yùn)動(dòng)。這種圖像快速地展示，會(huì)造成一種連續(xù)運(yùn)動(dòng)的錯(cuò)覺(jué)。從翻頁(yè)書到電影攝像機(jī)，這種錯(cuò)覺(jué)變得更加令人信服，但其基本結(jié)構(gòu)從未改變。
對(duì)于計(jì)算機(jī)來(lái)說(shuō)，這種運(yùn)動(dòng)的表現(xiàn)形式用處不大。相機(jī)在每一幀之間的信息是無(wú)法被捕捉的。即使相機(jī)在記錄，它的每一張“快照”圖像也不包含場(chǎng)景中元素運(yùn)動(dòng)的信息。而且在每張圖像中，不相關(guān)的同一背景對(duì)象被重復(fù)記錄，產(chǎn)生過(guò)多無(wú)用的數(shù)據(jù)。
參考一個(gè)高爾夫球手揮桿的視頻
過(guò)度采樣:天空，草地和樹木
未采樣:高爾夫球手、球桿和球的運(yùn)
參考一個(gè)高爾夫球手揮桿的視頻：傳統(tǒng)傳感器對(duì)整個(gè)場(chǎng)景應(yīng)用固定幀率，假設(shè)為每秒30幀。重要的信息是球桿的擺動(dòng)和球的移動(dòng)， 但傳感器會(huì)在幀之間漏掉這部分信息 ，反而反復(fù)記錄他身后 靜止的天空、樹木和草地。
應(yīng)用自然界的智慧
進(jìn)化發(fā)展出一種優(yōu)雅的解決方案，使自然視覺(jué)永遠(yuǎn)不會(huì)遇到這些問(wèn)題。自然視覺(jué)不需要幀。當(dāng)眼睛里的細(xì)胞檢測(cè)到場(chǎng)景的變化——一個(gè)事件時(shí)，它們就會(huì)向大腦報(bào)告。如果沒(méi)有變化，細(xì)胞就不會(huì)報(bào)告任何信息。物體移動(dòng)得越多，眼睛和大腦對(duì)它的采樣就越多。
這一過(guò)程使人類視覺(jué)能夠收集所需的所有信息，而無(wú)需浪費(fèi)時(shí)間和精力重新處理場(chǎng)景中不變部分的圖像。
通過(guò)只記錄變化，眼睛和大腦可以從每秒1000次的變化中收集有用的信息，而不需要?jiǎng)佑么罅康哪X力。捕食者和獵物都沒(méi)有時(shí)間浪費(fèi)在處理無(wú)關(guān)信息上。
這是一種基于事件的視覺(jué)獨(dú)立感受器，只收集所有必要的信息。
事件視覺(jué)系統(tǒng)僅感知場(chǎng)景的運(yùn)動(dòng)，忽略不相關(guān)的內(nèi)容
參照眼睛和大腦，Prophesee創(chuàng)造了神經(jīng)形態(tài)傳感器和仿生算法。這種方法使得計(jì)算機(jī)視覺(jué)得到根本性的轉(zhuǎn)變——從基于幀的傳感器轉(zhuǎn)向事件視覺(jué)系統(tǒng)，也稱為事件攝像機(jī)。
每個(gè)像素只在感覺(jué)到運(yùn)動(dòng)時(shí)才被觸發(fā)。在基于幀的傳感器中，所有像素同時(shí)記錄，而在基于事件的傳感器中，每個(gè)像素完全獨(dú)立。
幀與幀之間沒(méi)有任何損失
當(dāng)每個(gè)像素只有在被觸發(fā)時(shí)才可以自由記錄時(shí)，所創(chuàng)建的信息不會(huì)逐幀到達(dá)。相反，運(yùn)動(dòng)被捕捉為連續(xù)的信息流。幀與幀之間沒(méi)有任何損失。?
The Prophesee sensor records a rotating robotic arm as a continuous stream of movement.
顛覆性技術(shù)
通過(guò)繞過(guò)傳統(tǒng)計(jì)算機(jī)視覺(jué)的固有限制，基于事件的視覺(jué)正在為覆汽車、人工智能和深度學(xué)習(xí)、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、安全、監(jiān)控和醫(yī)療保健等諸多領(lǐng)域帶來(lái)革命。