根據截圖就能產生程式碼,準確率高達77%

游客2024-07-04 09:30:01

唐旭編譯整理

量子位元報道| 公眾號

UI設計和前端工程師之間,可能還需要一個神經網路。

 1

近日,位於哥本哈根的一家新創公司開發了一個名為「」的系統。運用深度學習,這個系統能夠根據輸入的圖形使用者介面(GUI)截圖直接輸出對應的程式碼,從而省去前端手動編寫程式碼的過程。

目前所產生程式碼的準確率已達到77%,且這些程式碼能夠相容於安卓、iOS以及Web介面三種平台。

到底有多神奇?看看下面這段影片就知道了。

的創辦人Tony 說,為了搞出這個神經網絡,研發團隊必須克服三個主要面向的困難:

也表示,在未來,他們可能會用生成對抗網路(GANs)對進行進一步的完善。 GANs已經證明了自己在生成序列和圖像時的優勢,但因為這一領域內的研究還處於相對初步的階段,要對神經網路進行訓練仍然需要花費大量的時間。

附paper地址:

地址:

 2

此外,在上,對於相關的一些常見問題進行了解答。量子位元將這一部分編譯如下:

Q:資料集會在什麼時候開放?

A:我們把論文投到了今年的NIPS,等他們給予採納或拒絕的結果後,資料集將會開放,具體時間大概在九月。那時我們將會提供包含在資料集中的GUI截圖、相關的DSL程式碼以及針對iOS、安卓和Web介面的三種目標程式碼。

Q:原始碼什麼時候開放?

A:原本如論文中所寫,我們沒有開放原始碼的計畫。但沒想到這個專案吸引瞭如此多的關注,因此我們決定將論文中所說的實作程式碼和資料集一起開源。

Q:會支援其他目標平台/語言嗎?

A:不,只是一個研究項目,它將保持論文中所描述的狀態。這個專案其實只是我們在所做工作的一個小小展示。當然,我們歡迎你fork,自己在其他目標平台/語言上進行實驗。

Q:我能在自己的前端專案中用嗎?

A:不,只是實驗性的項目,目前還無法讓你在特定案例上應用。但我們正在努力爭取讓它商業化。

Q:模型的表現是如何進行測量的?

A:論文中所報告的準確或是錯誤結果都是在DSL層次上,透過對產生的token和預期的token進行比較而得出的。如果二者存在任何長度上的差異,同樣會被認定為錯誤。

Q:訓練這個模型要花多久時間?

A:在一塊英偉達的Tesla K80 GPU上,要讓一個資料集中包含的109 * 10^6個參數最優化,需要花費不到5個小時的時間。因此如果你想在三個目標平台上訓練這個模型的話,大概要花15個小時。

Q:我是前端開發者?我是不是很快就要失業? (我非常真誠地問了這個問題好多遍了…)

A:AI並不會那麼快就把前端工程師取代。

即便假定已經存在一個成熟的版本,在每種不同的平台/語言上產生的程式碼都能達到100%的準確率,好的前端仍然需要邏輯、互動、高級的圖形和動畫,以及其他所有用戶喜歡的東西。

我們做這個東西的目的是填平UI/UX設計師與前端開發者之間的鴻溝,而不是去代替他們。我們希望能讓設計者更好地創作,同時讓開發人員將自己的時間更多地花在那些核心功能上。

我們相信未來AI將與人類合作,而不是取代人類。

【完】

招募

量子位正在招募編輯記者、營運、產品等職位,工作地點在北京中關村。相關細節,請在公眾號對話介面,回覆:「招募」。

One More Thing…

今天AI界還有哪些事值得關注?在量子位()公眾號對話介面回覆“今天”,看我們全網搜羅的AI產業和研究動態。筆芯~