2歲的人類幼崽能做什么，AI居然會學(xué)。

直到現(xiàn)在，這個終于被科學(xué)家攻克了！

有網(wǎng)友評價:很爽這可能是我最近幾個月看到的最好的項目了

它是如何工作的。

我們先來看幾個例子。

當你上傳3張不同角度的陶瓷貓照片時，你可能會得到以下4張新圖像:兩只在船上釣魚的陶瓷貓，陶瓷貓書包，班克斯的藝術(shù)風(fēng)格貓和陶瓷貓主題飯盒。

同樣的例子是藝術(shù)品:

裝甲:

碗:

AI不僅可以從圖像中提取物體，還可以生成具有特定風(fēng)格的新圖像比如如下圖，AI提取了輸入圖像的繪畫風(fēng)格，生成了一系列這種風(fēng)格的新繪畫

更神奇的是，它還可以將兩組輸入的圖像進行組合，提取一組圖像中的物體，然后提取另一組的圖像風(fēng)格，將兩者組合生成一幅全新的圖像。

除此之外，通過這個功能，你還可以啟動一些經(jīng)典的圖像，給它們添加一些新元素。

那么，如此神奇的功能背后是什么原理呢。

雖然近兩年來，大規(guī)模的文本—圖像模型，如DALL，CLIP，GLIDE等，已經(jīng)被證明有很強的自然語言推理能力

但有一點:如果用戶提出一些具體的要求，比如生成一張新的包含我最喜歡的童年玩具的照片，或者把孩子的涂鴉變成一件藝術(shù)品，這些大規(guī)模的模型是很難做到的。

為了應(yīng)對這一挑戰(zhàn)，提出了一種固定的，預(yù)訓(xùn)練的文本圖像模型和一小組描述概念的圖像目標是從這個小集合中找到一個單詞來嵌入和重建圖像因為這種嵌入是通過優(yōu)化過程發(fā)現(xiàn)的，所以稱為文本倒置

具體來說，就是先把用戶輸入的圖像中的物體或樣式抽象出來，轉(zhuǎn)換成偽詞s此時，這個偽詞可以被視為任何其他詞

S在沙灘上的照片，掛在墻上的S的油畫，畫一個S2風(fēng)格的S1。

值得注意的是，這項研究使用了小規(guī)模，有計劃的數(shù)據(jù)集，因此在生成圖像時可以有效避免刻板印象。

比如下圖，當提示醫(yī)生時，其他模型傾向于生成白人和男性的圖像，而該模型生成的圖像中增加了女性和其他種族的數(shù)量。

目前這個項目的代碼和數(shù)據(jù)已經(jīng)開源，有興趣的伙伴可以關(guān)注一下。

參考鏈接:

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。