在昨晚，OpenAI CEO Sam Altman 在推特上發(fā)布了一條重要消息，ChatGPT 要推出新功能啦。ChatGPT 現(xiàn)在可以看、聽(tīng)和說(shuō)了！

這次 ChatGPT 推出新的語(yǔ)音和圖像功能提供了一種新的、更直觀的界面類(lèi)型，允許用戶跟它進(jìn)行語(yǔ)音對(duì)話，向 ChatGPT 展示說(shuō)話內(nèi)容。

多場(chǎng)景使用 ChatGPT

這一次的更新將使 ChatGPT 成為更強(qiáng)大的工具，適用于多種生活場(chǎng)景。比如，當(dāng)你在旅行時(shí)，可以拍攝周?chē)牡貥?biāo)，然后與 ChatGPT 進(jìn)行實(shí)時(shí)對(duì)話，了解更多有趣的信息。而當(dāng)你在家時(shí)，只需拍攝你冰箱里的食物，ChatGPT 就能幫你決定今晚吃什么，甚至提供相應(yīng)的食譜。如果你的孩子遇到數(shù)學(xué)難題，拍照上傳后，ChatGPT 也可以幫助他們解決問(wèn)題。

例如，你可以拍一張照片，然后詢問(wèn)如何調(diào)整自行車(chē)座椅的高度。這一更新使 ChatGPT 成為了一個(gè)更強(qiáng)大的伴侶，可以幫助你解決日常生活中的各種問(wèn)題。

官方還給出了另一個(gè)實(shí)用的使用場(chǎng)景思路：你打開(kāi)冰箱，拍一張照片，然后問(wèn) AI 晚餐可以吃什么，ChatGPT 將生成完整的菜譜。這樣，你可以在快節(jié)奏的生活中省下時(shí)間，讓 ChatGPT 幫你規(guī)劃健康的飲食。

這次的更新將在接下來(lái)的兩周內(nèi)向 ChatGPT Plus 訂閱用戶和企業(yè)版用戶推出，而且不論你使用的是 iOS 還是 Android，你都能夠輕松使用這一新功能。

與此同時(shí)，多模態(tài)版 GPT-4V 模型也公開(kāi)了更多細(xì)節(jié)。最令人驚訝的是，這個(gè)多模態(tài)版的 GPT 模型早在 2022 年 3 月就已經(jīng)完成訓(xùn)練，這意味著 OpenAI 在這方面取得了長(zhǎng)足的進(jìn)展。

現(xiàn)在，讓我們來(lái)看看 GPT-4V 模型的能力和局限性。

這個(gè)多模態(tài)版的 GPT 模型具有強(qiáng)大的視覺(jué)能力：

1.物體檢測(cè)： GPT-4V 能夠檢測(cè)和識(shí)別圖像中的常見(jiàn)物體，例如汽車(chē)、動(dòng)物和家居用品等。這項(xiàng)能力在標(biāo)準(zhǔn)圖像數(shù)據(jù)集上進(jìn)行了評(píng)估，表現(xiàn)出卓越的物體識(shí)別能力。

2.文本識(shí)別： 模型具備光學(xué)字符識(shí)別 (OCR) 功能，可以檢測(cè)圖像中的打印或手寫(xiě)文本，并將其轉(zhuǎn)錄為機(jī)器可讀文本。這一功能在處理文檔、標(biāo)志、標(biāo)題等圖像時(shí)表現(xiàn)出色。

3.人臉識(shí)別： GPT-4V 能夠定位并識(shí)別圖像中的人臉。它還具有一定的面部分析能力，能夠根據(jù)面部特征識(shí)別性別、年齡和種族屬性。這一能力經(jīng)過(guò) FairFace 和 LFW 等數(shù)據(jù)集的測(cè)量驗(yàn)證。

4.驗(yàn)證碼解決： 在處理基于文本和圖像的驗(yàn)證碼時(shí)，GPT-4V 表現(xiàn)出了出色的視覺(jué)推理能力，這表明模型具有高級(jí)解謎技能。

5.地理定位： 模型能夠識(shí)別風(fēng)景圖像中描繪的城市或地理位置，表明它吸收了關(guān)于現(xiàn)實(shí)世界的大量知識(shí)。然而，這也可能涉及到隱私問(wèn)題，因?yàn)槟Ｐ涂梢宰R(shí)別出與特定地點(diǎn)相關(guān)的信息。

雖然 GPT-4V 具有強(qiáng)大的視覺(jué)能力，但它仍然存在一些局限性：

1.空間關(guān)系： 模型可能難以準(zhǔn)確理解圖像中對(duì)象的精確空間布局和位置，有時(shí)無(wú)法正確捕捉對(duì)象之間的相對(duì)位置。

2.對(duì)象重疊： 當(dāng)圖像中的對(duì)象嚴(yán)重重疊時(shí)，GPT-4V 有時(shí)難以區(qū)分一個(gè)對(duì)象的結(jié)束位置和下一個(gè)對(duì)象的開(kāi)始位置，可能將它們混合在一起。

3.背景/前景： 模型不總是能夠準(zhǔn)確識(shí)別圖像中的前景和背景中的對(duì)象，有時(shí)會(huì)錯(cuò)誤地描述對(duì)象之間的關(guān)系。

4.遮擋： 當(dāng)圖像中的某些對(duì)象被其他對(duì)象部分遮擋或遮擋時(shí)，GPT-4V 可能無(wú)法識(shí)別被遮擋的對(duì)象，或者錯(cuò)過(guò)了它們與周?chē)鷮?duì)象的關(guān)系。

5.細(xì)節(jié)： 模型有時(shí)會(huì)忽略或誤解圖像中的微小物體、文本或復(fù)雜細(xì)節(jié)，導(dǎo)致錯(cuò)誤的關(guān)系描述。

6.上下文推理： GPT-4V 缺乏強(qiáng)大的視覺(jué)推理能力，無(wú)法深入分析圖像的上下文，并描述對(duì)象之間的隱含關(guān)

7.置信度： 模型有時(shí)可能錯(cuò)誤地描述對(duì)象之間的關(guān)系，與圖像內(nèi)容不符。這意味著它的描述可能不總是準(zhǔn)確的。

需要注意的是，盡管 GPT-4V 具有強(qiáng)大的視覺(jué)能力，但目前在科學(xué)研究和醫(yī)療用途中，其性能可能不夠可靠。因此，在這些領(lǐng)域的應(yīng)用需要更多的研究和驗(yàn)證。

ChatGPT 團(tuán)隊(duì)表示，為了保護(hù)用戶隱私和防止濫用，他們正在考慮是否應(yīng)該允許模型識(shí)別公眾人物，以及是否應(yīng)該允許模型從人物圖像中推斷性別、種族或情感等信息。這表明他們對(duì)用戶的隱私和道德問(wèn)題非常重視。

總之，ChatGPT 的這一重磅更新為用戶提供了更多交互的可能性，使其成為一個(gè)更加強(qiáng)大和多功能的工具。語(yǔ)音和圖像功能的引入使 ChatGPT 變得更加直觀和便捷，為用戶提供了全新的體驗(yàn)。無(wú)論是在生活中解決問(wèn)題，還是與模型進(jìn)行有趣的對(duì)話，ChatGPT 的潛力正在不斷擴(kuò)大。如果你是 ChatGPT Plus 或企業(yè)版用戶，你將在未來(lái)兩周內(nèi)率先體驗(yàn)到這些令人激動(dòng)的新功能，而其他用戶也將很快可以享受到這一更新帶來(lái)的便利。

所以，你已經(jīng)想好了要問(wèn) ChatGPT 的第一個(gè)問(wèn)題嗎？這一重大更新將為你的交互體驗(yàn)帶來(lái)更多樂(lè)趣和便捷，期待 ChatGPT 在未來(lái)繼續(xù)發(fā)展，為我們帶來(lái)更多驚喜和創(chuàng)新。不論你是專業(yè)用戶還是普通用戶，這一更新都將使你的生活更加便利和有趣。隨著技術(shù)的不斷發(fā)展，ChatGPT 帶來(lái)的可能性也會(huì)不斷擴(kuò)大，讓我們拭目以待，期待更多精彩的功能和體驗(yàn)。