[ad_1]
Het nieuwe visiesysteem van ChatGPT zal een gamechanger zijn, waardoor de AI-assistent nu betekenisvolle gesprekken over afbeeldingen en video kan zien, horen en voeren. Deze intuïtieve nieuwe interface ontgrendelt nog veel meer nuttige toepassingen in het dagelijks leven. In deze diepgaande gids onderzoeken we hoe het werkt, de huidige mogelijkheden, beperkingen en de opwindende mogelijkheden die mogelijk worden gemaakt door ChatGPT zicht te geven.
Invoering
ChatGPT veroverde de wereld stormenderhand als een opmerkelijk mensachtig conversatie-AI-systeem van OpenAI. Dankzij zijn natuurlijke taalvaardigheid kon hij doordachte discussies voeren over complexe onderwerpen en nuttige informatie verstrekken over de vragen van gebruikers. Als AI zonder de mogelijkheid om visuele informatie te zien of te interpreteren, waren de mogelijkheden van ChatGPT echter beperkt.
Dat veranderde allemaal met de introductie van ChatGPT’s nieuwe visiesysteem in februari 2023. Deze nieuwe functie, die nu in beperkte bètatests wordt uitgevoerd, stelt ChatGPT in staat visuele input zoals foto’s, video’s en tekeningen te ontvangen en er op intelligente wijze op te reageren. Dit ontgrendelt nieuwe manieren voor ChatGPT om gebruikers te helpen door visuele context en voorbeelden te hebben om mee te werken. De implicaties zijn verstrekkend, van verbeterde probleemoplossing en tutorials tot het analyseren van datavisualisaties en het geven van feedback op foto’s.
In deze gids onderzoeken we hoe de visiemogelijkheden van ChatGPT onder de motorkap werken, lopen we door voorbeelden van huidige gebruiksscenario’s, bespreken we beperkingen en risico’s en stellen we ons de opwindende mogelijkheden voor naarmate het systeem zich verder ontwikkelt. Laten we eens kijken hoe ChatGPT nu de wereld eromheen kan zien en begrijpen.
Zie meer: Hoe u internet gebruikt in ChatGPT
Hoe het visiesysteem van ChatGPT werkt
Dus hoe krijgt een AI zoals ChatGPT het vermogen om visuele input te interpreteren en erover te praten? De sleutel zijn neurale netwerken: AI-systemen gemodelleerd naar het menselijk brein die kunnen worden getraind voor visuele taken.
Concreet maakt de visie van ChatGPT gebruik van CLIP (Contrastive Language-Image Pre-training), een OpenAI machine learning-model. CLIP is getraind op een enorme dataset van paren van afbeeldingsbijschriften, waardoor het afbeeldingen kan associëren met relevante tekstbeschrijvingen. Dit model vormt de basis voor ChatGPT om de inhoud van een afbeelding te ‘zien’ en te begrijpen.
Het visiesysteem van ChatGPT is bovenop CLIP gebouwd en kan objecten, scènes, acties en attributen in afbeeldingen identificeren. Wanneer een gebruiker tijdens een gesprek een afbeelding uploadt of ernaar verwijst, analyseert ChatGPT de pixels om visuele concepten en patronen te detecteren. Het kan informatie bepalen zoals aanwezige objecten, kleuren, activiteiten en zelfs emotionele tonen.
Dit visuele begrip wordt ingevoerd in de conversatie-engine van ChatGPT. Het gebruikt zowel de tekstprompt als de geëxtraheerde visuele concepten om een geïnformeerd, relevant antwoord te formuleren. De visiemogelijkheden fungeren in wezen als extra context, waardoor ChatGPT een “visueel geheugen” kan gebruiken.
Hoe ChatGPT Vision te gebruiken
Meld u aan voor de spraakmodus via ChatGPT-instellingen> Nieuwe functies in de mobiele app. Dit maakt de mogelijkheid tot spraakgesprekken mogelijk.
- Om een spraakgesprek te starten, tikt u op de koptelefoonknop in de rechterbovenhoek van het chatscherm en selecteert u een stem.
- Schakel de afbeeldingsmodus in door op het camera- of galerijpictogram links van het berichtveld te tikken.
- Maak of kies een foto via uw camera of afbeeldingengalerij. U kunt ook op de afbeelding tekenen om gebieden aan te geven waarop ChatGPT zich moet concentreren.
- ChatGPT analyseert de afbeelding en gebruikt deze als aanvullende context om zijn reacties te onderbouwen. De visie is ontworpen om te helpen bij dagelijkse taken zoals het oplossen van problemen, maaltijdplanning, het analyseren van grafieken, enz.
- Deze nieuwe vision-mogelijkheden zijn momenteel beperkt tot bepaalde ChatGPT Plus- en Enterprise-gebruikers. Ze zullen de komende weken en maanden naar meer gebruikers worden uitgerold.
- Houd er rekening mee dat het visiesysteem beperkingen kent, zoals het niet verwerken van afbeeldingen van menselijke gezichten. Gebruik de functies in de toekomst op verantwoorde wijze.
Laat het me weten als u opheldering nodig heeft of aanvullende suggesties heeft om deze stapsgewijze instructies te verbeteren
Huidige mogelijkheden en gebruiksscenario’s
Het visiesysteem van ChatGPT bevindt zich nog in de beginfase, maar kan al indrukwekkend presteren bij een reeks visuele taken. Hoewel de volledige mogelijkheden nog moeten worden bezien, zijn hier enkele van de huidige gebruiksscenario’s die de belofte van AI-visie demonstreren.
Objecten in afbeeldingen identificeren
Een van de meest elementaire maar nuttige mogelijkheden is het identificeren van objecten, mensen, dieren, oriëntatiepunten, producten en meer in afbeeldingen. Gebruikers kunnen ChatGPT bijvoorbeeld een foto van hun rommelige bureau laten zien en vragen om de objecten die het herkent op te sommen of te markeren.
Vragen over afbeeldingen beantwoorden
Met de context van een afbeelding kan ChatGPT nu natuurlijke taalvragen over visuele inhoud beantwoorden. Als u ChatGPT bijvoorbeeld een foto van een winkelgang laat zien en vraagt: ‘Welk shampoomerk is er in de aanbieding?’ of “Welke vruchten zijn rijp op deze foto van een fruitkraam?”
Afbeeldingen en scènes beschrijven
ChatGPT kan nu bijschriften of langere beschrijvende teksten over afbeeldingen genereren. Dit kan het beschrijven van de stemming, objecten en acties omvatten, of het afleiden van een achtergrondverhaal over wat er op een foto gebeurt.
Visuele problemen oplossen
Gebruikers kunnen nu foto’s maken van kapotte objecten of opstellingen die niet werken en ChatGPT oplossingen laten voorstellen. Bijvoorbeeld door een afbeelding in te zenden van een verwarde tuinslang en te vragen hoe je deze kunt repareren, of een screenshot van een foutmelding te sturen met de vraag hoe je deze kunt oplossen.
Analyseren van visuele gegevens en diagrammen
Dankzij de visie van ChatGPT kan het grafieken, grafieken, diagrammen en andere visualisaties interpreteren en uitleggen die voorheen ondoorzichtig zouden zijn voor de AI-assistent. Gebruikers kunnen nu vragen stellen over trends en relaties in dataplots.
Feedback over foto’s en ontwerpen
Gebruikers kunnen ChatGPT vragen om foto’s te beoordelen en verbeteringen voor te stellen op het gebied van compositie, belichting, focus en andere fotografische technieken. Het kan ook feedback geven over ontwerpen, commentaar geven op de lay-out, kleurenschema’s en andere aspecten.
Vertaling en beschrijving van tekst in afbeeldingen
ChatGPT kan nu tekst uit afbeeldingen lezen en transcriberen, waardoor het passages uit schermafbeeldingen, foto’s van documenten, presentaties en meer kan vertalen of samenvatten.
Beperkingen en risico’s
Hoewel de huidige mogelijkheden indrukwekkend zijn, kent het visiesysteem van ChatGPT aanzienlijke beperkingen en risico’s waarmee rekening moet worden gehouden:
- Beperkte redenering – Hoewel het objecten en hun attributen kan identificeren, worstelt ChatGPT nog steeds met hogere orde redeneringen over complexe beelden.
- Gevaren van bias – Zoals alle AI-systemen hebben modellen voor visuele herkenning inherente vooroordelen uit hun trainingsgegevens die problemen zoals raciale stereotypering kunnen veroorzaken.
- Zorgen over gezichtsherkenning – OpenAI heeft ChatGPT gelukkig verboden gezichtsherkenning uit te voeren, maar er blijven risico’s bestaan.
- Generatieve imagorisico’s – Tekst-naar-beeldgeneratoren zoals DALL-E hebben gedemonstreerd over mogelijkheden zoals deepfakes.
- Gegevensafhankelijkheden trainen – Visieprestaties blijven beperkt door de reikwijdte van de eigen trainingsdatasets van OpenAI.
OpenAI erkent deze risico’s en heeft vangrails ingesteld, zoals het weigeren van gezichtsherkenning en het blokkeren van ongepast gegenereerde afbeeldingen. De visie van ChatGPT moet echter nog steeds robuust worden getest om potentiële schade aan te pakken voordat deze breed kan worden ingezet.
Handige tabel over de visiemogelijkheden van ChatGPT
| Visuele taak | Huidig vermogen | Toekomstige mogelijkheden |
| Object herkenning | Identificeer veelvoorkomende objecten op foto’s | Geavanceerde identificatie en classificatie |
| Begrijpen van scènes | Basisidentificatie van omgevingen en instellingen | Holistische scène die relaties analyseert |
| Gezichtsherkenning | Momenteel verboden | Kan gepersonaliseerde interacties mogelijk maken, maar brengt privacyrisico’s met zich mee |
| Ondertiteling van afbeeldingen | Basisbeschrijvende bijschriften genereren | Creatieve, genuanceerde en metaforische beschrijvingen |
| Visueel redeneren | Beperkt; worstelt nog steeds met complexe gevolgtrekkingen | Beantwoorden van abstracte en hypothetische visuele vragen |
| Gegevensanalyse | Basisinterpretatie van grafieken en plots | Identificeer trends, uitschieters en voorspel toekomstige datapunten |
| Beeldgeneratie | Tekst-naar-afbeelding is momenteel verboden | Verantwoordelijke en behulpzame generatieve capaciteiten worden overwogen |
| Beeldverbetering | Basis fotofeedback | Geavanceerde bewerkings- en manipulatiesuggesties |
| Tekstherkenning | Transcriptie van duidelijk gedrukte tekst | Handschrift en gestileerde tekst lezen |
| Toegankelijkheid | Genereren van Alt-tekst | Volledige visuele scènebeschrijvingen voor blinden |
De toekomstige mogelijkheden
Ondanks de huidige beperkingen zijn de mogelijkheden eindeloos voor hoe de visuele mogelijkheden van ChatGPT zouden kunnen evolueren om nuttige toepassingen in het dagelijks leven te bieden:
- Geavanceerd zoeken en ontdekken van afbeeldingen
- Verbeterde creativiteit en ideevorming met visuele voorbeelden
- “Visueel geheugen” om concepten uit gesprekken op te roepen en met elkaar te verbinden
- Verbeterde toegankelijkheid door afbeeldingsbeschrijvingen en teksttranscriptie
- Handgeschreven notities of documenten identificeren
- Geavanceerde suggesties voor foto- en videobewerking
- Geavanceerde mogelijkheden voor het genereren en manipuleren van afbeeldingen
- Augmented reality-toepassingen
- Rijke virtuele assistent-interacties
De routekaart voor het verbeteren van de visie van ChatGPT omvat betere objectherkenning, visueel redeneren en multimodale kennis. Op een dag kan het zelfs visuele intelligentie op menselijk niveau benaderen – waarbij niet alleen objecten worden begrepen, maar ook genuanceerde artistieke stijlen, emotionele signalen, impliciete relaties en abstracte concepten die visueel worden overgebracht.
OpenAI heeft nog steeds <veel werk voor de boeg> om ervoor te zorgen dat deze capaciteiten veilig worden ontwikkeld en op verantwoorde wijze worden gedeeld. Maar het potentieel is verbazingwekkend om meer intuïtieve, visuele interacties tussen mensen en AI mogelijk te maken.
Veel Gestelde Vragen
Hoe gebruik ik de nieuwe vision-functies van ChatGPT?
De vision-mogelijkheden worden langzaam uitgerold naar geselecteerde gebruikers. Om toegang te krijgen tot de functie, indien beschikbaar, zoekt u naar een camerapictogram in uw chatinterface waar u foto’s kunt uploaden of maken om ChatGPT te verzenden. U kunt ook afbeeldingen beschrijven of ernaar verwijzen in uw gespreksaanwijzingen.
Wat voor soort afbeeldingen kan ChatGPT begrijpen?
Momenteel werkt het het beste met duidelijke foto’s van gewone alledaagse voorwerpen, scènes en documenten. De prestaties kunnen beperkt zijn bij zeer complexe of artistieke afbeeldingen.
Kan ChatGPT gezichten in foto’s zien?
Nee, OpenAI heeft ChatGPT om privacyredenen verboden gezichtsherkenning uit te voeren. Het interpreteert geen foto’s van gezichten.
Zal dit visiesysteem leiden tot gevaarlijk gebruik van AI?
OpenAI neemt voorzorgsmaatregelen, maar er blijven risico’s bestaan. Gebruikers moeten eventuele schadelijke reacties melden, en de mogelijkheden vereisen uitgebreide tests voordat ze volledig kunnen worden uitgerold. Verantwoorde ontwikkeling is van cruciaal belang.
Hoe nauwkeurig is ChatGPT bij het beschrijven van afbeeldingen?
De prestaties zijn nog steeds vrij eenvoudig: er kunnen objecten over het hoofd worden gezien of een complexe scène verkeerd worden begrepen. De nauwkeurigheid zal verbeteren, maar sommige fouten zijn nog steeds waarschijnlijk. Neem de huidige visuele beschrijvingen met een korreltje zout.
Kan ChatGPT nu visuele CAPTCHA’s beantwoorden?
Nee, ChatGPT kan CAPTCHA’s of andere visuele verificatietests die zijn ontworpen om mensen van bots te onderscheiden niet automatisch oplossen. De visie kent beperkingen en is daar niet voor bedoeld.
Conclusie
De baanbrekende nieuwe visiemogelijkheden van ChatGPT maken intelligente visuele gesprekken en assistentie mogelijk. Met dit AI-systeem is het nu mogelijk om zinvolle discussies over de visuele wereld te voeren. Hoewel het momenteel fundamenteel is en risico’s met zich meebrengt, demonstreren de capaciteiten ervan zelfs in dit stadium het enorme potentieel dat voor ons ligt. We beginnen nog maar net gebruik te maken van meer natuurlijke, intuïtieve manieren van interactie met AI, mogelijk gemaakt door visueel en multimodaal begrip. Naarmate de visie van ChatGPT op verantwoorde wijze volwassen wordt, zijn de mogelijkheden grenzeloos voor hoe het op een dag menselijke doelen zou kunnen helpen en ons eigen begrip zou kunnen vergroten.