[ad_1]
Invoering
Visuele intelligentie is een cruciaal vermogen voor kunstmatige-intelligentiesystemen om de wereld om hen heen te begrijpen en ermee te communiceren. Of het nu gaat om het waarnemen van objecten, het navigeren door omgevingen, het manipuleren van items of het beantwoorden van visuele vragen: het beheersen van visueel begrip blijft een belangrijke uitdaging in AI-onderzoek. Om de vooruitgang op dit gebied te versnellen heeft het Allen Institute for Artificial Intelligence (AI2) AI2-THOR ontwikkeld – een interactief 3D-framework gericht op het bevorderen van visuele AI door middel van fysieke simulaties van echte omgevingen.
Sinds de open source-release in 2017 is AI2-THOR een veelgebruikt platform geworden dat een verscheidenheid aan visuele AI-innovaties mogelijk maakt. Dit artikel geeft een overzicht van AI2-THOR, de unieke mogelijkheden en toepassingen ervan, en hoe het nieuwe doorbraken ontsluit op gebieden als diepgaand leren, robotbesturing en meer.
Wat is AI-THOR
AI2-THOR (volledige naam – The House Of interactions) is een bijna fotorealistisch interactief 3D-framework ontworpen om onderzoek naar visuele AI te vergemakkelijken. Het biedt AI-agenten virtuele omgevingen om te navigeren, te observeren en te communiceren met huishoudelijke voorwerpen.
Het belangrijkste idee achter AI2-THOR is om de ontwikkeling mogelijk te maken van intelligente agenten die hun omgeving kunnen waarnemen en begrijpen op basis van visuele input, en complexe interacties kunnen uitvoeren zoals mensen dat doen. Voor dit doel biedt AI2-THOR:
- Interactieve 3D-omgevingen: 120 virtuele kameromgevingen met duizenden interactieve objecten en configureerbare lay-outs.
- Realistische beelden: gedetailleerde 3D-middelen, gearticuleerde objecten, realistische materialen en verlichting.
- Gesimuleerde natuurkunde: objecten gedragen zich realistisch wanneer ze worden verplaatst, gegooid, laten vallen enz.
- Belichaming van agenten: lichamen van humanoïde en drone-agenten om te navigeren en te communiceren.
- Gedetailleerde acties: Ondersteuning voor meer dan 30 verschillende agentacties, zoals verplaatsen, roteren, kiezen, plaatsen, openen, sluiten enz.
- Waarnemingen: RGB, diepte, segmentatiemaskers en objectmetadata.
Deze levensechte simulatie vormt een aanvulling op de echte robotica door een efficiënt testbed te bieden voor het snel prototypen en benchmarken van AI-algoritmen op schaal.
Belangrijkste mogelijkheden
Enkele van de opvallende mogelijkheden van AI2-THOR zijn onder meer:
Fotorealistische binnenscènes
AI2-THOR biedt een bibliotheek met 120 kameromgevingen, waaronder slaapkamers, badkamers, keukens, woonkamers, kantoren enz. Elke kamer is ontworpen met behulp van hoogwaardige 3D-middelen en materialen om er visueel realistisch uit te zien. De lay-outs bevatten ook rommel en occlusies om de echte thuisomgeving beter na te bootsen.
Dergelijk realisme helpt bij het benchmarken van hoe goed AI-algoritmen in het wild kunnen werken in vergelijking met synthetische datasets.
Gesimuleerde natuurkunde
Wanneer agenten interactie hebben met objecten in AI2-THOR, gedragen de objecten zich realistisch op basis van onderliggende natuurkundige simulatie. Objecten kunnen worden verplaatst, geroteerd, laten vallen, gegooid, gestuiterd enz. Dit maakt het ontwikkelen en testen van manipulatie-algoritmen mogelijk.
Configureerbare omgevingen
AI2-THOR-ruimtes kunnen procedureel worden gegenereerd met willekeurige indelingen, meubelplaatsingen en objecttypen. Omgevingsdynamiek zoals verlichting en rommeldichtheid kunnen ook worden geconfigureerd. Deze variabiliteit zorgt ervoor dat agenten tijdens de training worden blootgesteld aan verschillende ruimtes.
Interactieve objecten
De virtuele kamers bevatten meer dan 2000 objecten, variërend van huishoudelijke artikelen, meubels, apparaten, voedselartikelen en meer. Elk object heeft kenmerken zoals massa, stijfheid en articulatie. Agenten kunnen deuren, laden en koelkasten openen; schakelaars, fornuizen, magnetrons bedienen; of kies en verplaats objecten. Dit maakt interactief AI-onderzoek mogelijk.
Belichaamde agenten
AI2-THOR ondersteunt twee belangrijke agentuitvoeringen: mensachtigen met mobiliteitsbeperkingen en drones met 360 graden beweging. De mensachtige bootst beter na hoe mensen omgevingen waarnemen en ermee omgaan vanuit een egocentrisch perspectief.
Gedetailleerde acties
Agenten kunnen meer dan 30 unieke acties uitvoeren, zoals bewegen, kijken, roteren, kiezen, plaatsen, openen, sluiten, laten vallen, gooien enz. Met dit vocabulaire van atomaire acties kunnen trainingsagenten complexe, uit meerdere stappen bestaande taken uitvoeren.
Flexibele observaties
Agenten ontvangen meerdere observatiekanalen uit de omgeving: RGB-afbeeldingen, dieptekaarten, segmentatiemaskers voor objectinstanties en objectmetagegevens. Deze rijke observaties maken het trainen van visuele perceptiemodellen mogelijk.
Door al deze mogelijkheden te combineren, biedt AI2-THOR een flexibel raamwerk voor een voorbeeldefficiënte ontwikkeling van interactieve visuele AI-algoritmen vóór implementatie in de echte wereld.
Toepassingen
Sinds de release in 2017 is AI2-THOR gebruikt in meer dan 500 onderzoekspapers om innovaties te stimuleren op het gebied van:
Diep versterkend leren
Het vermogen om complexe visuele omgevingen te simuleren heeft AI2-THOR tot een populaire benchmark gemaakt voor onderzoek naar diepgaand versterkend leren. Agenten kunnen taken krijgen zoals het navigeren om objecten te vinden, het inrichten van een ongeorganiseerde kamer of het uitvoeren van huishoudelijke klusjes in meerdere fasen. De prestaties van algoritmen op AI2-THOR correleren vaak goed met de mogelijkheden in de echte wereld.
Robotachtige controle
AI2-THOR is nuttig voor het ontwikkelen van robotbesturingsbeleid, zoals het navigeren door onbekende omgevingen, het oppakken en plaatsen van objecten of het manipuleren van apparaten. Training in simulatie helpt bij het opstarten van modellen voor transferleren in de echte wereld.
Visuele vraagbeantwoording
Door synthetische vragen te genereren over objectattributen, relaties en activiteiten, biedt AI2-THOR overvloedige geannoteerde gegevens voor onderzoek naar het beantwoorden van visuele vragen.
Objectdoelnavigatie
AI2-THOR ondersteunt training en benchmarking van navigatieagenten in visietaal om instructies in natuurlijke taal te volgen en naar gespecificeerde objectdoelen te navigeren.
Visueel imitatieleren
Het opnemen van toestandsreeksen in AI2-THOR maakt het mogelijk demo’s te genereren voor onderzoek naar imitatieleer, waarbij agenten vaardigheden zoals huishoudelijke taken leren van voorbeelden van experts.
Ongecontroleerd leren van representaties
De variabiliteit en het realisme maken AI2-THOR-omgevingen geschikt voor het voortrainen van visuele perceptiemodellen met behulp van doelstellingen zoals contrastief leren.
Naast het stimuleren van kernonderzoek, biedt het raamwerk een experimentele hub voor snelle prototyping van visuele AI-ideeën en het testen van modellen voordat kostbare gegevensverzameling in de echte wereld plaatsvindt.
Belangrijkste functionaliteiten
Onder de motorkap biedt AI2-THOR een reeks functionaliteiten die de visueel intelligente simulaties mogelijk maken:
Headless-modus
AI2-THOR kan in een headless-modus draaien zonder enige grafische weergave. Dit maakt grootschalige simulatie van duizenden parallelle omgevingen voor gedistribueerde training mogelijk.
Actie ruimte
De actieruimte bestaat uit besturingselementen zoals vooruit bewegen, naar rechts draaien, naar beneden kijken, een object pakken enz. Samengestelde acties kunnen taken in meerdere stappen uitvoeren.
Observatie ruimte
Waarnemingen bieden RGB-, diepte-, segmentatiemaskers en metadatakanalen voor objecten.
Procedurele generatie
Omgevingsindelingen, meubelarrangementen en objectplaatsingen kunnen willekeurig worden geconfigureerd om diversiteit te bieden.
Gegevensregistratie
Trajecten die toestandssequenties, observaties, acties en beloningen vastleggen, kunnen worden vastgelegd voor het imiteren van menselijke demonstraties.
Interactiemogelijkheden
Objecten hebben interactiviteitsattributen om acties mogelijk te maken zoals te openen, op te pakken, te schakelen enz. op basis van hun mogelijkheden.
Configureerbare dynamiek
Omgevingsdynamiek zoals kamerverlichting, objectruis en willekeurige ruis op fysica en interacties kunnen worden geconfigureerd.
Weergave op afstand
Ondersteunt visualisatie op afstand door gerenderde frames via WebSockets van Unreal Engine te streamen.
Deze functionaliteit maakt AI2-THOR zeer veelzijdig voor het ontwikkelen van interactieve belichaamde AI-algoritmen.
AI2-THOR-omgevingen
AI2-THOR biedt een aantal verschillende omgevingen die zijn gebouwd op het kernsimulatieframework:
iTHOR
De hoofdomgeving met 120 kamertypes en meer dan 2000 objecttypes met gedetailleerde 3D-modellen en texturen.
RobotTHOR
Voegt ondersteuning toe voor meer acties van robotagenten met behulp van een gesimuleerde mobiele LoCoBot-manipulator. Biedt 14 appartementen met gesimuleerde en echte natuurkundemodi.
ManipulaTHOR
Richt zich op robotachtige objectmanipulatie met behulp van een gesimuleerde Franka-arm. Ondersteunt nauwkeurig grijpen en plaatsen.
ATLTHOR
Modelleert agenten met mensachtige armen die ergonomisch kunnen communiceren met objecten op basis van beperkingen.
THOR-weergave
Een renderer die synthetische RGB-D-beeldgegevenssets genereert uit AI2-THOR door trajecten te bemonsteren. Handig voor offline trainen.
Deze diversiteit maakt AI2-THOR toepasbaar op een breed scala aan interactieve AI-problemen, waaronder navigatie, het volgen van instructies, het beantwoorden van vragen en objectmanipulatie.
Impact op visueel AI-onderzoek
Sinds de lancering in 2017 heeft AI2-THOR het onderzoek versneld en doorbraken mogelijk gemaakt in meerdere visuele AI-domeinen:
- Versterkend leren – AI2-THOR is de meest gebruikte benchmark voor onderzoek naar diepgaand versterkend leren op het gebied van navigatie en het volgen van instructies. Algoritmen zoals RL-S2S, CMP en LANTERN hebben nieuwe state-of-the-art resultaten bereikt met behulp van AI2-THOR-omgevingen.
- Imitatieleren – Onderzoekers hebben AI2-THOR ingezet om eenmalige imitatieleren te bevorderen en deskundige demonstraties te genereren voor het opleiden van agenten om huishoudelijke activiteiten na te bootsen.
- Visuele navigatie – AI2-THOR heeft innovaties mogelijk gemaakt op het gebied van belichaamde navigatie zoals EQD-RL, actief visueel zoeken en interactieve vraagbeantwoorders.
- Robotmanipulatie – Sim2Real-modellen die zijn getraind met AI2-THOR+RoboTHOR zijn erin geslaagd robotische pick-and-place-taken uit te voeren die het leerpotentieel van sim-to-real overdracht aanduiden.
- Visueel beantwoorden van vragen – Grootschalige datasets gegenereerd op basis van AI2-THOR, zoals CLEVR-iTHOR, NLVR2 en TEA-iTHOR, hebben vooruitgang geboekt op het gebied van visueel redeneren.
Ongecontroleerd leren van representaties – Methoden als CLIPORT en VFSf hebben aangetoond hoe AI2-THOR data-vergroting kan bieden voor zelfgecontroleerde voortraining van visiemodellen.
Over het geheel genomen heeft AI2-THOR snelle prototyping en het testen van innovatieve visuele AI-algoritmen mogelijk gemaakt, wat heeft geleid tot meetbare vooruitgang bij het intelligent, interactief en intuïtief maken van agenten.
Toekomstblik
Als robuust platform dat interactieve visuele omgevingen simuleert, heeft AI2-THOR aanzienlijke speelruimte voor het stimuleren van toekomstige visuele AI-verbeteringen door:
- Uitgebreide manipulatiemogelijkheden door het modelleren van dubbelarmige agenten en behendige robothanden.
- Meer dynamische elementen zoals lichtvariabiliteit, cameradefecten, interactieve niet-spelerpersonages.
- Het integreren van modaliteiten zoals audio om multisensorische simulaties te verrijken.
- Sim-naar-echte overdracht mogelijk maken via fotorealisme en natuurkundige nauwkeurigheid.
- Het opschalen van de omgeving en objectcomplexiteit, dichter bij de lange staart van de echte wereld.
- Simulatie met meerdere agenten ter ondersteuning van gezamenlijke belichaamde taken.
Actieve ontwikkeling gaat door met het opnemen van dergelijke functies in het AI2-THOR-framework via bijdragen van de gemeenschap.
Conclusie
AI2-THOR biedt een uniek platform dat realisme, interactiviteit en configureerbaarheid combineert voor het snel prototypen van visuele AI-algoritmen. De belichaamde visie, de gesimuleerde fysica en de mogelijkheden voor natuurlijke taalinteractie hebben ervoor gezorgd dat het een algemeen aanvaarde maatstaf is geworden die onderzoeksinnovatie stimuleert. Met zijn groeiende mogelijkheden en omgevingen staat AI2-THOR klaar om nog grotere doorbraken mogelijk te maken in de ontwikkeling van visiegestuurde intelligente agenten die de echte wereld kunnen waarnemen, begrijpen en ermee kunnen communiceren.
🌟Heb je brandende vragen over AI-THOR? Heeft u wat extra hulp nodig met AI-tools of iets anders?
💡 Stuur gerust een e-mail naar Govind, onze expert bij OpenAIMaster. Stuur uw vragen naar support@openaimaster.com en Govind helpt u graag verder!