AI2-THOR (The House Of inteRactions) 是一种用于AI智能体的逼真的可交互框架。AI2-THOR由室内场景组成，其中AI智能体可以在场景中导航并与物体交互以执行任务。 AI2-THOR的目的是促进视觉智能模型的开发，并推动该领域的研究。

详细信息可以浏览AI2-THOR GitHub和AI2-THOR视频介绍。

1. 安装

AI2-THOR对系统的配置要求如下：

• OS: Mac OS X 10.9+, Ubuntu 14.04+
• Graphics Card: DX9 (shader model
  3.0) or DX11 with feature level 9.3 capabilities
• CPU: SSE2 instruction set support
• Python 2.7 or Python 3.5+
• Linux users: X server with GLX module enabled

你可以使用pip安装AI2-THOR的最新版本，本博客撰写时当前的最新版本为2.3.4。 创建一个Python 2或者Python 3虚拟环境，并运行：

$ pip install ai2thor

AI2-THOR发展到现在具有多个版本，每个版本差异明显。你可以参见AI2-THOR历史版本对其他版本进行安装。

在运行以下代码之前，请确保具有OpenGL的X服务器正在运行，并且已为图形卡安装了OpenGL扩展。

import ai2thor.controller

controller = ai2thor.controller.Controller()

首次初始化Controller时，包含3D场景的游戏环境将下载到$ HOME/.ai2thor。 二进制文件的大小约为500MB。

2. 简介

AI2-THOR现在分为 iTHOR 和 RoboTHOR。

iTHOR 的特性如下：

• 120个房间。房间类型包括厨房，卧室，浴室和客厅，每种房间类型包括30个不同的房间。
• 2000种可用于AI智能体与之交互的不同物体
• 基于Unity 3D，可对物体和场景进行物理模拟
• 包括具有视觉状态可更改的物体，包括打开/关闭（open/close），打开/关闭（on/off），热/冷 （hot/cold）
• 支持多种智能体类型，例如人形机器人和无人机
• 在单个场景中支持多个智能体

RoboTHOR 的特性如下：

• 75套带有600多个物体的公寓，供AI智能体在其中导航
• 14套公寓的物理和模拟对口
• 将Locobot机器人与Kinect相机配合使用
• 从资产库中以模块化方式构建公寓
• 实体公寓可轻松重新配置
• 所有人均可访问的仿真和真实环境

3. iTHOR

iTHOR是AI2-THOR框架内的环境，其中包括一组交互式对象和场景，并提供了精确的世界物理建模。

iTHOR建立在Unity物理引擎之上，并为物体和场景的物理属性建模：质量，摩擦，弹跳等。

iTHOR提供了物体操作：拾取物体，放置物体，推动物体等。

iTHOR可以更改物体的状态，例如打开/关闭微波炉，烹饪食物，打开/关闭灯。

iTHOR支持使用不同类型的多个智能体执行任务。

3.1 概念

AI2-THOR中的常见的概念及其描述如下：

3.2 场景

iTHOR环境中共有120个场景，涵盖四种不同的房间类别：厨房，客厅，卧室和浴室。 每个房间都有一组可以在其中找到的物体。 注意，某些物体类型可以在给定类别的所有场景中找到，而某些物体类型有时仅在特定类别的场景中可以找到。

在场景初始化期间，可以将物体放置在不同的容器上，因此我们可以为单个场景获得许多不同的配置。 因此，配置数量远大于120。

3.3 物体

在iTHOR中，与物体的交互取决于物体的物理属性。

3.3.1 物体类型

AI2-THOR中有115种物体类型。 每种物体类型都具有与之相关的可操作属性、材质属性和物体位置（在场景类别内）。 此外，某些物体与其他物体或环境的某些部分具有上下文交互作用，这可能导致物体状态动态变化。

物体类型表格如下：

3.3.2 可操作属性

该框架中的物体可以具有许多与物体类型关联的可操作属性。 可操作属性是具有与之关联的操作的特定属性。 例如，一个Openable物体意味着可以使用OpenObject和CloseObject操作与该对象进行交互。 以下是所有可操作属性及其详细说明的列表。

3.3.2.1 Openable

可以使用OpenObject和CloseObject操作打开或关闭这些物体。 可打开的容器允许将物体放置在其中。

3.3.2.2 Pickupable

智能体可以使用PickupObject和PutObject操作将这些对象拾取或放到Receptacles物体中。 也可以使用DropHandObject放置拾取的物体，该物体无需使用目标容器即可从Agent的手中移走该物体。 Throw是放下物体的扩展，其中添加了附加的力以使物体围绕场景投掷。 也可以使用Push和Pull动作将可拾取的物体推到周围。 一些Receptacles物体也可以拾取。 放置在可拾取容器中的所有物体都可以立即移动，因此可以执行复杂的序列，例如（将苹果放在板上->移动苹果和板到水槽）。

3.3.2.3 On/Off

使用ToggleObjectOn和ToggleObjectOff操作与这些物体进行交互。 当打开或关闭所有打开/关闭物体时都会发生可见状态更改（即，笔记本电脑的屏幕将打开并显示图像，关闭时将显示空白）。

3.3.2.4 Receptacle

这些物体被分类为Receptacles，这意味着如果其他物体在物理上可以适合容器，则可以将其他物体放置在它们之上或之中。 某些容器是受限制的特定物体（例如，ToiletPaper是唯一可以放在ToiletPaperHanger上的类型）。 请注意，任何也可以拾取的容器都可以与它们活动包含的任何Sim物体一起在场景中移动（即：拾取装有苹果的板，以同时在场景中移动板和苹果）。

3.3.2.5 Fillable

使用FillObjectWithLiquid操作可以将各种液体填充到这些物体中。 可填充物体可以用水、咖啡或酒填充。 如果某个物体填充有一种液体类型，并且从全局向上轴旋转了90度以上，则该物体将自动清空自身，因为液体已经“溢出”。 另外，一些填充交互是上下文相关的。 例如，将空杯子放在打开的咖啡壶物体中将自动在杯子中装满咖啡。 同样，将空杯子移到正在运行的水龙头下会自动将杯子装满水。

3.3.2.6 Sliceable

可以使用SliceObject操作将这些物体切成小块。 这会破坏源物体，并在完全相同的位置产生多个“切片”的源物体片段。 这是一种单向状态更改，因此只有场景重置才会将切片的物体还原为它们的整个版本。 切片物体即使被销毁后仍会报告元数据信息。 这允许您检查“切片”操作完成之前源物体的最后位置。

3.3.2.7 Cookable

这些物体具有可通过CookObject操作切换到的熟状态。 这是一种单向状态更改，因此只有场景重置才能将煮熟的物体恢复为未煮熟的状态。

3.3.2.8 Breakable

这些物体具有断开状态，可以使用BreakObject操作将其切换为断开状态。 这是一种单向状态更改，因此只有场景重置才能将损坏的物体还原到其未损坏的状态。 如果易碎物体以足够大的力碰撞，它们也会自动破裂。 物体之间的此力阈值不同，因为某些物体比其他物体更易碎。

3.3.2.9 Dirty

这些物体具有“干净”和“脏”状态，可以在使用DirtyObject操作进行切换。 这包括诸如杯子之类的物体，上面可能有污垢，或者床的盖子杂乱无章。 如果某些脏物体在流水下移动，则可以根据上下文切换到其干净状态。 （脏碗在打开的水龙头下移动将自动清洁碗）。

3.3.2.10 UsedUp

这些物体的部分内容可能会被UseUp操作用尽。 这是一种单向交互，除非重置场景，否则无法撤消。 这可以更改物体的整体外观，以表明其内容已“用完”。 卫生纸，纸巾盒和纸巾是物体的示例，这些物体用完后会以某种方式改变形式。

3.3.2.11 物体可操作属性性列表

如果可操作属性旁边带有*，则意味着并非该物体类型的所有实例都被保证具有该属性。 请检查特定物体实例的物体元数据，以获取有关该特定实例是否具有给定属性的详细信息。

3.3.3 材质属性

3.3.4 物体位置

3.3.5 上下文交互

3.4 动作

智能体通过不同动作与世界进行交互。在运行任何其他命令之前，假定你已运行以下命令加载与初始化环境：

from ai2thor.controller import Controller

controller = Controller(scene='FloorPlan28', gridSize=0.25)

初始化可选参数如下：

智能体有效的总动作集合如下：

3.4.1 Initialization

初始化场景后，你可以根据需要对环境进行一些自定义的设置。初始化时可以采取的动作集合：

3.4.1.1 Reset

初始化Controller后，使用此方法可以切换到新场景：

controller.reset(scene='FloorPlan30')

3.4.1.2 Object Position Randomization

初始化场景后，可拾取物体的默认位置可以随机分配到可以放置在场景内的任何有效容器中。 不能保证物体可以从其默认位置移动，因为有时场景中没有足够的可用空间来移动物体。

controller.step(action='InitialRandomSpawn', randomSeed=0, forceVisible=False, numPlacementAttempts=5,
                numRepeats=[{'objectType': 'Statue', 'count': 20}, {'objectType': 'Bowl', 'count': 20}],
                minFreePerReceptacleType=[{'objectType': 'Sink', 'count': 1000}])

使用位置随机化器之前，请记住要重置并初始化场景，否则种子值将不准确。

3.4.1.3 Restore Object Positions

这有助于将场景设置为先前初始化的精确状态，而不依赖于物体位置随机化的随机种子。使用先前的SimObjects元数据转储来获取每个SimObjects的位置/旋转数据。根据提供的物体和姿势设置场景。指定两次的物体将被复制。未指定但位于原始场景中的物体将被移除。

object_poses = [
    {
        "objectName": "Alarm_Clock_19",
        "rotation": {"y": 270, "x": 0, "z": 0},
        "position": {"y": 0.8197357, "x": 2.45610785, "z": 0.054755792}
    },
    {
        "objectName": "Book_19",
        "rotation": {"y": 0, "x": 0, "z": 0},
        "position": {"y": 0.7308113, "x": 0.3694262, "z": 1.497829}
    },
    {
        "objectName": "pillow_19",
        "rotation": {"y": 0, "x": 0, "z": 0},
        "position": {"y": 0.809355736, "x": -0.5954236, "z": 0.17262423}
    },
    {
        "objectName": "Alarm_Clock_19",
        "rotation": {"y": 270, "x": 0, "z": 0},
        "position": {"y": 0.8197357, "x": 2.64169645, "z": -0.134690791}
    }
]
controller.step(action='SetObjectPoses', objectPoses=object_poses)

3.4.1.4 objectPoses attributes

每个成员的objectPoses列表应具有以下属性。 每个属性都可以在对象的元数据返回中找到（有关event.metadata [‘objects’]，请参见“对象属性”部分。

3.4.1.5 Set Toggleable Objects by Object Type

启用设置整个物体类型的切换状态。 本示例显示将场景中的所有DeskLamp物体设置为关闭状态。 请注意，此初始化功能仅适用于具有On/Off动作属性的物体类型。 要检查是否可以使用此功能设置特定的Sim物体，请检查该物体是否具有toggleable = True物体元数据属性。

controller.step(action='SetObjectToggles', objectToggles=[{'objectType': 'DeskLamp', 'isOn': False}])

3.4.1.6 objectToggles attributes

每个成员的objectToggles列表应具有以下属性。 您可以在任何Sim物体元数据的objectId中找到objectType。 objectId由物体类型和物体在场景中的位置组成。

3.4.1.7 Randomize All Object States by Random Seed

初始化场景后，所有状态可更改的物体都可以将其初始状态随机化。 这将随机设置或切换每个sim物体具有的所有潜在状态（即，杯子可能会随机装满水，脏东西，破碎物等）。 在使用InitialRandomSpawn将物体位置随机化之后使用此方法，因为许多状态更改是单向且具有破坏性的，因此，如果状态已经被随机化，则不能保证可以重新定位物体。

controller.step(action='RandomToggleStateOfAllObjects', randomSeed=0)

3.4.1.8 Randomize Only Objects With a Specific State by Random Seed

初始化场景后，这将随机设置或切换场景中具有StateChange指定状态的所有Sim物体的状态（即，随机破坏CanBreak场景中的所有物体）。 在使用InitialRandomSpawn将物体位置随机化之后使用此方法，因为许多状态更改是单向且具有破坏性的，因此，如果状态已经被随机化，则不能保证可以重新放置物体。

controller.step(action='RandomToggleSpecificState', randomSeed=0, StateChange="CanOpen")

3.4.1.9 Unbreakable Objects

如果对物体施加了足够的力，默认情况下具有Breakable属性的物体将断开。 这意味着从足够高的距离上放下这些物体将导致状态自动改变。 您可以使用此辅助程序初始化功能将给定类型的所有物体设置为牢不可破，从而防止这种自动交互。 此示例将场景中的所有Egg设置为不可破坏，除非明确使用BreakObject操作。

controller.step(action='MakeObjectsOfTypeUnbreakable', objectType="Egg")

3.4.1.10 Initialize

event = controller.step(action='Initialize', gridSize=0.25, agentCount=2)

3.4.2 Agent Navigation

3.4.3 Object Interaction

3.4.4 Held Object Manipulation

3.4.5 Miscellaneous Actions

3.5 Metadata

每次对controller.step()函数的调用都会返回一个Event对象，该对象包含大量关于环境状态和环境中每个物体的信息。

from ai2thor.controller import Controller

controller = Controller(scene='FloorPlan28', gridSize=0.25)
event = controller.step(action=<SOME ACTION>)

3.5.1 Object Metadata

这是controller.step()的返回对象。

3.5.2 Multi-Agent Event Object

如果使用多个智能体初始化了环境，则将从step()方法中返回一个Multi-Agent Event对象。 agentId可以为0…N（其中N=智能体数-1）。

controller = Controller(scene='FloorPlan28', gridSize=0.25, agentCount=2) 
event = controller.step(action=<SOME ACTION>, agentId=0)

3.5.3 Metadata attributes

这些元素通过使用实例变量“metadata”来检索。

event.metadata

3.5.4 Agent attributes

event.metadata['agent']

3.5.5 Object attributes

event.metadata['objects']

3.5.6 thirdPartyCamera attributes

event.metadata['thirdPartyCameras']

4. RoboTHOR

RoboTHOR是AI2-THOR框架内的一种环境，旨在开发嵌入式AI智能体。 它由一系列与物理世界中的对应物体进行仿真的场景组成。

对于每个物理房间，都有相应的合成等效物，使我们能够研究外观和控制方面的差异。

公寓是以模块化的方式建造的，从一个资源库中提取。

物理环境是使用模块化和可移动的组件构建的，从而使我们可以在单个物理空间中托管具有截然不同布局的场景。

仿真环境是开源的。 研究人员将能够在实际环境中远程部署他们的模型。

4.1 Initialization

要初始化场景中的智能体，请执行以下操作。

controller = Controller(scene='FloorPlan_Train1_1', agentMode='bot')