GpuDelegateFactory.Options

公共静态类 GpuDelegateFactory.Options
已知的直接子类

委托选项。

嵌套类

枚举 GpuDelegateFactory.Options.GpuBackend 要选择哪个 GPU 后端。

常量

int INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER 委托只能使用一次，因此，应将引导/初始化时间考虑在内。
int INFERENCE_PREFERENCE_SUSTAINED_SPEED 倾向于最大限度地提高吞吐量。

公共构造函数

Options()

公共方法

布尔值
areQuantizedModelsAllowed()
GpuDelegateFactory.Options.GpuBackend
getForceBackend()
整型
getInferencePreference()
字符串
getModelToken()
字符串
getSerializationDir()
布尔值
isPrecisionLossAllowed()
GpuDelegateFactory.Options
setForceBackend(GpuDelegateFactory.Options.GpuBackend forceBackend)
设置 GPU 后端。
GpuDelegateFactory.Options
setInferencePreference（int 偏好设置）
设置推断偏好设置，以便在精确率/编译/运行时之间做出取舍。
GpuDelegateFactory.Options
setPrecisionLossAllowed(布尔值 ExactLossAllowed)
设置是否允许精确率损失。
GpuDelegateFactory.Options
setQuantizedModelsAllowed(boolean quantizedModelsAllowed)
允许通过委托运行量化模型。
GpuDelegateFactory.Options
setSerializationParams(String serializationDir、String modelToken)
为委托启用序列化。

继承的方法

常量

public static final int INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER

委托只能使用一次，因此，应将引导/初始化时间考虑在内。

常量值： 0

public static final int INFERENCE_PREFERENCE_SUSTAINED_SPEED

倾向于最大限度地提高吞吐量。同一委托会重复用于多个输入源。

常量值： 1

公共构造函数

public Options ()

公共方法

public 布尔值 areQuantizedModelsAllowed ()

public GpuDelegateFactory.Options.GpuBackend getForceBackend ()

public int getInferencePreference ()

public String getModelToken ()

public String getSerializationDir ()

public 布尔值 isPrecisionLossAllowed ()

public GpuDelegateFactory.Options setForceBackend (GpuDelegateFactory.Options.GpuBackend forceBackend)

设置 GPU 后端。

参数
forceBackend

public GpuDelegateFactory.Options setInferencePreference (int preference)

设置推断偏好设置，以便在精确率/编译/运行时之间做出取舍。

参数
偏好设置 可以是“INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER”（默认）、“INFERENCE_PREFERENCE_SUSTAINED_SPEED”之一。

public GpuDelegateFactory.Options setPrecisionLossAllowed (boolean precisionLossAllowed)

设置是否允许精确率损失。

参数
precisionLossAllowed 如果设置为“true”（默认值），GPU 可能会在 FP16 中量化张量、向下转换值和进行处理。如果设为“false”，计算将以 32 位浮点数执行。

public GpuDelegateFactory.Options setQuantizedModelsAllowed (boolean quantizedModelsAllowed)

允许通过委托运行量化模型。

警告：这是一个实验性 API，可能会发生变化。

参数
quantizedModelsAllowed 如果为 true（默认值），GPU 可以运行量化模型。

public GpuDelegateFactory.Options setSerializationParams (String serializationDir, String modelToken)

为委托启用序列化。请注意，序列化需要非 null serializationDir 和 modelToken。

警告：这是一个实验性 API，可能会发生变化。

参数
serializationDir 用于存储数据的目录。调用方负责确保模型未存储在公共目录中。建议使用 Context.getCodeCacheDir() 为 Android 上的应用提供不公开位置。
modelToken 用于标识模型的令牌。调用方负责确保令牌对于模型图和数据是唯一的。