公共静态类 GpuDelegateFactory.Options
已知的直接子类 |
委托选项。
嵌套类
枚举 | GpuDelegateFactory.Options.GpuBackend | 要选择哪个 GPU 后端。 |
常量
int | INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER | 委托只能使用一次,因此,应将引导/初始化时间考虑在内。 |
int | INFERENCE_PREFERENCE_SUSTAINED_SPEED | 倾向于最大限度地提高吞吐量。 |
公共构造函数
Options()
|
公共方法
布尔值 | |
GpuDelegateFactory.Options.GpuBackend | |
整型 | |
字符串 | |
字符串 | |
布尔值 | |
GpuDelegateFactory.Options | |
GpuDelegateFactory.Options |
setInferencePreference(int 偏好设置)
设置推断偏好设置,以便在精确率/编译/运行时之间做出取舍。
|
GpuDelegateFactory.Options |
setPrecisionLossAllowed(布尔值 ExactLossAllowed)
设置是否允许精确率损失。
|
GpuDelegateFactory.Options |
setQuantizedModelsAllowed(boolean quantizedModelsAllowed)
允许通过委托运行量化模型。
|
GpuDelegateFactory.Options |
继承的方法
常量
public static final int INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER
委托只能使用一次,因此,应将引导/初始化时间考虑在内。
常量值:
0
public static final int INFERENCE_PREFERENCE_SUSTAINED_SPEED
倾向于最大限度地提高吞吐量。同一委托会重复用于多个输入源。
常量值:
1
公共构造函数
public Options ()
公共方法
public 布尔值 areQuantizedModelsAllowed ()
public int getInferencePreference ()
public 布尔值 isPrecisionLossAllowed ()
public GpuDelegateFactory.Options setForceBackend (GpuDelegateFactory.Options.GpuBackend forceBackend)
设置 GPU 后端。
参数
forceBackend |
---|
public GpuDelegateFactory.Options setInferencePreference (int preference)
设置推断偏好设置,以便在精确率/编译/运行时之间做出取舍。
参数
偏好设置 | 可以是“INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER”(默认)、“INFERENCE_PREFERENCE_SUSTAINED_SPEED”之一。 |
---|
public GpuDelegateFactory.Options setPrecisionLossAllowed (boolean precisionLossAllowed)
设置是否允许精确率损失。
参数
precisionLossAllowed | 如果设置为“true”(默认值),GPU 可能会在 FP16 中量化张量、向下转换值和进行处理。如果设为“false”,计算将以 32 位浮点数执行。 |
---|
public GpuDelegateFactory.Options setQuantizedModelsAllowed (boolean quantizedModelsAllowed)
允许通过委托运行量化模型。
警告:这是一个实验性 API,可能会发生变化。
参数
quantizedModelsAllowed | 如果为 true (默认值),GPU 可以运行量化模型。 |
---|
public GpuDelegateFactory.Options setSerializationParams (String serializationDir, String modelToken)
为委托启用序列化。请注意,序列化需要非 null serializationDir
和 modelToken
。
警告:这是一个实验性 API,可能会发生变化。
参数
serializationDir | 用于存储数据的目录。调用方负责确保模型未存储在公共目录中。建议使用 Context.getCodeCacheDir() 为 Android 上的应用提供不公开位置。 |
---|---|
modelToken | 用于标识模型的令牌。调用方负责确保令牌对于模型图和数据是唯一的。 |