基础模型很大程度上决定了行业的发展，好的模型对整个视觉任务影响很大。接下来，南京模型公司将分享我们对模型设计的探索，包括一些先进流行的深度视觉模型和商业上相对冷门但非常有用的技术。
近年来，卷积神经网络在预测精度方面发展迅速。随着精度的提高，模型推理的速度会随着计算复杂度的增加而变慢。因此如何在准确性和速度之间取得更好的平衡一直是模型设计过程中的一大挑战。此外目标任务或硬件平台的不同，理论复杂度和实际速度的不同，以及平台或服务的附加约束大大增加了模型设计的难度。需要注意的是，在模型的实际设计中，不能单纯依靠某一种技术，通常需要多种技术结合使用才能达到理想的效果。今天，南京模型公司将集中讨论三个相对较新的思想，即模型搜索、动态模型和再参数化以及辅助监督。
起初的模型搜索算法和研究人员通常做手工模型设计的过程很相似，就是——反复试错，也就是尝试设计一个结构，训练结构得到预测性能，然后回来指导下一次尝试，等等。但由于反复试错，模型需要反复训练，导致整个设计过程效率低下。可以看出，虽然模型搜索是解决模型设计问题的直接途径，但是要让模型搜索发挥作用还有很多困难。模型搜索算法的设计可以用一个由效率、性能和灵活性组成的不可能的三位一体来描述。通常一个模型搜索算法很难同时满足这三个要求，所以在实际设计一个模型搜索算法时，需要根据具体要求进行权衡。
动态模型是一种数据自适应模型。一旦训练出通用模型，无论输入什么数据，推理计算过程都是固定的。对于动态模型，不同的输入数据会改变超参数的权重、推理路径、大小和深度。
重参数化是目前的一个热点领域。什么是重新参数化？该模型在训练和推理阶段使用不同的网络结构和模型参数，但经过模型训练后，模型从训练时使用的结构和参数变为推理时使用的结构和参数。模型结构和参数变换的约束条件是它们所代表的模型函数在数学上是等价的。