介绍
虽然相机作为捕捉图像的工具已有150多年的历史，但智能手机的出现极大地改变了相机的使用，并将其与软件编程集成在一起。如今，相机不再完成“简单”任务，例如拍摄静止照片或拍摄视频，它们实际上复制了人眼执行的大部分复杂任务。
事实上，计算机视觉中使用的大多数算法和公式都是基于对人眼的感知。例如，通过对R，B和G像素值求平均来对RGB图像进行灰度级处理，将图像的通道减少到1通道的方法，使用以下公式：灰色←0.299⋅R+0.587⋅G+ 0.114 ⋅B。注意：显然与平均R，G和B像素值不同(如公式所示：Gray←0.33⋅R+0.33⋅G+0.33⋅B)。
但为什么？这是因为与色度相比，我们的眼睛对亮度/亮度更敏感。灰度级图像时使用的实际公式与计算给定像素的亮度/亮度值相同。注意：亮度值是YUV和YCrCb颜色空间中的Y值。
图1
自动对焦是相机的一个有趣功能。它实际上可以复制我们眼睛的聚焦能力。为了更好地可视化，请在不同平面上拍摄两个物体（水瓶和插座），如图1所示。现在把注意力集中在水瓶上。不知不觉中，你的眼睛模糊了后面的墙壁插座。对墙壁插座重复相同的操作，我们的眼睛会自动模糊水瓶。现在在家中复制类似的设置并打开手机的相机应用程序。通过点击您想要关注的区域，相机会像我们的眼睛一样自动模糊其他物体。这是相机自动对焦的神奇之处。今天，相机使用许多算法来聚焦图像。我将重点介绍一种基本的自动对焦算法：基于对比度的自动对焦。
基于对比度的自动对焦如何在高水平上工作？
基于对比度的自动对焦基本上测量不同相机镜头位置的对比度。相机镜头将一直移动，直到达到其定义为具有最大对比度的点。我们可以将对比度定义为图像中的锐度。为了更好地可视化，这里是各种相机镜头位置的虚拟图像（比较黑色方块的边缘）：
图2
为了概括对比度，我们可以为每个图像分配0到1之间的任意对比度值，其中0表示未聚焦/低对比度图像，1表示聚焦/高对比度图像。
图3
现在，相机循环通过变化的相机镜头位置，计算图像内的对比度，然后比较并选择具有最高对比度值的相机镜头位置。
我们如何定义对比度？
有许多不同的方法来定义对比度。实际上，算法的复杂性是基于用于定义对比度的方法确定的。今天我将介绍一种非常基本的方法，它不需要额外的硬件，如传感器。请注意，公司通常利用手机内置的其他硬件组件来提高算法的复杂性。
为图像指定对比度值的一种基本方法是Canny边缘检测。实际上，这就是OpenCV如何计算自动对焦的最佳相机镜头位置。对于每个镜头位置，我们绘制图像的边缘并根据边缘的清晰度分配对比度值。例如，下面的图像序列显示执行Canny边缘检测算法后的输出：
图4
如您所见，图像聚焦越少，边缘越不清晰。事实上，在设置Canny边缘检测算法的默认设置后，您会注意到它无法检测左侧两个日益未聚焦的图像的边缘。显然，通过降低算法的最小阈值，我们将能够看到边缘。但是为了自动对焦，我们可以丢弃不检测边缘的相机镜头位置。
如果您想进一步探索OpenCV的自动聚焦算法，请查看以下代码：https://github.com/opencv/opencv/blob/master/samples/cpp/autofocus.cpp。
结论
基于对比度的自动对焦算法需要许多计算 - > L * O（对比度），其中L是可能的相机镜头位置的数量，O（对比度）是用于确定图像内对比度的算法的复杂度。在上面的例子中，确定边缘是否清晰的复杂性需要大于O（m * n），其中m和n是帧的尺寸。由于这种高复杂性，许多创建相机驱动程序（Qualcomm，Apple等）的公司研究新的和更有效的方法来确定图像是否聚焦。一些其他常见的算法包括PDAF，激光等。事实上，作为一个侧面实验，
利用机器学习进行扩展
作为扩展，我决定使用基于机器学习的方法来定义对比度。因为每帧的计算边缘计算量很大，所以我决定设计一个神经网络，这应该会降低基于对比度的自动对焦算法的复杂性。
我决定尝试前馈和卷积神经网络。
我开始尝试使用前馈神经网络，因为这更容易实现。我创建了一个4层的小型神经网络。在这个神经网络中，我为一个大小为224乘224像素的3通道图像添加了一个输入层。然后我继续将尺寸flatten 为单个维度，并添加了1024个神经元的隐藏层。我没有直接跳到最后一层，而是决定追加128个神经元的另一个隐藏层。最后，我用2个神经元的输出层完成了神经网络，以指示聚焦或未聚焦。
主要Python代码如下：
from keras import layers
my_model = keras.models.Sequential()
my_model.add(layers.Dense(3, input_shape=(224,224, 3), activation='relu'))
my_model.add(layers.Flatten())
my_model.add(layers.Dense(1024, activation='relu'))
my_model.add(layers.Dropout(0.5))
my_model.add(layers.Dense(128, activation='relu'))
my_model.add(layers.Dropout(0.5))
my_model.add(layers.Dense(2, activation='softmax'))
my_model.summary()
'''
SET UP TRAINING AND VALIDATION DATA
'''
from keras.preprocessing.image import ImageDataGenerator, load_img
train_datagen = ImageDataGenerator(
rescale=1./255,
rotation_range=20,
width_shift_range=0.2,
height_shift_range=0.2,
horizontal_flip=True,
vertical_flip=True,
fill_mode='nearest')
validation_datagen = ImageDataGenerator(rescale=1./255)
train_batchsize = 20
val_batchsize = 5
train_generator = train_datagen.flow_from_directory(
'train_data',
target_size=(224, 224),
batch_size=train_batchsize,
class_mode='categorical')
validation_generator = validation_datagen.flow_from_directory(
'validation_data',
target_size=(224, 224),
batch_size=val_batchsize,
class_mode='categorical',
shuffle=False)
# Compile
try:
my_model = keras.models.load_model('autofocus_ff.h5') # trains from last epoch if model exists
except:
print "Training new model..."
my_model.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['acc'])
# Train
checkpoint = keras.callbacks.ModelCheckpoint('autofocus_ff.h5', monitor='val_loss', verbose=1, period=1)
my_model_hist = my_model.fit_generator(
train_generator,
steps_per_epoch=2*train_generator.samples/train_generator.batch_size ,
epochs=25,
validation_data=validation_generator,
validation_steps=validation_generator.samples/validation_generator.batch_size,
verbose=1,
callbacks=[checkpoint])
# Save the Model
my_model.save('autofocus_ff.h5')
在我开始训练这个前馈神经网络后，我发现模型的验证准确性和损失在每个时期都不再提高。
这促使我尝试使用卷积神经网络（CNN），因为它们似乎可以为物体检测提供更好的结果。Keras有许多预先训练过的CNN模型，我选择根据给定的问题微调vgg16模型。我采用了vgg16模型的5个卷积块，然后添加了一个全局平均池图层，将尺寸减小到1，同时还有效地减少了可训练参数的数量。最后，我添加了一个2个神经元的输出层来表示聚焦或未聚焦的置信度。
Python实现的过程如下：
from keras.applications import VGG16
#Load the VGG model
vgg16 = VGG16(include_top=False, input_shape=(224, 224, 3)) # load vgg16 with all defaults except top
'''
MARK ALL LAYERS AS NON-TRAINABLE SO TRAINING DOESN'T ALTER WEIGHTS
'''
for layer in vgg16.layers:
layer.trainable = False
'''
TUNE MODEL TO AUTOFOCUS NEEDS
'''
from keras import layers
# my_model_output = vgg16.layers[10].output # Only use the first three blocks of convolution
my_model_output = vgg16.output # use all 5 conv layers of vgg
my_model_output = layers.GlobalAveragePooling2D()(my_model_output) # Then add a GlobalAveragePooling layer to get 1d representation
# my_model_output = layers.Dense(128, activation='relu')(my_model_output) # add a Dense layer just to increase trainable params
# my_model_output = layers.Dropout(0.5)(my_model_output) # Add regularization to help decrease overfitting data
my_model_output = layers.Dense(2, activation='softmax')(my_model_output) # binary classification prediction layer
my_model = keras.models.Model(inputs=vgg16.input, outputs=my_model_output) #created my neural network
my_model.summary()
'''
SET UP TRAINING AND VALIDATION DATA
'''
from keras.preprocessing.image import ImageDataGenerator, load_img
train_datagen = ImageDataGenerator(
rescale=1./255,
rotation_range=20,
width_shift_range=0.2,
height_shift_range=0.2,
horizontal_flip=True,
vertical_flip=True,
fill_mode='nearest')
validation_datagen = ImageDataGenerator(rescale=1./255)
train_batchsize = 20
val_batchsize = 5
train_generator = train_datagen.flow_from_directory(
'train_data',
target_size=(224, 224),
batch_size=train_batchsize,
class_mode='categorical')
validation_generator = validation_datagen.flow_from_directory(
'validation_data',
target_size=(224, 224),
batch_size=val_batchsize,
class_mode='categorical',
shuffle=False)
'''
COMPILE AND TRAIN MODEL
'''
# Compile
try:
my_model = keras.models.load_model('autofocus_vgg16.h5') # trains from last epoch if model exists
except:
print "Training new model..."
my_model.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['acc'])
# Train
checkpoint = keras.callbacks.ModelCheckpoint('autofocus_vgg16.h5', monitor='val_loss', verbose=1, period=1)
my_model_hist = my_model.fit_generator(
train_generator,
steps_per_epoch=2*train_generator.samples/train_generator.batch_size ,
epochs=25,
validation_data=validation_generator,
validation_steps=validation_generator.samples/validation_generator.batch_size,
verbose=1,
callbacks=[checkpoint])
# Save the Model
my_model.save('autofocus_vgg16.h5')
# Compile
try:
my_model = keras.models.load_model('autofocus_vgg16.h5') # trains from last epoch if model exists
except:
print "Training new model..."
my_model.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['acc'])
# Train
checkpoint = keras.callbacks.ModelCheckpoint('autofocus_vgg16.h5', monitor='val_loss', verbose=1, period=1)
my_model_hist = my_model.fit_generator(
train_generator,
steps_per_epoch=2*train_generator.samples/train_generator.batch_size ,
epochs=25,
validation_data=validation_generator,
validation_steps=validation_generator.samples/validation_generator.batch_size,
verbose=1,
callbacks=[checkpoint])
# Save the Model
my_model.save('autofocus_vgg16.h5')
'''
PREDICT
'''
import numpy as np
import keras
from keras.models import load_model
from keras.preprocessing import image
model = keras.models.load_model('autofocus_vgg16.h5')
def load_image_as_tensor(img_path):
img = image.load_img(img_path, target_size=(224, 224))
img = image.img_to_array(img)
img = np.expand_dims(img, axis=0)
img /= 255.
return img
def predict(img_path):
img = load_image_as_tensor(img_path)
prob = model.predict(img)
classes = np.argmax(prob, axis=1)
label_map = (validation_generator.class_indices)
print img_path
print prob, classes, label_map
predict('test_blur/black_square.jpg')
predict('test_blur/black_square9.jpg')
predict('test_blur/black_square17.jpg')
predict('test_blur/black_square25.jpg')
predict('test_blur/black_square33.jpg')
predict('test_blur/black_square41.jpg')
# 100% Accurate for these 6 test images
与前馈神经网络相比，该模型的准确性要好得多，我完成了25个时期，验证准确率为0.76，验证损失为0.49。虽然这些数字不是很好，但我觉得这些数字反映了缺乏训练数据。我只使用了1400张训练图像，如果我将其增加到大约6000-7000张图像，我觉得我的准确度会有显着提高。我在图2所示的6个图像上测试了我的模型。模型正确地将每个图像标记为聚焦或未聚焦。
閱讀更多 不靠譜的貓 的文章
