【深度学习基础模型】Hopfield 网络 (HN) 详细理解并附实现代码。

【深度学习基础模型】Hopfield 网络 (HN) ——Neural networks and physical systems with emergent collective computational abilities

【深度学习基础模型】Hopfield 网络 (HN) ——Neural networks and physical systems with emergent collective computational abilities

参考地址：https://www.asimovinstitute.org/neural-network-zoo/
论文地址：https://www.pnas.org/doi/epdf/10.1073/pnas.79.8.2554

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！

1. Hopfield 网络 (HN) 的原理与应用

1.1 Hopfield 网络原理

Hopfield 网络是一种递归神经网络，其中每个神经元与其他神经元完全连接，形成一个高度耦合的网络。该网络主要用于模式识别和记忆，具有以下关键特征：

• 全连接：每个神经元与所有其他神经元都有连接。
• 模式记忆：通过训练网络以存储和回忆多个模式。
• 能量函数：网络状态的稳定性与其能量有关，网络会向最低能量状态（记忆模式）收敛。
• 激活阈值：每个神经元在接收到输入时，会根据输入的总和决定激活状态（通常为-1或1）。
• 异步更新：神经元可以逐个更新，通过随机选择更新顺序以避免同步更新带来的不稳定性。

1.2 应用领域

• 模式识别：用于图像识别、语音识别等。
• 记忆存储：可以存储和回忆多个模式。
• 图像修复：通过部分输入重构完整图像。

在遥感领域，Hopfield 网络可以用于从受损或噪声的图像中恢复信息，进行模式识别等任务。

2. Python 代码实现 Hopfield 网络在遥感图像中的应用实例

以下是一个简单的 Hopfield 网络实现示例，展示如何在遥感图像修复任务中应用 Hopfield 网络。

2.1 Hopfield 网络的实现

import numpy as np
import matplotlib.pyplot as plt

class HopfieldNetwork:
    def __init__(self, num_neurons):
        self.num_neurons = num_neurons
        self.weights = np.zeros((num_neurons, num_neurons))
        
    def train(self, patterns):
        for p in patterns:
            self.weights += np.outer(p, p)
        # 确保对角线为0
        np.fill_diagonal(self.weights, 0)
        
    def update(self, state):
        for i in range(self.num_neurons):
            activation = np.dot(self.weights[i], state)
            state[i] = 1 if activation > 0 else -1  # 二值化输出
        return state
    
    def run(self, initial_state, max_iterations=10):
        state = initial_state.copy()
        for _ in range(max_iterations):
            new_state = self.update(state)
            if np.array_equal(new_state, state):  # 检查是否收敛
                break
            state = new_state
        return state

# 2. 创建并训练 Hopfield 网络
# 定义一些二进制模式
pattern1 = np.array([1, 1, -1, -1])
pattern2 = np.array([1, -1, -1, 1])
patterns = [pattern1, pattern2]

# 实例化 Hopfield 网络
hn = HopfieldNetwork(num_neurons=len(pattern1))
hn.train(patterns)

# 3. 测试网络
# 创建一个带噪声的输入模式（故意添加一些噪声）
test_input = np.array([1, 1, -1, 1])  # 期望恢复到 pattern1
print("Test Input:", test_input)

# 运行 Hopfield 网络
output = hn.run(test_input)
print("Recovered Output:", output)

# 4. 可视化结果
plt.figure(figsize=(8, 4))
plt.subplot(1, 2, 1)
plt.title("Test Input")
plt.bar(range(len(test_input)), test_input)
plt.xticks(range(len(test_input)), ['Neuron 1', 'Neuron 2', 'Neuron 3', 'Neuron 4'])

plt.subplot(1, 2, 2)
plt.title("Recovered Output")
plt.bar(range(len(output)), output)
plt.xticks(range(len(output)), ['Neuron 1', 'Neuron 2', 'Neuron 3', 'Neuron 4'])

plt.tight_layout()
plt.show()

2.2 代码解释

1. 定义 Hopfield 网络类：

class HopfieldNetwork:
    def __init__(self, num_neurons):
        self.num_neurons = num_neurons
        self.weights = np.zeros((num_neurons, num_neurons))

• 初始化 Hopfield 网络，包括神经元数量和权重矩阵（初始化为零矩阵）。

2. 训练网络：

def train(self, patterns):
    for p in patterns:
        self.weights += np.outer(p, p)
    np.fill_diagonal(self.weights, 0)

• 对于每个训练模式，更新权重矩阵，使用外积来计算权重，并确保对角线元素为零（无自连接）。

3. 更新网络状态：

def update(self, state):
    for i in range(self.num_neurons):
        activation = np.dot(self.weights[i], state)
        state[i] = 1 if activation > 0 else -1
    return state

• 遍历每个神经元，计算激活值并更新状态为-1或1。

4. 运行网络：

def run(self, initial_state, max_iterations=10):
    state = initial_state.copy()
    for _ in range(max_iterations):
        new_state = self.update(state)
        if np.array_equal(new_state, state):
            break
        state = new_state
    return state

• 运行 Hopfield 网络，直到收敛或达到最大迭代次数。

5. 训练和测试网络：

pattern1 = np.array([1, 1, -1, -1])
pattern2 = np.array([1, -1, -1, 1])
patterns = [pattern1, pattern2]

hn = HopfieldNetwork(num_neurons=len(pattern1))
hn.train(patterns)

test_input = np.array([1, 1, -1, 1])
print("Test Input:", test_input)

output = hn.run(test_input)
print("Recovered Output:", output)

• 创建两个训练模式，并用噪声输入测试网络。输出恢复的模式。

6. 可视化输入和输出：

plt.figure(figsize=(8, 4))
plt.subplot(1, 2, 1)
plt.title("Test Input")
plt.bar(range(len(test_input)), test_input)
plt.xticks(range(len(test_input)), ['Neuron 1', 'Neuron 2', 'Neuron 3', 'Neuron 4'])

plt.subplot(1, 2, 2)
plt.title("Recovered Output")
plt.bar(range(len(output)), output)
plt.xticks(range(len(output)), ['Neuron 1', 'Neuron 2', 'Neuron 3', 'Neuron 4'])

plt.tight_layout()
plt.show()

• 使用 Matplotlib 可视化测试输入和恢复的输出。

3. 总结

Hopfield 网络是一种强大的模型，能够存储和恢复模式，在遥感图像处理、模式识别等领域具有广泛应用。通过 Python 实现的示例展示了如何训练和运行 Hopfield 网络，处理部分损坏的图像信息并恢复为完整模式。这为实际应用提供了一个有效的框架。