具体来说，该双向循环神经网络分别在时间维以顺序和逆序——即前向（forward）和后向（backward）——依次处理输入序列，并将每个时间步 RNN 的输出拼接成为最终的输出层。这样每个时间步的输出节点，都包含了输入序列中当前时刻完整的过去和未来的上下文信息。下图展示的是一个按时间步展开的双向循环神经网络。该网络包含一个前向和一个后向 RNN，其中有六个权重矩阵：输入到前向隐层和后向隐层的权重矩阵（W_1，W_3），隐层到隐层自己的权重矩阵（W_2，W_5），前向隐层和后向隐层到输出层的权重矩阵（W_4，W_6）。注意，该网络的前向隐层和后向隐层之间没有连接。
