Тогда формула для вычисления расстояния (в милях) по измеренному вертикальному углу примет вид

D = 1,86 (H / g') = (13 / 7) * (H / g') (256)

Вычисление удобно выполнять на логарифмической линейке, но можно пользоваться и табл. 29 МТ. Однако следует иметь в виду, что при необходимости интерполяции точность вычислений значительно понижается.

Пример.
Высота ориентира 144 м; отсчет секстана 0º45,9'; i + s = - 0,3'.

Решение.

а) g = ОС + (i + s) = 45,9' - 0,3' = 45,6' ;

б) D = 1,86 (H / g) = 1,86 * (144 / 45,6) = 5,9 мили.

До сих пор мы считали, что глаз наблюдателя находится на том же уровне, что и основание предмета. Большая ли при этом допускается ошибка?

Проведем окружность (рисунок слева), проходящую через основание предмета С, его вершину В и глаз наблюдателя А. Где бы на этой окружности ни находился глаз наблюдателя, всюду ориентир будет виден под углом g между его основанием и вершиной. Принимая высоту глаза равной нулю, мы вместо точки А' будем считать обсервованным местом корабля точку А", отрезок А'А" представляет собой искомую ошибку.
Проведем из центра О окружности, вмещающей угол g, вертикальную прямую до пересечения в точке Е с горизонтальной плоскостью, проходящей через глаз наблюдателя. Из рисунке видно, что перпендикуляр OE' = H / 2, следовательно, отрезок OE = (H/2) - e, где е — высота глаза наблюдателя. Вследствие малости величины е отрезок дуги окружности АА" можно принять практически совпадающим с касательной к окружности в точке А. Треугольники АА'А'' и АОЕ оказываются подобными, так как

AO ┴ AA'', AE ┴ AA' и OE ┴ A'A'', а ∟AA'A'' = ∟OEA и ∟OAE = ∟A'AA''

(∟- это обозначение угла здесь).

На основании подобия треугольников AA'A'' и АОЕ напишем

A'A'' / OE = AA' / AE

Принимая приближенно AE ≈ D / 2 и учитывая, что OE = (H / 2) - e и AA' = e ,
получим

A'A'' = [{(H / 2) - e)} / 1/2D] * e = {(H - 2e) / D} * e .

Обычно Н << D, а следовательно, и ошибка, возникающая вследствие пренебрежения высотой глаза наблюдателя в формуле (256), заведомо меньше величины е, в свою очередь редко превышающей 15—20 м, т. е. пренебрежимо мала.
Более значительной может быть ошибка, порождаемая измерением вертикального угла не от основания предмета, а от уреза береговой черты, если ориентир от уреза находится в значительном расстоянии (рисунок слева).

В этом случае, выражая углы в отвлеченной мере, можем положить

D = (H - e) / tg (g - e).

Но tg e = e / (D - l) и приближенно e = e / (D - l) .
Следовательно,

D = (H - e) / {g - e / (D - l)}; D = {(H - e) * (D - l)} / {g (D - l) - e}; D²g - Dlg = HD - Hl = el .