カメラと物との距離は「ステレオ視」なんだから最低でも2つのカメラを使っているんでしょ?だったらこれは多分焦点距離の問題じゃないです。倍率の問題。
カメラから1mの所に、光軸に垂直方向に1mm離れた2点を置いて撮影し、画像上での距離を測れば、1pixelが何ミリラジアンに相当するかが分かる。
あとはこの比率で換算すれば良い。
1台のカメラで距離を測る為には、非常に大口径のレンズを使い、被写界深度(このキーワードで検索すれば過去のQAが出ます)を浅くします。そしてピント合わせを厳密にやれば、ピント合わせに必要な調整量から距離が計算できますが、物体が遠くなればどんどん精度が落ちます。
老婆心ながら:コンピュータビジョンをやろうという方々なら、中学で習う幾何光学ぐらいは復習しておいた方が良いと思います。
あなたの思ったこと、知っていることをここにコメントしてみましょう。