カメラと物との距離は「ステレオ視」なんだから最低でも２つのカメラを使っているんでしょ？だったらこれは多分焦点距離の問題じゃないです。倍率の問題。
カメラから1mの所に、光軸に垂直方向に1mm離れた２点を置いて撮影し、画像上での距離を測れば、1pixelが何ミリラジアンに相当するかが分かる。
あとはこの比率で換算すれば良い。
１台のカメラで距離を測る為には、非常に大口径のレンズを使い、被写界深度（このキーワードで検索すれば過去のQAが出ます）を浅くします。そしてピント合わせを厳密にやれば、ピント合わせに必要な調整量から距離が計算できますが、物体が遠くなればどんどん精度が落ちます。
老婆心ながら：コンピュータビジョンをやろうという方々なら、中学で習う幾何光学ぐらいは復習しておいた方が良いと思います。
あなたの思ったこと、知っていることをここにコメントしてみましょう。