答えがなくて困っています

No.1です。少し補足します。

√(1656+264√33)=√4(414+66√33)なので、2をくくりだして約分できますね。
最大値は1/32(√(414+66√33)(二重根号)です。

ついでに別解です。tanx=t とおくと、(0＜x＜π/3　より0<t<√3）

sin2x=2t/(1+t^2) またcos2x=(1-t^2)/(1+t^2) であるから、
　1/2（sin4x+sin2x)に代入すれば、
　f(t)=1/2[(2t/(1+t^2))(1-t^2)/(1+t^2)+2t/(1+t^2)]　となり、整理すると
f(t)=(3t-t^3)/(1+t^2)^2 となる。…（１）xで微分して整理すれば
f'(t)=(t^4-12t^2+3)/(1+t^2)^3
分母は常に正であるから、f'(t)=0 となるのは分子=0とおいて
t=±√(6±√33）[二重根号、複号は任意]という4実数解のときである
このうち0<t<√3の範囲にあるのは、t=+√(6-√33)（約0.5054）だけであり、
このときf'(t)の符号が、正⇒負　となるので、f(t)は最大値となる。

答え　最大値はf(√(6-√33)）=1/32(√(414+66√33)(二重根号)
　　　ただしこのときx=arctan（√(6-√33)）　(二重根号）　

なお（１）のグラフは下の通りで、No.2様が書いてくださった元のsin3xcosxのグラフとは当然形が微妙に異なりますが、0<x<π/3　（0<t<√3)の範囲で、対応する値や最大値（約0.88）はもちろん一致しています。