Это довольно редкое словосочетание, означающее "он совершенно неприступен", возникло, вероятно, в языке старорусских "потешных людей" - всяких шутов, гудошников и скоморохов. Они веселили своих высоких покровителей, применяя для их забавы и гусли и бубенцы, наряжаясь в козьи и медвежьи шкуры, в оперенье журавля. В "репертуар" этих "шпыней" входила и езда на козлах и свиньях. Очевидно, скоморохи встречались иной раз с таким дурным настроением высокопоставленной особы, что на него "даже коза не действовала". Отсюда и пошла эта поговорка.
