O Portão se localiza no centro de Berlim, no cruzamento das avenidas Unter den Linden e Ebertstraße, mais precisamente na Praça Paris (Pariser Platz). Durante a divisão da Alemanha no pós-guerra, o Portão ficou um pouco isolado, imediatamente ao lado do Muro de Berlim (ainda hoje é possível ver que o muro passava bem pertinho dali: no solo das ruas de Berlim há a marca da extensão sobre a qual o muro foi construído).
Em cima do Portão de Brandemburgo fica uma estátua denominada Quadriga: trata-se da representação da deusa grega Irene – deusa da paz –, em um carro puxado por quatro cavalos. A Quadriga foi instalada no Portão no ano de 1793 (dois anos após sua abertura), mas permaneceu pouco tempo por ali: em outubro de 1806, as tropas francesas de Napoleão Bonaparte invadiram Berlim; no mês de dezembro, para simbolizar a dominação francesa, Napoleão mandou que a Quadriga fosse tomada, enviada para Paris e colocada no Louvre.
A praça onde fica o Portão se chamava, àquela época, Praça Europa. Em 1814, quando da queda de Napoleão, ficou decidido, no Congresso de Viena, que a Quadriga seria devolvida para o imperador prussiano, Frederico. O imperador era muito inteligente e gozador; então, ele tomou algumas providências em relação à estátua: em primeiro lugar, mandou colocar nela uma cruz de ferro e uma águia prussiana; assim, a deusa, que antes representava a paz, passou a ser considerada a deusa da vitória. Em segundo lugar, ele mudou o nome da praça na qual fica o Portão de Brandemburgo: ela, que se chamava Praça Europa, passou a se chamar Praça Paris (Pariser Platz). Assim, a partir de então a estátua passou a significar a vitória sobre Paris.