平安時代、この地は「乃美の浦」と呼ばれていた。大治4年（1129年）、平忠盛（平清盛の父）は山陽道・南海道の海賊追討使に抜擢されると、この地は忠盛により平定される。この際に忠盛は自らの名を2つに分け、北側の浦を「忠海」、南の大三島の地を「盛」(盛漁港)と名付けた。これが忠海の由来である。鎌倉時代、小早川氏の所領であったこの地は鎌倉末期にその庶家である浦氏の所領となる。室町末期から戦国時代にかけて、浦氏は小早川水軍の主力となった。代表的な存在が、浦宗勝（乃美宗勝）である。宗勝はこの地に賀儀城を築き拠点とし、天正9年（1581年）には勝運寺を建立している。