山東曆史悠久，其地處黃河下遊，渤海、黃河之濱，自古爲華夏先民繁衍生息之地，我國遠古時期著名的“大汶口文化”“龍山文化”就起源、發展于今山東，春秋戰國時期更爲東方之大國齊國、魯國之地，因此山東又有“齊魯大地”之稱，並簡稱“魯”。山東一詞最早爲地理劃分，指的是崤山、太行山以東，金時改北宋京東東西兩路爲山東東西兩路，山東始成爲政區名稱，明朝初期山東正式設省。
“州”爲我國古代行政區劃，其最早也是地理劃分，先秦時期全國分爲“九州”，西漢漢武帝時設十三刺史部，刺史部多以古代州名爲名，因此又被稱爲“十三州”。“十三州”最初爲監察區，到東漢末演變爲行政區，州始成爲行政區劃並深刻影響曆代行政制度，現在我國就有許多著名的城市以州爲名。到明清時，州有兩類，一類爲直隸州，級別同府且直屬于省，僅地位略低，相當于現在的地級市，一類爲散州，隸屬于府。明朝時，直隸州、散州均轄縣，清朝時散州不再轄縣，相當于縣僅地位略高。
明朝時期，山東僅轄六府，並無直隸州，其中府轄散州有十五個，分別爲濟南府所轄濱州、武定州、德州、泰安州，兖州府所轄濟甯州、曹州、沂州、東平州，東昌府所轄高唐州、臨清州、濮州，青州所轄莒州，萊州府所轄平度州、膠州及登州府所轄甯海州。清朝建立後，山東原有六府除登州府外轄區均有所縮小，原有十五散州中武定州、曹州、沂州、泰安州升爲了府，山東直隸州、散州共十一個，到清末直隸州有三，散州爲八。
清初，山東行政區劃與明朝時期基本相同，雍正年間開始有了劇烈的變化，爲清朝山東行政區變化最爲劇烈時期，新增曹州府、武定府、沂州府、泰安府均成立于這一時期。雍正二年（公元1734年），武定州、濱州、泰安州、濟甯州、曹州、沂州、莒州等七散州升爲了直隸州，雍正八年高唐州、濮州、東平州升爲了直隸州，濟甯直隸州又降爲散州屬兖州府，這一時期山東所轄府、直隸州多達十五個，爲六府九直隸州，是二級行政區最多的時期。
雍正十二年（公元1734年），武定、沂州兩個直隸州升爲武定府、沂州府，同年濱州、莒州、高唐州三個直隸州降爲散州，分別屬武定府、沂州府、東昌府。雍正十三年，泰安、曹州這兩個直隸州升爲了府，山東此時轄十個府直至清末，同時濮州、東平州三個直隸州降爲散州，分別屬曹州府、泰安府。此時，山東省共轄十府，有散州十一個。
清乾隆四十一年（公元1776年），臨清州、濟甯州兩個散州又升爲直隸州，此後山東轄十府二散州直至清朝進入二十世紀。公元1904年（清光緒三十年），萊州府所領散州膠州升爲直隸州，此時山東有三直隸州、八散州，此後山東轄十府三直隸州直至清朝滅亡。
民國初，山東十一州均廢州爲縣，分別爲臨清縣、濟甯縣、膠縣、濮縣、高唐縣、德縣、東平縣、濱縣、莒縣、平度縣及甯海縣，這十一個縣到現在有的爲地級市，如德州市、濱州市、濟甯市，有的爲縣級市，如臨清市、膠州市、平度市，爲縣的則有高唐、東平、莒縣，甯海縣設縣不久就改稱牟平縣，現爲煙台市牟平區，僅濮縣建國初省入範縣，現在河南省濮陽市範縣有濮城鎮。
