К открытию галереи часть произведений передали из фондов Калининградского областного историко-художественного музея. В 1989 году из того же музея в Калининградскую художественную галерею поступила монографическая коллекция акварелей А. Е. Лопухина (1897—1986).
Затем галерея развивалась как музей современного искусства. В здании было 8 экспозиционных залов площадью от 150 до 500 м².
В 2004 году в галерее был открыт виртуальный филиал Русского музея.
В 2008 году музей «Художественная галерея» участвовал в грантовом конкурсе музейных проектов «Меняющийся музей в меняющемся мире» и стал одним из победителей в номинации «Технологии музейной экспозиции». В 2017 году галерея была переименована в Калининградский областной музей изобразительных искусств.
В октябре 2016 года из-за неудовлетворительного состояния здания музея в областном правительстве приняли решение переместить его в здание бывшей Кёнигсбергской биржи на Ленинском проспекте, построенном по проекту знаменитого немецкого архитектора Генриха Мюллера (1819—1890) в 1875 году. В советский период в здании находился Дворец культуры моряков (ДКМ), затем и Областной центр культуры молодёжи.
В июне 2018 года музей переехал в историческое здание бывшей биржи Кёнигсберга.
Основу собрания составляют следующие коллекции:
Коллекция искусства Восточной Пруссии конца XIX — начала XX века;
Произведения официального и альтернативного искусства советских художников 1950—1990-х годов;
Стекло и керамика советских художников 1960—1990-х годов;
Современная графика художников России и стран Балтийского моря;
Современные народные промыслы;
Коллекция произведений калининградских художников.
Фонды музея насчитывают более 16 тысяч произведений живописи, графики, скульптуры, предметов декоративно-прикладного искусства. Основу собрания составляют работы отечественных и зарубежных художников второй половины XX века, представляющих различные стилевые направления — от социалистического реализма до постмодернистских художественных практик, произведения искусства XVII — первой половины XX века, уникальные работы мастеров Восточной Пруссии, современные народные промыслы России.
Ежегодно проводится до 60 выставок отечественного и зарубежного искусства, в том числе в рамках программы «Художественные музеи России в Калининградской художественной галерее» осуществляются выставки из Эрмитажа, Третьяковской галереи, ГМИИ им. А. С. Пушкина, Русского музея и других.